深度學習的方法與應用

簡單感知器是只由輸入層與輸出層構成、最單純的神經網路，只能解出能用一條直線分開的線性可分問題。互斥或(XOR)的情況是輸出為1的點與為0的點在對角線上交錯排列，不論直線畫在哪裡都無法分開，因此簡單感知器無法表示它。加入隱藏層、使邊界能彎曲的多層感知器則能表示XOR，第1個選項其實是多層感知器的說明。把前一時刻的狀態送回以處理序列的是循環神經網路，讓濾波器滑動以取出局部特徵的則是卷積層的說明。

深度學習的訓練，是把矩陣與向量的乘法及加法重複進行龐大次數的計算。GPU擁有大量進行單純運算的小型核心，適合同時平行執行相同的計算，因此與這種形式的計算相性良好。以少數強大核心依序高速處理分支眾多的處理，是CPU的擅長領域，其核心數量並不多。GPU的優點不在於記憶體容量的大小，而在於平行程度。並沒有把連鎖律內建為專用電路這回事，而專為深度學習的張量運算而設計的，其實是TPU。

梯度消失問題是指，在反向傳播的過程中梯度趨近於0，導致靠輸入端的層無法學習的現象。Sigmoid函數的微分最大值只有0.25，因此每往回追溯一層，就會被乘上0.25以下的數值，在較深的網路中，梯度幾乎所剩無幾。造成問題的並非輸出值本身，而是其微分的大小。對負值輸入梯度變為0而使學習停止，是ReLU函數的弱點，Leaky ReLU函數就是針對這一點的對策。使輸出總和為1而加以正規化的則是Softmax函數。

ReLU函數是輸入為正時原樣返回該值、為負時返回0的簡單函數。在正值區域，微分恆為1，因此即使往回追溯多層，梯度也不會變小，能大幅緩解梯度消失問題。不過在負值區域微分為0，一旦某單元進入負值一側就可能不再學習，因此才準備了在負值一側帶有微小斜率的Leaky ReLU函數。壓縮在0到1之間呈S形的是Sigmoid函數，收斂在-1到1且對原點對稱的是tanh函數，使輸出總和為1而正規化的則是Softmax函數的說明。

ReLU函數在負值區域的輸出與微分都是0，因此若某單元的輸入一直維持負值，梯度就無法流動，該單元將永遠不再學習。Leaky ReLU函數在負值一側也帶有微小斜率，藉此避免這種死路。正值區域梯度為1，是ReLU函數的優點而非缺點，正是這個性質防止了梯度消失。輸出總和不為1，對啟動函數而言本屬理所當然，若想讓輸出層解讀為機率，會使用Softmax函數。計算中包含指數函數的是Sigmoid函數與tanh函數，ReLU函數的計算反而較輕量。

Softmax函數會將整體正規化，使輸出總和恰好為1，因此適合放在有3個以上類別的多類別分類輸出層，讓輸出被解讀為屬於各類別的機率。基本做法是搭配交叉熵作為誤差函數。放在二元分類輸出層以輸出機率的是Sigmoid函數，廣泛用作隱藏層啟動函數的則是ReLU函數與tanh函數。迴歸問題則在輸出層直接輸出數值，誤差函數使用均方誤差函數。

迴歸是預測連續值的問題，因此把預測與正解的差直接取平方後平均的均方誤差函數，是自然的選擇。交叉熵是測量機率分布之間差異的函數，用於分類問題，若是多類別分類，基本上會搭配輸出層的Softmax函數一起使用。Triplet Loss讓模型學習基準、正例、負例3組之間的距離關係，Contrastive Loss則以距離讓模型學習兩筆資料是否為同一物，這兩者都是為了取得能表示相似與否之表徵所使用的誤差函數。依任務選擇誤差函數，正是這個中項目的目標。

Triplet Loss使用基準資料、與其同類的資料（正例）、以及不同類的資料（負例）這3組，讓模型學習使基準與正例之間的距離小於基準與負例之間的距離的誤差函數。用於建構以距離表示相似與否的空間時。測量2個機率分布差距的是KL散度(Kullback-Leibler divergence)，把預測與正解的差取平方後平均的是均方誤差函數，測量機率分布差距並廣泛用於分類的則是交叉熵。順帶一提，讓模型以2筆資料組別學習是否相同的Contrastive Loss，也收錄在同一個中項目中。

誤差反向傳播法是使用連鎖律──把合成函數的微分分解為各部分微分之乘積──從輸出端往輸入端回溯，有效率地求出各權重梯度的手法。這裡求出的終究只是梯度，實際利用該梯度移動權重的，則是梯度下降法的職責。若斷言誤差反向傳播法本身就是更新權重，就不夠準確，這一點要留意。以隨機數移動並採用較佳方向，屬於不使用梯度的搜尋想法；從輸入端往輸出端推進計算，則是正向傳播，也就是推論的步驟。

信用分配問題是指，應將輸出所呈現的誤差責任，歸屬於中途哪一層的哪個單元、歸屬多少的問題。誤差反向傳播法被定位為透過連鎖律使這種分配得以計算。梯度消失問題是指在回溯過程中梯度趨近於0、導致靠輸入端的層無法學習的現象，梯度爆炸問題則相反，是梯度變得過大而發散的現象，這兩者都是套用誤差反向傳播法時會產生的問題。維度的詛咒是指特徵量的維度越增加、所需資料量就急遽增加的現象，課綱中將它列在機器學習的中項目裡。

L1正則化是把權重絕對值的和作為懲罰加進誤差函數的正則化方式，容易把權重壓到恰好為0的地步。結果使未被使用的特徵係數變為0而自動被剔除，產生特徵選擇的效果。這種狀態稱為稀疏。以權重平方和作為懲罰的是L2正則化，雖能使數值統一縮小，但不容易變成0。學習時隨機停用單元的是Dropout，依驗證誤差惡化來中止學習的是提前停止，兩者都是應對過度擬合的做法，但機制不同。

嶺迴歸是把L2正則化與線性迴歸結合的手法。由於把權重平方和作為懲罰加入，係數整體會被壓得較小，能防止過度擬合。把L1正則化與線性迴歸結合的則是LASSO迴歸，這種方式的係數容易恰好變成0，得到稀疏解。L1與LASSO、L2與嶺迴歸的對應容易搞混，務必成組記憶。L0正則化是把非零權重的個數本身當作懲罰的想法，由於個數無法微分，難以納入使用梯度的學習中。Dropout則是針對神經網路的正則化手法。

Dropout是每次學習時以一定比例隨機停用隱藏層單元的手法。由於每次都以稍微不同形狀的網路學習，就無法只依賴特定單元組合來記憶，能得到類似於平均多個模型的效果。停用只發生在學習時，推論時會使用所有單元。雖然名稱相似，但課綱中Dropout被歸類在第14項的正則化，而不是第19項的正規化層。在小批次中調整分布的是批次正規化，增補資料的是資料增強，因誤差惡化而中止學習的則是提前停止。

小批次學習是把訓練資料分成數十到數百筆一組，依組求梯度並更新權重的進行方式。它比每筆更新一次的線上學習較不容易造成單次梯度的波動，也比用全部資料只更新一次的批次學習計算負擔輕，因此具有介於兩者之間的性質，在實務上佔絕大多數。隨機梯度下降法(SGD)只用部分資料求梯度，因此那份波動反而有助於跳脫鞍點或較淺的局部最佳解。不更新權重並非學習，只是單純的推論。

Epoch是指把整個訓練資料跑過一輪，迭代則是指更新一次權重。兩者透過小批次的大小相連結，每個Epoch的迭代數等於資料件數除以小批次大小。例如以大小50跑3000筆資料，1個Epoch就是60次迭代。加大小批次大小會使單次梯度較穩定，但每個Epoch的更新次數會減少；縮小則更新次數增加，但波動也會變大。小批次大小與學習率都是人事先決定的超參數，與Epoch或迭代是不同的概念。

鞍點是從某個方向看是谷底、從另一個方向看卻是山頂的點，因形狀類似馬鞍而得名。在參數數量非常多的深度學習中，比起在所有方向同時都是谷底的局部最佳解，被困在鞍點動彈不得的情況被認為更容易發生。整個範圍內誤差最小的點是全域最佳解，只在鄰近範圍內最小的點是局部最佳解。隨機梯度下降法(SGD)因梯度帶有波動，較容易脫離這類停滯狀態。

Adam結合了把上一次更新量作為慣性加入的動量（Momentum）想法，以及依參數自動調整學習率的RMSprop想法，是實務上常作為預設值使用的最佳化方法。調適學習率這一系列從AdaGrad開始，AdaGrad雖然對更新量較大的參數降低學習率，卻會持續降低下去，因此RMSprop以指數移動平均緩和了這一點。同系列還有AdaDelta、AdaBound、AMSBound。權重的懲罰屬於正則化的話題，網格搜尋與隨機搜尋屬於超參數搜尋的話題，都不是更新規則本身。

沒有免費午餐定理主張，若對所有可設想的問題取平均，並不存在優於其他所有方法的萬能演算法。因此方法的選擇只能依問題個別考量，並不存在「隨時都用這個就好」的答案。模型加大後誤差先惡化一次、之後又再度下降的是雙重下降現象，這也收錄在同一個中項目中。特徵量維度越增加、所需資料越急遽增加的是維度的詛咒。持續降低學習率並不保證一定能到達全域最佳解，仍可能停在局部最佳解或鞍點。

隨機搜尋是從超參數的搜尋範圍中隨機選點來嘗試的方法。與把候選排成格狀逐一嘗試的網格搜尋不同，它不容易把嘗試浪費在沒有影響的超參數上，即使嘗試次數相同，也能更細緻地探索有影響的軸向。像學習率、小批次大小、層數這類人事先決定的值，就是超參數。依驗證誤差惡化中止學習的是提前停止，學習時隨機停用單元的是Dropout，兩者都不是搜尋方法。

雙重下降現象是指，隨著模型大小或學習量增加，驗證誤差先惡化一次，之後若繼續增加，又會再度開始下降的現象。因誤差曲線出現2次下降而得名。這與「模型越大越容易過度擬合而變差」的樸素直覺相反，作為解釋「大模型有時能得到更好結果」這種近年經驗的框架之一，被收錄在課綱的最佳化方法中。信用分配問題是誤差責任該歸於哪個單元的問題，梯度爆炸問題是反向傳播中梯度發散的問題，不變性的獲得則是池化層的作用。

卷積層讓小型濾波器在輸入上滑動，重複使用相同的權重來取出局部特徵。由於連接對象僅限於鄰近元素，且改變位置後仍使用相同權重，因此能以遠比全連接層少的參數處理圖像。重複使用權重的附帶效果，是不論被攝物出現在圖像的哪個位置，都能作為相同的特徵被擷取。與前一層所有單元相連的是全連接層，不具備學習權重、取代表值的是池化層，把前一時刻狀態送回的是回歸連接層的說明。讓一片濾波器通過後的結果稱為特徵圖，位移的寬度稱為步幅，填補周圍的則是填充。

批次正規化是在小批次中把相同通道的數值彙整、調整為平均0、變異數1的正規化層，能使學習穩定並加快速度。它的弱點是小批次大小過小時，統計量會變得不可靠。在1個樣本中調整整層數值的是層正規化，因不受小批次大小影響，常用於處理序列的模型。此外還有實例正規化與群組正規化，這4種並列在課綱的正規化層中。順帶一提，這個中項目在第1.1版中，名稱已從正則化層改為正規化層。把權重平方和作為懲罰的L2正則化，以及停用單元的Dropout，則被歸類在正則化，而非正規化層。

池化層是把固定大小的區域縮約為一個代表值的層，有取區域最大值的最大池化與取平均的平均池化。這不僅能降低解析度、減輕計算量，也因為即使被攝物偏移幾個像素，代表值也不易改變，因而對位置偏移具備韌性。這稱為不變性的獲得。把整片特徵圖平均壓縮成一個數值的全域平均池化(GAP)，若用來取代最後疊上的全連接層，能大幅減少參數。池化層不具備學習用的權重，這一點也是與卷積層的差異。跨越層數加入的是跳躍連接，調整分布的是正規化層，壓縮後還原的則是自編碼器。

跳躍連接是跨越幾層、把輸入直接加到後面某層輸出上的連線方式。在反向傳播時，梯度除了經過許多層的長路徑外，也能經由跳躍的短路徑到達輸入端，因此即使疊得很深，梯度也不易消失。採用這個想法、把超過100層的深度化為現實的代表範例是ResNet，課綱中跳躍連接這個中項目所列出的關鍵字只有ResNet。隨機停用單元的是Dropout，統一各層分布的是正規化層，都是與跳躍連接不同的機制。跳躍連接也不是用來減少權重數量的工夫。

LSTM擁有一條稱為CEC、用來儲存資訊的記憶路徑，並以決定要寫入什麼的輸入閘、決定要捨棄什麼的遺忘閘、決定要輸出什麼的輸出閘這3者，控制資訊的存取。透過這種機制，得以保持長期的依賴關係，大幅緩解了循環神經網路的梯度消失問題。GRU是LSTM的簡化版，只有重置閘與更新閘這2個閘門。參數較少、計算較輕量，但並非總是比LSTM效能更高。閘門數量是3與2、CEC是LSTM一方的用語，這些都是反覆被考的區別。

Jordan網路是把輸出層的輸出送回下一時刻的隱藏層作為輸入的一種循環神經網路。相對地，把隱藏層的輸出送回下一時刻隱藏層的則是Elman網路，送回的對象不同，正是兩者的差異。兩者都是依原本順序處理時間序列資料的結構，學習時會先把網路在時間方向展開，再套用誤差反向傳播法的BPTT。在較長的序列中，梯度消失問題與梯度爆炸問題會表現得特別明顯，因此會使用具備閘門機制的LSTM或GRU。跨越層數相加的是跳躍連接，與時間方向無關。

Attention是把輸入中應關注何處計算為權重的機制，以查詢（Query）、鍵（Key）、值（Value）三者來表示。其中Source-Target Attention用於像翻譯這種輸入序列與輸出序列分開的場合，計算2個不同序列之間的關聯強度。在同一序列內計算各元素彼此關係的則是Self-Attention，是Transformer的核心元件。在各位置加上固有訊號以賦予詞序的是位置編碼，並行執行多種關注方式再彙整結果的則是Multi-Head Attention，這些都是構成Transformer的各自不同元件。

Transformer是不使用回歸連接、以Attention為核心構成的序列模型。由於不需要等待前一時刻的計算，因此能平行處理整個序列，也能透過一次計算直接掌握相距很遠的詞語之間的關係。不過平行處理會使詞語的順序資訊消失，因此以在各位置加上固有訊號的位置編碼來賦予詞序。Transformer並不是循環神經網路的一種，這正是容易被誤導之處。疊加回歸連接、傳遞前一時刻狀態的是RNN，疊加卷積與池化的是CNN，壓縮後再還原的則是自編碼器的說明。

變分自編碼器(VAE)把壓縮輸入後的目的地學習為機率分布，而非單一個點。只要從該分布中取值並還原，就能產生訓練資料中沒有的新資料，因此被視為生成模型。先壓縮到低維度再還原，以及不需正解標籤即可學習，是一般自編碼器也共有的性質，並非VAE獨有的特徵。逐層依序學習、以製作深層網路初始值的，是堆疊式自編碼器的預訓練。課綱中同一中項目也列出了VQ-VAE、info VAE、β-VAE。

Mixup是以一定比例把2張圖像疊合，正解標籤也以相同比例混合，藉此製作新訓練資料的資料增強手法。名稱相似的CutMix則不是疊合，而是把2張圖的一部分剪貼組合成1張。把圖像一部分塗成方形的是Cutout或Random Erasing，左右翻轉的是Random Flip，裁切一部分的是Crop。此外還有旋轉的Rotate、改變亮度的Brightness、改變對比的Contrast，以及自動決定要套用哪種轉換及套用程度的RandAugument，文字方面則列出了paraphrasing與noising。重要的是都不能選擇會破壞語意的轉換。

GoogLeNet使用了並行套用不同大小濾波器再彙整結果的Inception模組，在抑制參數量的同時實現了深層結構。只疊加3乘3小型卷積、採用單純深層結構的是VGG，與GoogLeNet同樣在2014年的ILSVRC中名列前茅。以跨越層數的跳躍連接實現超過100層深度的是ResNet，在2012年ILSVRC奪冠、結合ReLU函數與Dropout及GPU學習的則是AlexNet。此後又擴展到Wide ResNet、DenseNet、SENet、EfficientNet、MobileNet等，不使用卷積、引入Transformer想法的Vision Transformer也被收錄在內。

YOLO與SSD是把候選區域的擷取與類別判定以一次推論一併完成的單階段物體偵測模型，特色是速度快。相對地，從R-CNN開始，發展到Fast R-CNN、Faster R-CNN的系列，是先提出候選區域、再進行分類的2階段方式，速度較慢但容易取得精確度。為每個像素分配類別的是語意分割，代表例有FCN、SegNet、U-Net、PSPNet、DeepLab。把同一類別的物體再細分到個體層級的實例分割由Mask R-CNN負責，推估人體關節點的姿態估計則以OpenPose為代表。

BERT是使用Transformer編碼器的語言模型，特徵是從句子的前後雙方向觀察文脈以進行預訓練。它推廣了「先用大量文字預訓練、再適應個別任務」的使用方式。疊加回歸連接層、依序讀入單字的是使用循環神經網路的模型，Transformer不具備回歸連接。把圖像與說明文對應到同一向量空間的是CLIP，課綱中將它列在多模態。反向追溯加入雜訊的過程來生成的是Diffusion Model，這屬於資料生成的中項目。

CBOW是從周邊出現的詞，學習預測該中心詞的方式。反過來，從中心詞學習預測周邊詞的則是Skip-gram，方向相反，要注意不要混淆。兩者都是word2vec的方式，目的都是取得以密集向量表示單字的分散式表示。為每個詞分配一個維度的One-hot向量，維度會等於詞彙量的大小，且無法表示詞與詞之間的相近程度；相對地，在分散式表示中，意義相近的詞會被安排在向量空間中相近的位置。判斷句子是肯定或否定的是情感分析這種應用任務，並非單字表示的學習方式。

RLHF是根據人類給予的偏好評價建立獎勵模型，再以此作為獎勵、透過強化學習調整模型的手法。它以用於語言模型的調整而聞名，但課綱中並未列在自然語言處理，而是列在深層強化學習的中項目，這一點出乎意料，值得記住。DQN是以神經網路近似行動價值函數的深層強化學習代表手法，PPO是抑制策略更新幅度以求穩定的策略學習手法，A3C則是平行執行多個環境以推進學習的手法。同一中項目也並列了Double DQN、Dueling Network、Rainbow、APE-X、Agent57等。

Diffusion Model是透過反向追溯對資料逐步加入雜訊的過程，從雜訊中製作出目標資料的生成模型。它與讓2個網路互相競爭來學習的生成對抗網路(GAN)機制完全不同，並不是GAN的一種。從GAN衍生出DCGAN、CycleGAN、Pix2Pix。從多個視角照片學習三維外觀的是NeRF，把壓縮目的地學習為機率分布的則是變分自編碼器(VAE)。最好把GAN、VAE、Diffusion Model整理成並列存在的不同系統來理解。

遷移學習是把預訓練模型負責擷取特徵的部分固定不變，主要只以新任務學習輸出層附近的方法。微調則是用新資料重新學習全部或較廣範圍的權重，雖需要更多資料與計算，但當目標領域與預訓練資料差異很大時，效果較容易提升。微調有時會發生原模型所具備能力喪失的災難性遺忘。兩者都是以預訓練模型為前提的手法，並非從頭開始學習，也不是依處理的資料種類來決定用哪一種。

基礎模型是指以大量資料預訓練、可轉用於多種下游任務的大規模模型，課綱中放在第32項的多模態，與CLIP、DALL-E、Flamingo、Unified-IO、Zero-shot等並列。生成式AI周邊的用詞分散在各處，大型語言模型(LLM)收錄在第27項自然語言處理，RLHF則收錄在第29項深層強化學習。與第31項遷移學習、微調並列的則是Few-shot、One-shot、自監督學習、預訓練模型、災難性遺忘等。掌握每個用詞放在哪個中項目，有助於掌握整體範圍的樣貌。

SHAP是借用合作賽局理論中使用的想法，公平地分配並呈現各特徵對預測的貢獻度的手法。以類似熱度圖的形式呈現判斷時看的是圖像哪個部位的是CAM與Grad-CAM，刻意把特徵值互換、從精確度下降程度衡量重要度的是Permutation Importance，在個別預測附近套用簡單模型並以其係數說明的則是LIME。這些都收錄在課綱第33項模型的可解釋性中，把能讓人理解判斷依據的做法統稱為可解釋AI(XAI)。

彩券假說是指，大型網路之中，含有即使單獨取出學習、也能達到與整體同等效能之「中獎」部分網路的假說。它被用來說明為何剪去貢獻較小之連接或層的剪枝方法會有效。讓小模型學習大型教師模型輸出的是知識蒸餾，降低表示權重之數值精確度的是量化，加上剪枝共3種是課綱的輕量化手法，合稱為模型壓縮。所需訓練資料急遽增加的是維度的詛咒的話題。需要輕量化的典型情境，就是在終端裝置上執行推論的邊緣AI。