딥러닝의 기법과 응용

단순 퍼셉트론은 입력층과 출력층만으로 이루어진 가장 단순한 신경망으로, 직선 하나로 나눌 수 있는 선형 분리 가능한 문제만 풀 수 있다. 배타적 논리합(XOR)은 출력이 1이 되는 점과 0이 되는 점이 대각선 상에 번갈아 놓이므로 어디에 직선을 그어도 나눌 수 없어 단순 퍼셉트론으로는 표현할 수 없다. 은닉층을 더해 경계를 구부릴 수 있게 한 다층 퍼셉트론이라면 XOR도 표현할 수 있으며, 첫 번째 선택지는 그 다층 퍼셉트론에 대한 설명이다. 이전 시각의 상태를 되돌려 계열을 다루는 것은 순환 신경망, 필터를 이동시키며 국소적 특징을 추출하는 것은 합성곱층에 대한 설명이다.

딥러닝의 학습은 행렬과 벡터의 곱셈과 덧셈을 방대한 횟수로 반복하는 계산이다. GPU는 단순한 연산을 수행하는 작은 코어를 대량으로 가지고 있어 같은 계산을 일제히 병렬로 돌리는 데 적합하므로 이 형태의 계산과 궁합이 좋다. 분기가 많은 처리를 소수의 강력한 코어로 순서대로 고속 처리하는 것은 CPU가 잘하는 분야로, 코어 수는 많지 않다. GPU의 장점은 기억 용량의 크기가 아니라 병렬도이다. 연쇄법칙을 전용 회로로 내장하고 있다는 사실은 없으며, 딥러닝의 텐서 연산에 초점을 맞춰 설계된 것은 TPU 쪽이다.

기울기 소실 문제는 역전파 도중 기울기가 0에 가까워져 입력 쪽 층이 학습되지 않게 되는 현상이다. 시그모이드 함수는 미분의 최댓값이 0.25밖에 되지 않으므로 층을 거슬러 올라갈 때마다 0.25 이하의 수가 곱해져 깊은 신경망에서는 기울기가 거의 남지 않는다. 문제가 되는 것은 출력값 자체가 아니라 그 미분의 크기이다. 음의 입력에 대해 기울기가 0이 되어 학습이 멈추는 것은 ReLU 함수의 약점으로, Leaky ReLU 함수는 이에 대한 대처에 해당한다. 출력의 총합이 1이 되도록 정규화하는 것은 소프트맥스 함수이다.

ReLU 함수는 입력이 양수면 그 값을 그대로, 음수면 0을 반환하는 단순한 함수이다. 양의 영역에서는 미분이 항상 1이므로 층을 거슬러 올라가도 기울기가 작아지지 않아 기울기 소실 문제를 크게 완화할 수 있다. 다만 음의 영역에서는 미분이 0이 되므로 한번 음의 쪽으로 들어간 유닛이 학습하지 않게 되는 경우가 있어, 음의 쪽에 약간의 기울기를 준 Leaky ReLU 함수가 마련되어 있다. 0에서 1로 밀어 넣는 S자형은 시그모이드 함수, -1에서 1이며 원점 대칭인 것은 tanh 함수, 출력의 총합이 1이 되도록 정규화하는 것은 소프트맥스 함수에 대한 설명이다.

ReLU 함수는 음의 영역에서 출력도 미분도 0이 되므로, 어떤 유닛의 입력이 계속 음수이면 기울기가 흐르지 않아 그 유닛은 두 번 다시 학습하지 않게 된다. Leaky ReLU 함수는 음의 쪽에도 약간의 기울기를 주어 이 막다른 상태를 피한다. 양의 영역에서 기울기가 1인 것은 ReLU 함수의 장점이지 단점이 아니며, 기울기 소실을 막아 주는 것이 바로 이 성질이다. 출력의 총합이 1이 되지 않는 것은 활성화 함수로서 당연한 것으로, 확률로 읽고 싶은 출력층에는 소프트맥스 함수를 사용한다. 계산에 지수함수를 포함하는 것은 시그모이드 함수와 tanh 함수이며, ReLU 함수는 오히려 계산이 가볍다.

소프트맥스 함수는 출력의 총합이 정확히 1이 되도록 전체를 정규화하므로, 클래스가 3개 이상인 다중 클래스 분류의 출력층에 두어 각 클래스에 속할 확률로 읽게 한다. 오차 함수로는 교차 엔트로피를 조합하는 것이 기본이다. 이진 분류의 출력층에 두어 확률을 내는 것은 시그모이드 함수, 은닉층의 활성화 함수로 널리 쓰이는 것은 ReLU 함수나 tanh 함수이다. 회귀 문제에서는 출력층에서 값을 그대로 내고 오차 함수로 평균제곱오차 함수를 사용한다.

회귀는 연속값을 맞히는 문제이므로 예측과 정답의 차이를 그대로 제곱해 평균 내는 평균제곱오차 함수가 자연스러운 선택이 된다. 교차 엔트로피는 확률분포 간의 차이를 재는 함수로 분류 문제에 쓰인다. 다중 클래스 분류라면 출력층의 소프트맥스 함수와 조합하는 것이 기본 형태이다. Triplet Loss는 기준과 정례와 부례의 세 쌍으로 거리 관계를, Contrastive Loss는 두 데이터가 같은 것인지 아닌지를 거리로 학습시키는 것으로, 둘 다 유사한지 여부를 재는 표현을 얻기 위한 오차 함수이다. 오차 함수는 과제에 맞게 고른다는 것이 이 중항목의 목표에 해당한다.

Triplet Loss는 기준이 되는 데이터, 그와 같은 종류의 데이터(정례), 다른 종류의 데이터(부례)의 세 쌍을 사용해 기준과 정례의 거리가 기준과 부례의 거리보다 작아지도록 학습시키는 오차 함수이다. 유사한지 여부를 거리로 나타내는 공간을 만들 때 쓰인다. 두 확률분포 사이의 거리를 재는 것은 쿨백-라이블러 발산(KL divergence), 예측과 정답의 차이를 제곱해 평균 내는 것은 평균제곱오차 함수, 확률분포의 차이를 재어 분류에 널리 쓰이는 것은 교차 엔트로피이다. 참고로 두 데이터의 쌍으로 같은지 다른지를 학습시키는 Contrastive Loss도 같은 중항목에 수록되어 있다.

오차역전파법은 합성함수의 미분을 부분별 미분의 곱으로 분해하는 연쇄법칙을 사용해 출력 쪽에서 입력 쪽으로 거슬러 올라가며 각 가중치의 기울기를 효율적으로 구하는 방법이다. 여기서 구해지는 것은 어디까지나 기울기이며, 그 기울기를 사용해 가중치를 실제로 움직이는 것은 경사하강법의 역할이다. 오차역전파법이 가중치를 갱신한다고 단정하면 부정확해지므로 주의해야 한다. 난수로 움직여 좋은 방향을 채택하는 것은 기울기를 쓰지 않는 탐색 방식이며, 입력 쪽에서 출력 쪽으로 계산을 진행하는 것은 순전파, 즉 추론의 절차이다.

신용 할당 문제는 출력에 나타난 오차의 책임을 도중의 어느 층 어느 유닛에 얼마만큼 돌려야 하는지에 대한 문제이다. 오차역전파법은 연쇄법칙으로 이 할당을 계산 가능하게 만들었다고 자리매김된다. 기울기 소실 문제는 거슬러 올라가는 동안 기울기가 0에 가까워져 입력 쪽 층이 학습되지 않게 되는 현상, 기울기 폭발 문제는 그 반대로 기울기가 너무 커져 발산하는 현상으로, 둘 다 오차역전파법을 적용했을 때 생기는 문제이다. 차원의 저주는 특징량의 차원이 늘어날수록 필요한 데이터가 급증하는 현상으로, 시라버스에서는 머신러닝의 중항목에 놓여 있다.

L1 정칙화는 가중치의 절댓값의 합을 페널티로 오차 함수에 더하는 정칙화로, 가중치가 정확히 0인 지점까지 밀리기 쉽다. 그 결과 쓰이지 않는 특징의 계수가 0이 되어 자동으로 빠지므로 특징 선택의 효과가 생긴다. 이 상태를 희소하다(스파스, sparse)고 한다. 가중치의 제곱합을 페널티로 삼는 것은 L2 정칙화로, 값을 작게 맞추기는 하지만 0이 되기는 어렵다. 학습 시 유닛을 무작위로 비활성화하는 것은 드롭아웃, 검증 오차의 악화를 보고 학습을 중단하는 것은 조기 종료로, 둘 다 과적합에 대한 대처이지만 방식이 다르다.

리지 회귀는 선형회귀에 L2 정칙화를 조합한 방법이다. 가중치의 제곱합을 페널티로 더하므로 계수 전체가 작게 억제되어 과적합을 막을 수 있다. 선형회귀에 L1 정칙화를 조합한 쪽은 라쏘 회귀로, 이쪽은 계수가 정확히 0이 되기 쉬워 희소한 해를 얻을 수 있다. L1과 라쏘, L2와 리지의 대응은 헷갈리기 쉬우므로 반드시 세트로 기억해 두어야 한다. L0 정칙화는 0이 아닌 가중치의 개수 자체를 페널티로 삼는 사고방식으로, 개수는 미분할 수 없으므로 기울기를 쓰는 학습에는 넣기 어렵다. 드롭아웃은 신경망을 위한 정칙화 기법이다.

드롭아웃은 학습할 때마다 은닉층의 유닛을 일정 비율로 무작위로 비활성화하는 기법이다. 매번 조금씩 다른 형태의 신경망으로 학습하게 되므로 특정 유닛 조합에만 의존하는 학습을 할 수 없게 되어, 다수의 모델을 평균 낸 것 같은 효과를 얻을 수 있다. 비활성화하는 것은 학습 시뿐이며 추론 시에는 모든 유닛을 사용한다. 이름이 비슷하지만 시라버스에서는 드롭아웃이 14번 정칙화로 분류되어 있으며 19번 정규화층이 아니다. 미니배치 안에서 분포를 맞추는 것은 배치 정규화, 데이터를 늘리는 것은 데이터 증강, 오차 악화로 중단하는 것은 조기 종료이다.

미니배치 학습은 훈련 데이터를 수십에서 수백 건 단위로 나누어 그 단위마다 기울기를 구해 가중치를 갱신하는 방식이다. 1건씩 갱신하는 온라인 학습만큼 매번의 기울기가 흔들리지 않고, 전체 데이터로 1회만 갱신하는 배치 학습만큼 계산이 무거워지지도 않는 중간적인 성질을 가지므로 실무에서는 이것이 대부분을 차지한다. 확률적 경사하강법(SGD)은 일부 데이터만으로 기울기를 구하므로 그 흔들림 덕분에 안장점이나 얕은 국소 최적해에서 빠져나오기 쉽다는 장점이 있다. 가중치를 갱신하지 않는 것은 학습이 아니라 단순한 추론이다.

에폭은 훈련 데이터 전체를 한 바퀴 도는 것, 이터레이션은 가중치를 1회 갱신하는 것을 가리킨다. 둘은 미니배치의 크기를 매개로 이어져 있어 1에폭당 이터레이션 수는 데이터 건수를 미니배치 크기로 나눈 값이 된다. 예를 들어 3000건의 데이터를 크기 50으로 돌리면 1에폭은 60 이터레이션이다. 미니배치 크기를 키우면 한 번의 기울기는 안정되지만 1에폭당 갱신 횟수는 줄고, 작게 하면 갱신은 늘지만 흔들림이 커진다. 미니배치 크기도 학습률도 사람이 미리 정하는 하이퍼파라미터로, 에폭이나 이터레이션과는 다른 개념이다.

안장점은 어떤 방향에서 보면 골짜기 바닥인데 다른 방향에서 보면 산꼭대기가 되는 지점이다. 말 안장 같은 모양을 하고 있어 이런 이름이 붙었다. 파라미터 수가 매우 많은 딥러닝에서는 모든 방향에서 동시에 골짜기 바닥이 되는 국소 최적해보다 안장점에 빠져 움직이지 못하게 되는 쪽이 더 일어나기 쉽다고 여겨진다. 범위 전체에서 오차가 가장 작은 지점은 전역 최적해, 근처 범위에서만 가장 작은 지점은 국소 최적해이다. 확률적 경사하강법(SGD)은 기울기에 흔들림이 실리므로 이런 정체 상태에서 빠져나오기 쉽다.

Adam은 이전 갱신량을 관성으로 더해 넣는 모멘텀의 사고방식과, 파라미터마다 학습률을 자동으로 조정하는 RMSprop의 사고방식을 조합한 최적화 기법으로, 실무의 기본값으로 자주 쓰인다. 학습률을 적응시키는 계열은 AdaGrad에서 시작되었는데, AdaGrad는 갱신이 컸던 파라미터일수록 학습률을 낮추지만 계속 낮추기만 하므로 RMSprop이 지수이동평균으로 이를 완화했다. 같은 계열에는 AdaDelta·AdaBound·AMSBound도 있다. 가중치에 대한 페널티는 정칙화의 이야기, 그리드 서치와 랜덤 서치는 하이퍼파라미터 탐색의 이야기로, 둘 다 갱신 규칙 자체는 아니다.

노 프리 런치 정리는 상정할 수 있는 모든 문제를 평균 내면 다른 모든 것보다 뛰어난 만능 알고리즘은 존재하지 않는다는 주장이다. 따라서 기법의 선택은 문제마다 생각할 수밖에 없으며 언제나 이것을 쓰면 된다는 답은 없다. 모델을 크게 하면 오차가 한 번 악화된 후 다시 내려가는 것은 이중 하강 현상으로, 이것도 같은 중항목에 수록되어 있다. 특징량의 차원이 늘어날수록 필요한 데이터가 급증하는 것은 차원의 저주이다. 학습률을 계속 낮추면 반드시 전역 최적해에 도달한다는 보장은 없으며, 국소 최적해나 안장점에서 멈출 수 있다.

랜덤 서치는 하이퍼파라미터 탐색 범위 안에서 무작위로 점을 골라 시도하는 방법이다. 후보를 격자 형태로 나열해 전수 조사하는 그리드 서치와 달리, 효과가 없는 하이퍼파라미터에 시도를 낭비하기 어렵고 같은 시도 횟수로도 효과가 있는 축을 세밀하게 탐색할 수 있다는 장점이 있다. 학습률이나 미니배치 크기, 층 수처럼 사람이 미리 정하는 값이 하이퍼파라미터이다. 검증 오차의 악화로 학습을 중단하는 것은 조기 종료, 학습 시 유닛을 무작위로 비활성화하는 것은 드롭아웃으로, 둘 다 탐색 방법은 아니다.

이중 하강 현상은 모델의 크기나 학습량을 늘려 갈 때 검증 오차가 한 번 악화된 뒤 더 늘리면 다시 내려가기 시작하는 현상이다. 오차 곡선이 두 번 내려가는 것에서 이런 이름이 붙었다. 모델을 크게 할수록 과적합해서 나빠진다는 소박한 직관에는 반하지만, 큰 모델일수록 좋은 결과가 나오는 경우가 있다는 최근의 경험을 설명하는 틀 중 하나로서 시라버스의 최적화 기법에 수록되어 있다. 신용 할당 문제는 오차의 책임을 어느 유닛에 돌릴지에 대한 문제, 기울기 폭발 문제는 역전파에서 기울기가 발산하는 문제, 불변성 획득은 풀링층의 역할이다.

합성곱층은 작은 필터를 입력 위에서 이동시키며 같은 가중치를 재사용해 국소적인 특징을 추출한다. 연결 상대가 가까운 요소로 한정된다는 점과 위치를 바꿔도 같은 가중치를 사용한다는 점, 이 두 가지 덕분에 완전연결층보다 훨씬 적은 파라미터로 이미지를 다룰 수 있다. 재사용의 부산물로 피사체가 이미지의 어디에 찍혀 있든 같은 특징으로 포착할 수 있게 된다. 앞 층의 모든 유닛과 연결되는 것은 완전연결층, 학습하는 가중치 없이 대표값을 취하는 것은 풀링층, 이전 시각의 상태를 되돌리는 것은 회귀 결합층에 대한 설명이다. 필터 하나를 통과시킨 결과가 특징 맵, 이동시키는 폭이 스트라이드, 주변을 채우는 것이 패딩이다.

배치 정규화는 미니배치 안에서 같은 채널의 값을 모아 평균 0·분산 1로 맞추는 정규화층으로, 학습을 안정시키고 빠르게 한다. 미니배치 크기가 작으면 통계량을 믿을 수 없게 되는 것이 약점이다. 하나의 샘플 안에서 층 전체의 값을 맞추는 것은 레이어 정규화로, 미니배치 크기에 좌우되지 않으므로 계열을 다루는 모델에서 자주 쓰인다. 그 밖에 인스턴스 정규화와 그룹 정규화가 있어 이 네 가지가 시라버스의 정규화층에 나란히 놓인다. 참고로 이 중항목은 제1.1판에서 정칙화층에서 정규화층으로 명칭이 바뀌었다. 가중치의 제곱합을 페널티로 삼는 L2 정칙화와 유닛을 비활성화하는 드롭아웃은 정규화층이 아니라 정칙화로 분류된다.

풀링층은 정해진 크기의 영역을 하나의 대표값으로 축약하는 층으로, 영역의 최댓값을 취하는 최대 풀링과 평균을 취하는 평균 풀링이 있다. 해상도가 낮아져 계산이 가벼워질 뿐 아니라 피사체가 몇 픽셀 어긋나도 대표값이 잘 바뀌지 않으므로 위치의 어긋남에 강해진다. 이를 불변성 획득이라 한다. 특징 맵 한 장을 통째로 평균 내어 하나의 값으로 만드는 글로벌 평균 풀링(GAP)은 마지막에 완전연결층을 쌓는 대신 사용하면 파라미터를 크게 줄일 수 있다. 풀링층에 학습하는 가중치가 없다는 점도 합성곱층과의 차이이다. 층을 건너뛰어 더해 넣는 것은 스킵 연결, 분포를 맞추는 것은 정규화층, 압축한 뒤 복원하는 것은 오토인코더이다.

스킵 연결은 몇 개의 층을 건너뛰어 입력을 그대로 앞의 층의 출력에 더해 넣는 배선이다. 역전파 시 기울기는 많은 층을 지나는 긴 경로뿐 아니라 건너뛰는 짧은 경로도 지나 입력 쪽까지 도달하므로, 깊게 쌓아도 기울기가 사라지기 어려워진다. 이 사고방식을 도입해 100층을 넘는 깊이를 현실로 만든 대표 사례가 ResNet으로, 시라버스에서 스킵 연결 중항목에 놓인 키워드는 ResNet뿐이다. 유닛을 무작위로 비활성화하는 것은 드롭아웃, 각 층의 분포를 맞추는 것은 정규화층으로, 둘 다 스킵 연결과는 다른 구조이다. 스킵 연결은 가중치의 수를 줄이는 방법도 아니다.

LSTM은 정보를 저장해 두는 CEC라는 기억 경로를 가지며, 거기에 무엇을 써넣을지 정하는 입력 게이트, 무엇을 버릴지 정하는 망각 게이트, 무엇을 밖으로 낼지 정하는 출력 게이트 3개로 출입을 제어한다. 이 구조 덕분에 긴 의존 관계를 유지할 수 있게 되어 순환 신경망의 기울기 소실 문제가 크게 완화되었다. GRU는 LSTM을 간략화한 것으로 게이트는 리셋 게이트와 업데이트 게이트 2개뿐이다. 파라미터가 적어 계산이 가벼운 한편 항상 LSTM보다 성능이 좋은 것은 아니다. 게이트 수가 3개와 2개라는 점, CEC는 LSTM 쪽의 용어라는 점이 반복해서 출제되는 구분이다.

조르당 네트워크는 출력층의 출력을 다음 시각의 은닉층에 되돌려 입력하는 형태의 순환 신경망이다. 이에 반해 은닉층의 출력을 다음 시각의 은닉층에 되돌리는 것이 엘만 네트워크로, 무엇을 되돌리는지가 둘의 차이가 된다. 둘 다 시계열 데이터를 순서 그대로 다루기 위한 구조로, 학습에는 시간 방향으로 신경망을 펼친 뒤 오차역전파법을 적용하는 BPTT를 사용한다. 긴 계열에서는 기울기 소실 문제와 기울기 폭발 문제가 강하게 나타나므로 게이트 구조를 가진 LSTM이나 GRU가 쓰인다. 층을 건너뛰어 더해 넣는 것은 스킵 연결로, 시간 방향의 이야기가 아니다.

Attention은 입력의 어디에 주목해야 할지를 가중치로 계산하는 구조로, 쿼리·키·밸류 세 가지로 표현된다. 이 중 Source-Target Attention은 번역처럼 입력 계열과 출력 계열이 나뉘어 있는 상황에서 서로 다른 두 계열 사이의 관련 강도를 계산한다. 같은 계열 안에서 각 요소끼리의 관계를 계산하는 쪽이 Self-Attention으로, Transformer의 중심 구성 요소이다. 각 위치에 고유한 신호를 더해 어순을 부여하는 것은 위치 인코딩, 여러 주목 방식을 병렬로 실행해 결과를 모으는 것은 Multi-Head Attention으로, 모두 Transformer를 구성하는 별개의 부품이다.

Transformer는 회귀 결합을 쓰지 않고 Attention을 중심으로 구성한 계열 모델이다. 이전 시각의 계산을 기다릴 필요가 없으므로 계열 전체를 병렬로 처리할 수 있고, 멀리 떨어진 단어끼리의 관계도 한 번의 계산으로 직접 파악할 수 있다. 다만 병렬로 처리하면 단어의 순서 정보가 사라지므로 각 위치에 고유한 신호를 더하는 위치 인코딩으로 어순을 부여한다. Transformer는 순환 신경망의 일종이 아니라는 점이 함정이다. 회귀 결합을 쌓아 이전 시각의 상태를 넘겨주는 것은 RNN, 합성곱과 풀링을 쌓는 것은 CNN, 압축한 뒤 복원하는 것은 오토인코더에 대한 설명이다.

변분 오토인코더(VAE)는 입력을 압축한 곳을 하나의 점이 아니라 확률분포로 학습한다. 그 분포에서 값을 꺼내 복원하면 학습 데이터에는 없던 새로운 데이터를 만들 수 있으므로 생성 모델로 다뤄진다. 낮은 차원으로 압축한 뒤 복원하는 것과 정답 라벨 없이 학습할 수 있는 것은 일반적인 오토인코더에도 공통되는 성질로 VAE만의 특징이 아니다. 층을 하나씩 순서대로 학습시켜 깊은 신경망의 초깃값을 만드는 것은 적층 오토인코더에 의한 사전학습이다. 시라버스에는 VQ-VAE·info VAE·β-VAE도 같은 중항목에 실려 있다.

Mixup은 두 장의 이미지를 일정한 비율로 겹치고 정답 라벨도 같은 비율로 섞어 새로운 학습 데이터를 만드는 데이터 증강 기법이다. 이름이 비슷한 CutMix는 겹치는 대신 두 장의 일부를 잘라 붙여 한 장으로 만든다. 이미지의 일부를 사각형으로 칠하는 것은 Cutout이나 Random Erasing, 좌우로 뒤집는 것은 Random Flip, 일부를 잘라내는 것은 Crop이다. 그 밖에 회전시키는 Rotate, 밝기를 바꾸는 Brightness, 대비를 바꾸는 Contrast, 어떤 변환을 얼마나 적용할지 자동으로 정하는 RandAugment가 있으며 텍스트용으로는 paraphrasing과 noising이 제시되어 있다. 모두 의미를 해치지 않는 변환을 고르는 것이 중요하다.

GoogLeNet은 크기가 다른 필터를 병렬로 적용해 결과를 모으는 Inception 모듈을 사용해 파라미터를 억제하면서도 깊은 구성을 실현한 모델이다. 3×3의 작은 합성곱만을 쌓는 단순하고 깊은 구성을 취한 것은 VGG로, GoogLeNet과 같은 2014년 ILSVRC에서 상위에 들었다. 층을 건너뛰는 스킵 연결로 100층을 넘는 깊이를 가능하게 한 것은 ResNet, 2012년 ILSVRC에서 우승하고 ReLU 함수와 드롭아웃, GPU 학습을 조합한 것은 AlexNet이다. 이후 Wide ResNet, DenseNet, SENet, EfficientNet, MobileNet 등으로 이어졌고, 합성곱을 쓰지 않고 Transformer의 사고방식을 들여온 Vision Transformer도 수록되어 있다.

YOLO와 SSD는 후보 영역 추출과 클래스 판정을 한 번의 추론으로 모아서 수행하는 1단계 물체 검출 모델로, 속도가 강점이다. 이에 반해 R-CNN에서 시작해 Fast R-CNN, Faster R-CNN으로 발전한 계통은 먼저 후보 영역을 낸 뒤 분류하는 2단계 방식으로, 느린 대신 정확도가 나오기 쉽다. 픽셀마다 클래스를 할당하는 것은 시맨틱 세그멘테이션으로 FCN·SegNet·U-Net·PSPNet·DeepLab이 대표적이다. 같은 클래스의 물체를 개체까지 구분하는 인스턴스 세그멘테이션은 Mask R-CNN이 담당하고, 인체 관절을 추정하는 자세 추정은 OpenPose가 대표적이다.

BERT는 Transformer의 인코더를 사용한 언어 모델로, 문장의 앞뒤 양방향에서 문맥을 보며 사전학습한다는 점이 특징이다. 대량의 텍스트로 사전학습한 뒤 개별 과제에 적응시키는 사용법을 널리 퍼뜨렸다. 회귀 결합층을 쌓아 단어를 순서대로 읽어 나가는 것은 순환 신경망을 사용한 모델로, Transformer는 회귀 결합을 가지지 않는다. 이미지와 설명문을 같은 벡터 공간에 대응시키는 것은 CLIP으로, 시라버스에서는 멀티모달에 놓여 있다. 노이즈를 더하는 과정을 거꾸로 되짚어 생성하는 것은 Diffusion Model로, 이쪽은 데이터 생성의 중항목이다.

CBOW는 주변에 나타나는 단어로부터 그 중심 단어를 맞히도록 학습하는 방식이다. 반대로 중심 단어로부터 주변 단어를 맞히도록 학습하는 것이 Skip-gram으로, 방향이 반대이므로 혼동에 주의해야 한다. 둘 다 word2vec의 방식으로, 단어를 밀집 벡터로 나타내는 분산 표현을 얻는 것이 목적이다. 단어 하나에 차원 하나를 할당하는 원-핫 벡터는 차원이 어휘 크기가 되는 데다 단어끼리의 가까움을 나타낼 수 없는 반면, 분산 표현에서는 의미가 가까운 단어가 벡터 공간에서 가깝게 배치된다. 문장이 긍정적인지 부정적인지를 맞히는 것은 감성 분석이라는 응용 과제로, 단어 표현의 학습 방식에 대한 이야기가 아니다.

RLHF는 사람이 매긴 선호 평가로부터 보상 모델을 만들고, 이를 보상으로 삼아 강화학습으로 모델을 조정하는 기법이다. 언어 모델의 조정으로 잘 알려져 있지만 시라버스에서는 자연어 처리가 아니라 심층 강화학습의 중항목에 놓여 있는 점이 의외이니 기억해 두면 도움이 된다. DQN은 행동 가치 함수를 신경망으로 근사하는 심층 강화학습의 대표 기법, PPO는 정책의 갱신 폭을 억제해 안정시키는 정책 학습 기법, A3C는 여러 환경을 병렬로 돌려 학습을 진행하는 기법이다. 같은 중항목에는 더블 DQN, 듀얼링 네트워크, Rainbow, APE-X, Agent57 등도 나란히 놓인다.

Diffusion Model은 데이터에 노이즈를 조금씩 더해 가는 과정을 거꾸로 되짚음으로써 노이즈에서 목표하는 데이터를 만들어 내는 생성 모델이다. 두 개의 신경망을 경쟁시키며 학습하는 적대적 생성 신경망(GAN)과는 구조가 전혀 달라 GAN의 일종이 아니다. GAN에서는 DCGAN, CycleGAN, Pix2Pix가 파생되었다. 여러 시점의 사진으로부터 3차원적인 모습을 학습하는 것은 NeRF, 압축한 곳을 확률분포로 학습하는 것은 변분 오토인코더(VAE)이다. GAN과 VAE와 Diffusion Model은 나란히 놓이는 별개의 계통으로 정리해 두어야 한다.

전이 학습은 사전학습된 모델에서 특징을 추출하는 부분은 고정한 채 주로 출력층 부근만을 새로운 과제로 학습하는 방법이다. 파인튜닝은 가중치의 전체 또는 넓은 범위를 새로운 데이터로 다시 학습하는 것으로, 필요한 데이터와 계산은 늘어나는 대신 대상 영역이 사전학습 데이터와 크게 다를 경우 성능이 오르기 쉽다. 파인튜닝에서는 원래 모델이 가지고 있던 능력이 사라지는 파괴적 망각이 일어날 수 있다. 둘 다 사전학습된 모델을 전제로 하는 기법이며 처음부터 학습하는 것이 아니다. 또한 다루는 데이터의 종류로 용도가 나뉘는 것도 아니다.

기반 모델은 대량의 데이터로 사전학습해 다양한 다운스트림 과제에 전용할 수 있는 대규모 모델을 가리키는 용어로, 시라버스에서는 32번 멀티모달에 놓여 있으며 CLIP·DALL-E·Flamingo·Unified-IO·Zero-shot 등과 나란히 있다. 생성형 AI 관련 용어는 배치가 흩어져 있어, 대규모 언어 모델(LLM)은 27번 자연어 처리, RLHF는 29번 심층 강화학습에 수록되어 있다. 31번 전이 학습·파인튜닝에 나란히 놓이는 것은 Few-shot, One-shot, 자기지도학습, 사전학습 모델, 파괴적 망각 등이다. 어느 중항목에 무엇이 놓여 있는지를 파악해 두면 범위의 전체상을 잡기 쉽다.

SHAP은 협력 게임 이론에서 쓰이는 사고방식을 빌려 예측에 대한 각 특징의 기여를 공평하게 배분해 보여 주는 기법이다. 이미지의 어디를 보고 판단했는지를 열지도 같은 형태로 보여 주는 것은 CAM이나 Grad-CAM, 특징값을 일부러 뒤바꾸어 정확도가 떨어지는 정도로 중요도를 재는 것은 Permutation Importance, 개별 예측 주변에서 단순한 모델을 적합시켜 그 계수로 설명하는 것은 LIME이다. 이들은 모두 시라버스의 33번 모델의 해석 가능성에 수록되어 있으며, 판단 근거를 사람이 이해할 수 있는 형태로 보여 주는 노력을 통틀어 설명 가능한 AI(XAI)라 부른다.

복권 가설은 큰 신경망 안에 그것만 따로 꺼내 학습시켜도 전체와 동등한 성능에 도달하는 당첨 부분 신경망이 포함되어 있다는 가설이다. 기여가 작은 연결이나 층을 잘라내는 가지치기가 왜 잘 작동하는지를 설명하는 배경으로 이야기된다. 큰 교사 모델의 출력을 작은 모델에 학습시키는 것은 지식 증류, 가중치를 나타내는 수치의 정밀도를 낮추는 것은 양자화로, 가지치기와 합친 세 가지가 시라버스의 경량화 기법에 해당하며 통틀어 모델 압축이라 한다. 필요한 학습 데이터가 급격히 늘어나는 것은 차원의 저주 이야기이다. 경량화가 요구되는 전형적인 예는 단말 쪽에서 추론을 돌리는 엣지 AI이다.