전이학습

{ width=500px }

딥러닝은 네트워크 파라미터 $\theta$ 를 찾아나가는 여정입니다. 이 과정은 비선형적인 차원 축소를 통해 매니폴드를 찾아나가는 과정이라고도 볼 수 있습니다. 경사도를 통한 최적화 및 지역 최소점이라는 문제가 남아있긴 하지만 대부분 큰 문제가 되지 못하고, 딥러닝은 주어진 데이터를 활용하여 이를 성공적으로 수행합니다.

전이학습transfer learning은 이러한 딥러닝의 성능을 한층 끌어올리는 방법입니다. 2018년 들어 큰 주목을 받기 시작했고, 비교적 간단한 방법을 통해 여러 문제들의 최고 성능을 갱신하며 파란을 일으키고 있습니다. 15장에서는 전이학습 기법이 자연어 처리에 성공적으로 적용된 사례를 살펴보고자 합니다.