전이학습
{ width=500px }
딥러닝은 네트워크 파라미터 $\theta$ 를 찾아나가는 여정입니다. 이 과정은 비선형적인 차원 축소를 통해 매니폴드를 찾아나가는 과정이라고도 볼 수 있습니다. 경사도를 통한 최적화 및 지역 최소점이라는 문제가 남아있긴 하지만 대부분 큰 문제가 되지 못하고, 딥러닝은 주어진 데이터를 활용하여 이를 성공적으로 수행합니다.
전이학습transfer learning은 이러한 딥러닝의 성능을 한층 끌어올리는 방법입니다. 2018년 들어 큰 주목을 받기 시작했고, 비교적 간단한 방법을 통해 여러 문제들의 최고 성능을 갱신하며 파란을 일으키고 있습니다. 15장에서는 전이학습 기법이 자연어 처리에 성공적으로 적용된 사례를 살펴보고자 합니다.
Last modified 2yr ago
Copy link