신경망 기계번역 심화 주제

{ width=500px }

앞선 장에서는 기계번역과 이를 위한 seq2seq 그리고 어텐션 기법을 깊이 있게 다루었습니다. 우리는 기본적인 seq2seq를 활용한 자연어 생성 기법으로도 이미 기존 딥러닝 이전의 기술을 훨씬 뛰어넘는 성능을 뽑아낼 수 있음을 보았습니다. 하지만 자연어 생성 또는 기계번역을 훈련하려면 다량의 데이터 구축이 필요한데, 어려운 작업일 뿐만 아니라 비용도 매우 많이 듭니다. 따라서 병렬 코퍼스 이외에도 손쉽게 얻을 수 있는 단일 언어(monolingual) 코퍼스를 통해 기계번역의 성능을 높이는 것은 매우 중요한 연구 주제입니다. 이는 기계번역에서뿐만 아니라 병렬 코퍼스가 필요한 자연어 생성 문제 전반에 적용될 수 있는 아주 유용한 주제입니다.

이번 장에서는 이러한 자연어 생성의 어려움을 해결하는 방법들을 소개하고, 나아가 「Attention is All You Need」라 는 제목의 논문[54]으로 유명한 트랜스포머(transformer) 모델에 대해서도 살펴봅니다. 이를 통해 기계번역 또는 자연어 생성 성능을 더욱 끌어올리기 위한 다양한 고급 기법들에 대해 이야기하고자 합니다.