신경망 기계번역 심화 주제

앞선 장에서는 기계번역과 이를 위한 seq2seq 그리고 어텐션 기법을 깊이 있게 다루었습니다. 우리는 기본적인 seq2seq를 활용한 자연어 생성 기법으로도 이미 기존 딥러닝 이전의 기술을 훨씬 뛰어넘는 성능을 뽑아낼 수 있음을 보았습니다. 하지만 자연어 생성 또는 기계번역을 훈련하려면 다량의 데이터 구축이 필요한데, 어려운 작업일 뿐만 아니라 비용도 매우 많이 듭니다. 따라서 병렬 코퍼스 이외에도 손쉽게 얻을 수 있는 단일 언어(monolingual) 코퍼스를 통해 기계번역의 성능을 높이는 것은 매우 중요한 연구 주제입니다. 이는 기계번역에서뿐만 아니라 병렬 코퍼스가 필요한 자연어 생성 문제 전반에 적용될 수 있는 아주 유용한 주제입니다.

이번 장에서는 이러한 자연어 생성의 어려움을 해결하는 방법들을 소개하고, 나아가 「Attention is All You Need」라 는 제목의 논문[54]으로 유명한 트랜스포머(transformer) 모델에 대해서도 살펴봅니다. 이를 통해 기계번역 또는 자연어 생성 성능을 더욱 끌어올리기 위한 다양한 고급 기법들에 대해 이야기하고자 합니다.

Last updated