신경망 기계번역

Kyunghyun Cho

번역은 오랫동안 인류에게 난제로 남아있었습니다. 항공과 통신 기술의 발전으로 세계는 가까워졌지만 언어의 장벽은 상대적으로 커졌고, 따라서 번역에 대한 연구는 자연어 처리의 역사와 함께했습니다. 하지만 연구가 거듭될수록 언어의 방대함과 모호성은 매우 큰 어려움으로 다가왔습니다. 이러한 가운데 딥러닝을 통해 이러한 언어의 특징에 따른 어려움을 해결하면서 기계번역에 대한 실마리가 풀리기 시작했고, 현재는 딥러닝을 통해 가장 성공적으로 상용화된 기술이 되었습니다. 더욱이 어텐션(attention) 기법을 활용하여 기존 RNN 기반 모델의 한계를 극복하고, 시퀀스 데이터의 길이에 구애받지 않고 훌륭한 성능을 뽑아낼 수 있습니다.

이번 장에서는 기계번역에 관해 이야기하고, 자연어 생성과 이를 위한 seq2seq 및 어텐션 기법을 다룹니다. 더불어 기존의 대부분의 강의와 도서에서 다루지 않았던 어텐션의 동작 원리와 자연어 생성의 깊이 있는 주제에 관해서도 이야기하고자 합니다. 또한 seq2seq의 학습 방법뿐만 아니라, 실제 상용 서비스를 만드는데 중요한 추론(inference)에 관해서도 다루려 합니다. 이때 추론 정확도 향상뿐만 아니라 추론 속도라는 두 마리 토끼를 모두 잡기 위한, 빔서치(beam search)에 관해 이야기합니다. 마지막으로 실제 기계번역 서비스가 가능한 수준의 파이토치 코드를 소개합니다.