마치며

11장에서는 지난 장에서 다룬 번역의 성능을 더 향상시키는 방법들을 다루었습니다. 신경망은 데이터가 많을수록 그 성능이 향상됩니다. 따라서 번역과 같은 seq2seq를 활용한 문제를 풀 때, 훈련 데이터인 병렬 코퍼스parallel corpus가 많으면 많을수록 좋습니다. 하지만 병렬 코퍼스는 수집이 매우 어렵고 제한적입니다.

이런 제한적인 상황에서 단일 언어 코퍼스monolingual corpus를 활용하여 번역의 성능을 향상 시키는 방법에 대해서도 다루었습니다. 단일 언어 코퍼스를 활용한 성능 향상은 매우 큰 연구 주제이며 앞으로 소개할 장들에서도 중점적으로 다루어질 예정이니, 기술의 발전에 대해주목하면 재미있게 읽을 수 있을 것입니다.

또한 트랜스포머라는 모델 구조를 소개함으로써, 우리는 seq2seq가 다양하게 구현 가능함을 알 수 있었습니다. 특히 트랜스포머는 어텐션만을 사용해 seq2seq를 구현함으로써, 속도와 성능의 두 마리 토끼를 모두 잡은 훌륭한 사례입니다. 트랜스포머는 이런 장점 때문에 현재 자연어 처리 및 자연어 생성에서 매우 중요하게 쓰이고 있으며, 앞으로도 그 역할이 더욱 기대됩니다.

비록 번역에 국한하여 설명했지만, 시퀀스 데이터를 입력으로 받아서 다른 도메인의 시퀀스 데이터로 출력하는 문제에 대해서도 대부분 적용할 수 있을 것입니다. 독자 여러분도 자신이 풀고자 하는 문제에 대해 어떻게 적용할 수 있을지 고민하며 읽는다면 훨씬 더 도움이 될 것 같습니다.