마치며

5장에서는 단어 임베딩 방법에 관해 이야기했습니다. 이전 장에서는 특징 백터를 TF-IDF 방식으로 구성하여 사용했지만 여전히 굉장히 희소했고, 단어를 대표하는 값으로 사용하기에는 문제가 있었습니다. 따라서 이번 장에서는 차원 축소에 대해 살펴보았습니다. 기존의 선형적인 차원 축소 방법에 비해서, 신경망은 비선형적인 차원 축소를 통해 특징을 효율적으로 추출합니다. 우리는 이것이 바로 딥러닝이 기존의 머신러닝 알고리즘에 비해서 월등한 성과를 내는 이유라고 추측합니다.

하지만 이런 딥러닝의 비선형적인 차원 축소는 계산 비용이 매우 비싸고 최적화가 어려운 단점이 있었습니다. word2vec은 비선형적인 방법을 사용하지 않고도 매우 좋은 단어 임베딩을 구현했으며, 자연어 처리 분야에 새 지평을 열었습니다. 나아가 GloVe는 더 빠르고 정확한 단어 임베딩 방법을 제시했습니다. 이러한 방법들을 사용하여 단어 간의 유사도를 데이터 기반으로 효과적이면서도 정확하게 계산할 수 있게 되었습니다.

하지만 앞으로 소개할 텍스트 분류나 자연어 생성과 같은 기법에서는 이번에 설명한 단어 임베딩 알고리즘을 쓰는 것보다, 단순히 임베딩 계층을 사용하는 편이 더 정확하고 효율적인 방법이라고 이야기했습니다. 이후 장에서는 문장 단위로 자연어 처리를 하는 방법들을 본격적으로 소개하고자 합니다.