시퀀스 모델링

{ width=500px }

자연어 문장은 단어들의 순차적인 조합으로 만들어집니다. 따라서 문장은 단어의 순서 정보가 포함된 시퀀셜 데이터라고 볼 수 있습니다. 시퀀셜 데이터는 가변 길이의 데이터일 뿐만 아니라, time-step별 데이터 출현에 영향을 주고받는 존재입니다. 그러므로 기존의 완전연결 신경망(fully connected neural network, FNN) 대신, 순서 정보를 다룰 수 있는 순환 신경망(RNN)를 통해 시퀀셜 데이터를 모델링하곤 합니다. 하지만 RNN을 통한 훈련방식은 기존과 달라 많은 부분을 신경써야 합니다. 이번 7장에서는 RNN에 대해서 살펴보고, 기본 RNN 모델의 단점을 보완하기 위한 파생 모델과 그래디언트 클리핑(gradient clipping) 등의 기법들을 배웁니다.