Index

• 소개글

• 서문

• Index

• 딥러닝을 활용한 자연어 처리 개요

  • 자연어 처리란 무엇일까?

  • 딥러닝 소개

  • 왜 자연어 처리는 어려울까?

  • 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?

  • 자연어 처리의 최근 추세

• 기초 수학

  • 서문

  • 랜덤 변수와 확률 분포

  • 쉬어가기: 몬티 홀 문제

  • 기대값과 샘플링

  • Maximum Likelihood Estimation

  • 정보 이론

  • 쉬어가기: MSE 손실 함수와 확률 분포 함수

  • 마치며

• Hello 파이토치

  • 딥러닝을 시작하기 전에

  • 설치 방법

  • 짧은 튜토리얼

  • 쉬어가기: 윈도우즈 개발 환경 구축

• 전처리

  • 전처리란

  • 코퍼스 수집

  • 코퍼스 정제

  • 분절

  • 병렬 코퍼스 정렬

  • 서브워드 분절

  • 분절 복원

  • 토치텍스트

• 유사성과 모호성

  • 단어의 의미

  • One-hot 인코딩

  • 시소러스를 활용한 단어 의미 파악

  • 특징

  • 특징 추출하기: TF-IDF

  • 특징 벡터 만들기

  • 특징 유사도 구하기

  • 단어 중의성 해소

  • Selectional Preference

  • 마치며

• 단어 임베딩

  • 들어가며

  • 차원 축소

  • 흔한 오해 1

  • Word2Vec

  • GloVe

  • Word2Vec 예제

  • 마치며

• 시퀀스 모델링

  • 들어가며

  • Recurrent Neural Network

  • Long Short Term Memory

  • Gated Recurrent Unit

  • 그래디언트 클리핑

  • 마치며

• 텍스트 분류

  • 들어가기

  • 나이브 베이즈를 활용하기

  • 흔한 오해 2

  • RNN을 활용하기

  • CNN을 활용하기

  • 쉬어가기: 멀티 레이블 분류

  • 마치며

• 언어 모델링

  • 들어가며

  • n-gram

  • 언어 모델의 평가 방법

  • SRILM을 활용한 n-gram 실습

  • NNLM

  • 언어 모델의 활용

  • 마치며

• 신경망 기계번역

  • 들어가며

  • Sequence-to-Sequence

  • Attention

  • Input Feeding

  • 자기회귀 속성과 Teacher Forcing 훈련 방법

  • 탐색(추론)

  • 성능 평가

  • 마치며

• 신경망 기계번역 심화 주제

  • 다국어 신경망 번역

  • 단일 언어 코퍼스를 활용하기

  • 트랜스포머

  • 마치며

• 강화학습을 활용한 자연어 생성

  • 들어가며

  • 강화학습 기초

  • 정책 기반 강화학습

  • 자연어 생성에 강화학습 적용하기

  • 강화학습을 활용한 지도학습

  • 강화학습을 활용한 비지도학습

  • 마치며

• 듀얼리티 활용

  • 들어가며

  • 듀얼리티를 활용한 지도학습

  • 듀얼리티를 활용한 비지도학습

  • 쉬어가기: Back-translation을 재해석하기

  • 마치며

• NMT 시스템 구축

  • 파이프라인

  • 구글의 NMT

  • 에딘버러 대학의 NMT

  • MS의 NMT

• 전이학습

  • 전이학습이란?

  • 기존의 사전 훈련 방식

  • ELMo

  • BERT

  • GPT-2

  • XLNet

  • 마치며

• 이 책을 마치며

• 참고문헌