Natural Language Processing with PyTorch
  • 소개글
  • 서문
  • Index
  • 딥러닝을 활용한 자연어 처리 개요
    • 자연어 처리란 무엇일까?
    • 딥러닝 소개
    • 왜 자연어 처리는 어려울까?
    • 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?
    • 자연어 처리의 최근 추세
  • 기초 수학
    • 서문
    • 랜덤 변수와 확률 분포
    • 쉬어가기: 몬티 홀 문제
    • 기대값과 샘플링
    • Maximum Likelihood Estimation
    • 정보 이론
    • 쉬어가기: MSE 손실 함수와 확률 분포 함수
    • 마치며
  • Hello 파이토치
    • 딥러닝을 시작하기 전에
    • 설치 방법
    • 짧은 튜토리얼
    • 쉬어가기: 윈도우즈 개발 환경 구축
  • 전처리
    • 전처리란
    • 코퍼스 수집
    • 코퍼스 정제
    • 분절
    • 병렬 코퍼스 정렬
    • 서브워드 분절
    • 분절 복원
    • 토치텍스트
  • 유사성과 모호성
    • 단어의 의미
    • One-hot 인코딩
    • 시소러스를 활용한 단어 의미 파악
    • 특징
    • 특징 추출하기: TF-IDF
    • 특징 벡터 만들기
    • 특징 유사도 구하기
    • 단어 중의성 해소
    • Selectional Preference
    • 마치며
  • 단어 임베딩
    • 들어가며
    • 차원 축소
    • 흔한 오해 1
    • Word2Vec
    • GloVe
    • Word2Vec 예제
    • 마치며
  • 시퀀스 모델링
    • 들어가며
    • Recurrent Neural Network
    • Long Short Term Memory
    • Gated Recurrent Unit
    • 그래디언트 클리핑
    • 마치며
  • 텍스트 분류
    • 들어가기
    • 나이브 베이즈를 활용하기
    • 흔한 오해 2
    • RNN을 활용하기
    • CNN을 활용하기
    • 쉬어가기: 멀티 레이블 분류
    • 마치며
  • 언어 모델링
    • 들어가며
    • n-gram
    • 언어 모델의 평가 방법
    • SRILM을 활용한 n-gram 실습
    • NNLM
    • 언어 모델의 활용
    • 마치며
  • 신경망 기계번역
    • 들어가며
    • Sequence-to-Sequence
    • Attention
    • Input Feeding
    • 자기회귀 속성과 Teacher Forcing 훈련 방법
    • 탐색(추론)
    • 성능 평가
    • 마치며
  • 신경망 기계번역 심화 주제
    • 다국어 신경망 번역
    • 단일 언어 코퍼스를 활용하기
    • 트랜스포머
    • 마치며
  • 강화학습을 활용한 자연어 생성
    • 들어가며
    • 강화학습 기초
    • 정책 기반 강화학습
    • 자연어 생성에 강화학습 적용하기
    • 강화학습을 활용한 지도학습
    • 강화학습을 활용한 비지도학습
    • 마치며
  • 듀얼리티 활용
    • 들어가며
    • 듀얼리티를 활용한 지도학습
    • 듀얼리티를 활용한 비지도학습
    • 쉬어가기: Back-translation을 재해석하기
    • 마치며
  • NMT 시스템 구축
    • 파이프라인
    • 구글의 NMT
    • 에딘버러 대학의 NMT
    • MS의 NMT
  • 전이학습
    • 전이학습이란?
    • 기존의 사전 훈련 방식
    • ELMo
    • BERT
    • GPT-2
    • XLNet
    • 마치며
  • 이 책을 마치며
  • 참고문헌
Powered by GitBook
On this page

이 책을 마치며

알파고의 충격 이후 인공지능에 대한 관심이 높아지면서 4차 산업혁명이라는 단어도 들불처럼 번져 유행하기 시작했습니다. 필자인 저 역시 4차 산업혁명이라는 단어가 시사하는 바가 많다고 생각하고 크게 공감합니다. 여러 해 동안 인공지능 업계에 몸을 담고 지켜본 바, 딥러닝은 가히 혁명이라 불릴 만한 것이었습니다. 십 수 년 동안 자연어 처리 또는 기타 인공지능 기술에 관해 많은 연구를 진행해 온 선두주자들과의 큰 격차를 없애거나, 심지어는 뒤집는 사례를 많이 목격했기 때문입니다. 따라서 기존 질서를 뛰어넘어 새롭게 재편될 기회가 열려 있는 지금이야말로 인공지능 분야에 뛰어들어 기회를 쟁취해야 할 때라고 생각합니다.

이 책을 쓰기 시작한지도 벌써 1년 반이 지났습니다. 그 동안 수많은 논문이 쏟아져 나왔고, 자연어 처리에 대한 사람들의 이해도 역시 진일보했습니다. 이 책에서 다룰 내용도 많이 늘어났습니다. 하지만 현재의 기술로 사람 수준의 높은 인공지능 능력을 얻기 위해선 아직 나아갈 길이 멉니다. 예를 들어 기계번역 기술은 놀랍도록 발전했지만, 문장을 조금만 까다롭게 바꿔도 여전히 번역 품질이 떨어지는 모습을 볼 수 있습니다. 따라서 사람 수준의 자연어 처리 능력에 도달하기 위해서 아직 연구해야 할 내용들이 많이 남아있는 상황입니다. 따라서 독자 여러분께 이 책이 조금이나마 도움이 되어, 기존의 연구들을 어서 이해하고 따라잡아, 사람 수준의 높은 자연어 처리 능력에 도달하기까지 연구가 발전하는 모습을 함께 지켜보고 참여할 수 있으면 좋겠습니다.

Previous마치며Next참고문헌

Last updated 5 years ago