소개글
Last updated
Last updated
이 책은 한빛미디어에서 출판한 "김기현의 자연어 처리 딥러닝 캠프"의 온라인 깃북 입니다. 새롭게 추가되는 내용 또는 알고리즘들을 주로 수록할 계획 입니다.
실제 시스템을 구현하며 얻은 경험과 인사이트들을 담았고, 배경이 되는 수학적인 이론에서부 터 실제 파이토치 코드, 그리고 실전에 꼭 필요한 직관적인 개념을 담고자 했습니다. 딥러닝을 활용한 최신 기술뿐만 아니라 딥러닝 이전의 기존의 전통적인 방식부터 차근차근 설명하여, 왜 이 기술이 필요하고 어떻게 발전해왔으며 어떤 부분이 성능 개선을 만들어냈는지 쉽게 이해할 수 있도록 설명합니다.
처음 딥러닝 또는 머신러닝을 접하시는 분이라면 수학적 내용이 매우 어렵게 다가올 수 있습니 다. 하지만 머신러닝과 딥러닝 모두 선형대수부터 확률 통계에 이르기까지 수학적 배경을 토대 로 발전한 학문인 만큼, 그 내용을 제대로 이해하고 응용하고자 한다면 중요하게 여겨야 합니 다. 따라서 처음 읽을 때 거부감이 들거나 어려운 분들은 일단 수식을 가볍게 읽으며 진행하시 되, 큰 그림에 대해 이해가 된 후에 다시 한번 이 책을 읽으시길 추천합니다.
자연어 처리 자체에 좀 더 집중하고자, 시중의 도서나 인터넷에서 쉽게 접할 수 있는 머신러닝 과 딥러닝 입문 내용(예를 들어 역전파 알고리즘)에 대한 설명은 최소화했습니다. 따라서 독 자가 다음과 같은 개념에 대한 지식을 미리 쌓아두거나, 또는 다른 자료를 통해 함께 공부해나 가며 책을 읽어나갈 것을 권장합니다.
파이썬
확률과 통계
딥러닝 기초
역전파 알고리즘
활성화 함수
미적분, 선형대수
머신러닝 기초
목적/손실 함수
선형/로지스틱 회귀
그래디언트 디센트
이 책의 대상 독자는 이미 딥러닝에 대한 기초 지식이 있다고 가정하고 내용을 구성했습니다. 파이토치의 실제 사용 방법에 대한 내용이나 역전파 알고리즘, 신경망에 대한 소개 등은 최대한 생략하고, 자연어 처리 관련 내용을 최대한 다루고자 했습니다. 이 책은 먼저 자연어에 대한 이해를 높이고, 단어 임베딩 벡터와 텍스트 분류와 같은 실무에 적 용 가능한 내용을 통해 딥러닝을 활용한 자연어 처리 방법을 설명합니다. 책 후반부에는 언어 모델 및 번역이라는 과제에 대해 다루며, 자연어 생성 방법에 대해서 깊이 있게 이야기하고자 합니다. 따라서 자연어 생성의 근간 알고리즘인 시퀀스 투 시퀀스(seq2seq) 뿐 만 아니라 어텐션(attention)기법을 자세히 설명하고, 실전 실무 수준에서 고민해야 하는 깊은 내용 을 다루었습니다. 나아가 자연어 생성 성능을 더욱 끌어올리기 위한 기법들을 강화학습에서부 터 듀얼리티에 이르기까지 다양하게 활용하여 상세히 이야기합니다.
지난 10여 년간 자연어 처리 연구 및 서비스 개발에 몸담았으며, 현재 인공지능 스타트업 마키나락스(MakinaRocks)에서 딥러닝 연구 개발 수석을 맡고 있습니다. 주요 관심 연구 분야는 자연어 생성과 비지학습입니다. 딥러닝 이전부터 머신러닝을 통해 자연어 처리의 실무를 경험하였으며, 기계번역과 음성인식 그리고 추천 시스템 등 의 실제 서비스를 코드 레벨부터 직접 설계, 구현하여 상용화한 이력이 다수 있습니다. 이처럼 밑바닥부터 다져온 자 연어 처리 핵심 실무 경험과 이론을 포함해, 자연어 처리 기술에 딥러닝을 접목하여 다양한 사례에 적용한 경험과 노 하우를 온·오프라인 플랫폼을 통해 다른 이들에게 널리 전달하고 있습니다. 패스트캠퍼스에서 와 <자연어 처리를 위한 딥러닝 CAMP> 강의를 하고 있습니다. 같은 주제로 SK텔레콤과 KT 등의 기업에서도 강의했습니다. 이 책에 수록되지 않은 새로운 기술들은 저자의 온라인 깃북에서 만나볼 수 있습니다. 매일 새롭게 쏟아지는 자연어 처리와 관련된 내용들을 계속해서 추가할 계획입니다.
Principal Machine Learning Research Engineer @ Makinarocks
Machine Learning Researcher @ SKPlanet
Neural Machine Translation: Global 11번가
Machine Learning Engineer @ Ticketmonster
Recommender System: TMON
이 책은 패스트캠퍼스에서 진행한 자연어처리 입문 캠프, 자연어처리 심화 캠프 강의가 바탕이 되었습니다.
{ width=300px }
Name
Kim, Ki Hyun
nlp.with.deep.learning@gmail.com
github:
