기초 수학

{ width=500px }

대부분의 머신러닝은 통계에 기반을 두고 동작합니다. 그리고 딥러닝은 머신러닝에 기초하여 발전한 학문입니다. 수학과 통계의 정말 넓은 영역에 비하면, 딥러닝은 다행히도 아직은 좁은 영역을 활용합니다. 하지만 그 내용을 모른다면, 더 깊이 나아가고자 할 때 근본적인 동작 이유를 이해할 수 없어 어려움을 겪을 수 밖에 없습니다. 그동안 대부분의 딥러닝 개론에 대한 내용들은 딥러닝을 단순히 행렬의 곱을 통해 계산하는 것으로 설명하고, 편미분 및 역전파 알고리즘을 통해 최적화를 수행하는 정도로 마무리하곤 했습니다. 하지만 신경망도 확률과 통계 위에서 동작하는 모델입니다. 따라서 책 후반부로 가면 갈수록 그와 관련한 내용을 많이 다룰 것입니다. 따라서 우리는 확률적 관점에서 딥러닝을 바라보는 습관을 들여야 합니다. 2장에서는 앞으로 이 책에서 주로 다룰 확률 이론에 관해 간단하게 살펴봅니다. 또한 정보 이론의 관점에서도 딥러닝을 해석해보고, 기존의 확률론에 연계해봅니다.