Natural Language Processing with PyTorch
  • 소개글
  • 서문
  • Index
  • 딥러닝을 활용한 자연어 처리 개요
    • 자연어 처리란 무엇일까?
    • 딥러닝 소개
    • 왜 자연어 처리는 어려울까?
    • 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?
    • 자연어 처리의 최근 추세
  • 기초 수학
    • 서문
    • 랜덤 변수와 확률 분포
    • 쉬어가기: 몬티 홀 문제
    • 기대값과 샘플링
    • Maximum Likelihood Estimation
    • 정보 이론
    • 쉬어가기: MSE 손실 함수와 확률 분포 함수
    • 마치며
  • Hello 파이토치
    • 딥러닝을 시작하기 전에
    • 설치 방법
    • 짧은 튜토리얼
    • 쉬어가기: 윈도우즈 개발 환경 구축
  • 전처리
    • 전처리란
    • 코퍼스 수집
    • 코퍼스 정제
    • 분절
    • 병렬 코퍼스 정렬
    • 서브워드 분절
    • 분절 복원
    • 토치텍스트
  • 유사성과 모호성
    • 단어의 의미
    • One-hot 인코딩
    • 시소러스를 활용한 단어 의미 파악
    • 특징
    • 특징 추출하기: TF-IDF
    • 특징 벡터 만들기
    • 특징 유사도 구하기
    • 단어 중의성 해소
    • Selectional Preference
    • 마치며
  • 단어 임베딩
    • 들어가며
    • 차원 축소
    • 흔한 오해 1
    • Word2Vec
    • GloVe
    • Word2Vec 예제
    • 마치며
  • 시퀀스 모델링
    • 들어가며
    • Recurrent Neural Network
    • Long Short Term Memory
    • Gated Recurrent Unit
    • 그래디언트 클리핑
    • 마치며
  • 텍스트 분류
    • 들어가기
    • 나이브 베이즈를 활용하기
    • 흔한 오해 2
    • RNN을 활용하기
    • CNN을 활용하기
    • 쉬어가기: 멀티 레이블 분류
    • 마치며
  • 언어 모델링
    • 들어가며
    • n-gram
    • 언어 모델의 평가 방법
    • SRILM을 활용한 n-gram 실습
    • NNLM
    • 언어 모델의 활용
    • 마치며
  • 신경망 기계번역
    • 들어가며
    • Sequence-to-Sequence
    • Attention
    • Input Feeding
    • 자기회귀 속성과 Teacher Forcing 훈련 방법
    • 탐색(추론)
    • 성능 평가
    • 마치며
  • 신경망 기계번역 심화 주제
    • 다국어 신경망 번역
    • 단일 언어 코퍼스를 활용하기
    • 트랜스포머
    • 마치며
  • 강화학습을 활용한 자연어 생성
    • 들어가며
    • 강화학습 기초
    • 정책 기반 강화학습
    • 자연어 생성에 강화학습 적용하기
    • 강화학습을 활용한 지도학습
    • 강화학습을 활용한 비지도학습
    • 마치며
  • 듀얼리티 활용
    • 들어가며
    • 듀얼리티를 활용한 지도학습
    • 듀얼리티를 활용한 비지도학습
    • 쉬어가기: Back-translation을 재해석하기
    • 마치며
  • NMT 시스템 구축
    • 파이프라인
    • 구글의 NMT
    • 에딘버러 대학의 NMT
    • MS의 NMT
  • 전이학습
    • 전이학습이란?
    • 기존의 사전 훈련 방식
    • ELMo
    • BERT
    • GPT-2
    • XLNet
    • 마치며
  • 이 책을 마치며
  • 참고문헌
Powered by GitBook
On this page
  1. 기초 수학

쉬어가기: 몬티 홀 문제

Previous랜덤 변수와 확률 분포Next기대값과 샘플링

Last updated 5 years ago

그럼 이제까지 이야기한 내용을 바탕으로 ‘몬티 홀 문제Monty Hall Problem’로도 유명한 재미있는 퍼즐 문제를 풀어보겠습니다. 몬티 홀이라는 명칭은 미국의 유명한 TV 게임 쇼 진행자인 몬티 홀의 이름에서 따왔습니다.

앞의 그림에서처럼 3개의 문이 있을 때, 시청자는 상품이 뒤에 숨겨져 있는 하나의 문을 선택해야 합니다. 쇼 진행자는 상품이 숨겨진 문이 무엇인지 알고 있으며, 시청자가 처음에 1개의 문을 고르면 시청자가 고르지 않은 문을 하나 열어주고 그 뒤에는 정답이 없음을 보여줍니다. 즉, 꽝인 문을 열어 보여줍니다. 이때 진행자가 시청자에게 기존의 선택을 바꿀 기회를 준다면 시청자는 어떻게 해야 할까요?

이 문제는 3개의 사건(확률 변수)를 갖는 확률 문제로 생각할 수 있습니다. 3개의 문(인덱스: 0, 1, 2)이 주어졌을 때, 시청자가 처음에 고른 문에 대한 사건을 A, 진행자가 시청자에게 열어주는 문에 대한 사건을 B, 그리고 상품이 숨겨진 문에 대한 사건을 C라고 하겠습니다. 즉, 궁금한 내용은 다음과 같이 단순화할 수 있습니다.

P(C=2∣A=0,B=1)>P(C=0∣A=0,B=1)P(C=2|A=0,B=1)>P(C=0|A=0,B=1)P(C=2∣A=0,B=1)>P(C=0∣A=0,B=1)

만약 이 수식이 참이라면 시청자는 정답을 바꿔야 할 것이며, 참이 아니라면 시청자는 진행자의 권유에도 아랑곳하지 않고 원래의 선택을 고수해야 할 것입니다. 그럼 이 식의 좌변과 우변에 대해서 앞서 배운 내용(조건부 확률과 독립 시행)을 바탕으로 문제를 풀어보겠습니다.

P(C=2∣A=0,B=1)=P(A=0,B=1,C=2)P(A=0,B=1)=P(B=1∣A=0,C=2)P(A=0,C=2)P(A=0,B=1)=P(B=1∣A=0,C=2)P(A=0)P(C=2)P(B=1∣A=0)P(A=0)=1×1312=23,where P(B=1∣A=0)=12, P(C=2)=13, and P(B=1∣A=0,C=2)=1.\begin{aligned} P(C=2|A=0,B=1)&=\frac{P(A=0,B=1,C=2)}{P(A=0,B=1)} \\ &=\frac{P(B=1|A=0,C=2)P(A=0,C=2)}{P(A=0,B=1)} \\ &=\frac{P(B=1|A=0,C=2)P(A=0)P(C=2)}{P(B=1|A=0)P(A=0)} \\ &=\frac{1 \times \frac{1}{3}}{\frac{1}{2}}=\frac{2}{3},\\ \text{where }P(B=1|A=0)=&\frac{1}{2},~P(C=2)=\frac{1}{3},\text{ and }P(B=1|A=0,C=2)=1. \end{aligned}P(C=2∣A=0,B=1)where P(B=1∣A=0)=​=P(A=0,B=1)P(A=0,B=1,C=2)​=P(A=0,B=1)P(B=1∣A=0,C=2)P(A=0,C=2)​=P(B=1∣A=0)P(A=0)P(B=1∣A=0,C=2)P(A=0)P(C=2)​=21​1×31​​=32​,21​, P(C=2)=31​, and P(B=1∣A=0,C=2)=1.​

앞의 식에서 시청자가 처음에 문을 선택하는 것과, 정답이 있는 문은 서로 독립 관계이므로, $P(A=0, C=2)=P(A=0)P(C=2)$ 가 됩니다. 만약 시청자가 첫 번째 문( $A=0$ ) 을 선택했고, 정답은 세 번째 문이었다면 ( $C=2$ ), 진행자가 시청자에게 열어줄 수 있는 문은 단 한 개입니다( $B=1$ ). 따라서 우리는 $P(B=1|A=0,C=2)=1$ 임을 알 수 있습니다.

P(C=0∣A=0,B=1)=P(A=0,B=1,C=0)P(A=0,B=1)=P(B=1∣A=0,C=0)P(A=0,C=0)P(A=0,B=1)=P(B=1∣A=0,C=0)P(A=0)P(C=0)P(B=1∣A=0)P(A=0)=12×1312=13,where P(B=1∣A=0,C=0)=12\begin{aligned} P(C=0|A=0,B=1)&=\frac{P(A=0,B=1,C=0)}{P(A=0,B=1)} \\ &=\frac{P(B=1|A=0,C=0)P(A=0,C=0)}{P(A=0,B=1)} \\ &=\frac{P(B=1|A=0,C=0)P(A=0)P(C=0)}{P(B=1|A=0)P(A=0)} \\ &=\frac{\frac{1}{2} \times \frac{1}{3}}{\frac{1}{2}}=\frac{1}{3},\\ \text{where }&P(B=1|A=0,C=0)=\frac{1}{2} \end{aligned}P(C=0∣A=0,B=1)where ​=P(A=0,B=1)P(A=0,B=1,C=0)​=P(A=0,B=1)P(B=1∣A=0,C=0)P(A=0,C=0)​=P(B=1∣A=0)P(A=0)P(B=1∣A=0,C=0)P(A=0)P(C=0)​=21​21​×31​​=31​,P(B=1∣A=0,C=0)=21​​

앞에서와 마찬가지로 식을 전개하면 $1/3$ 이 나오는 것을 알 수 있습니다. 따라서 우리는 선택을 바꿔야 함을 알 수 있습니다.

몬티홀 문제