들어가며
듀얼리티duality란 무엇일까요? 우리는 보통 머신러닝을 통해 특정 도메인의 데이터 $X$ 를 받아서, 다른 도메인의 데이터 $Y$ 로 맵핑하는 함수를 근사하는 법을 학습합니다. 따라서 대부분의 머신러닝에 쓰이는 데이터셋은 두 도메인 사이의 데이터로 구성되기 마련입니다.
다음과 같이 두 도메인 사이의 데이터 관계를 배우는 방향에 따라 음성 인식이 되기도 하고, 음성 합성이 되기도 합니다. 이러한 두 도메인 사이의 관계를 듀얼리티라고 정의합니다. 대부분의 머신러닝 문제는 이처럼 듀얼리티 속성을 가지는데, 특히 기계번역은 각 도메인의 데이터 사이에 정보량의 차이가 거의 없다는 점이 가장 큰 특징이자 장점입니다. 따라서 듀얼리티를 적극적으로 활용하면 기계번역을 고도화할 수 있습니다.
$D_1$ 도메인 | $D_1 \rightarrow D_2$ | $D_1 \leftarrow D_2$ | $D_2$ 도메인 |
문장 | 기계번역 | 기계번역 | 문장 |
음성 신호 | 음성 인식 | 음성 합성 | 문장 |
이미지 | 이미지 분류 | 이미지 합성 | 클래스 |
문서 | 요약 | 본문 생성 | 문장 |
문장 | 텍스트 분류 | 문장 생성 | 클래스 |
데이터에 따른 듀얼리티 사례
CycleGAN
번역 이외의 분야에도 듀얼리티를 활용할 수 있습니다. 듀얼리티를 활용하는 또 다른 예로, 영상 처리computer vision에 관한 논문[63]에서 소개한 CycleGAN에 대해 이야기해볼까 합니다.
CycleGAN이란 다음과 같이 짝지어지지 않은 두 도메인의 이미지들이 있을 때, $X$ 도메인의 이미지를 $Y$ 도메인의 이미지로 변환하는 방법입니다. 사진의 전체 구조는 유지하되 유명한 화가인 모네의 그림 풍으로 바꾸어주기도 하고, 말을 얼룩말 또는 민무늬로 바꾸어 주기도 합니다. 물론 겨울 풍경을 여름 풍경으로 바꿀 수도 있습니다.
$X\rightarrow{Y}$ 와 $Y\rightarrow{X}$ 모두 각각 생성자 $G, F$ 와 판별자 $D_x, D_y$ 를 가지고 있어서 최소/최대화 게임 을 수행합니다.
$G$ 는 $x$ 를 입력으로 받아 $\hat{y}$ 으로 변환합니다. 그리고 $D_Y$ 는 $\hat{y}$ 또는 $y$ 를 입력으로 받아 합성한 이미지인지 원래 $Y$ 도메인의 이미지인지 예측합니다. 마찬가지로 $F$ 는 $y$ 를 입력으로 받아 $\hat{x}$ 으로 변환합니다. 그리고 $D_x$ 는 $\hat{x}$ 또는 $x$ 를 입력으로 받아 합성 유부를 판단합니다.
이 방식의 핵심은 $\hat{x}$ 나 $\hat{y}$ 를 합성할 때 기존의 도메인 $X, Y$ 에 실제로 속하는 이미지처럼 만들어 내야 한다는 것입니다. 그리고 각각의 $\hat{x}$ 와 $\hat{y}$ 로부터 원래 데이터로 돌아올 수 있어야 한다는 것입니다. 이것을 기계번역에 적용하면 어떻게 될까요?
Last updated
