들어가며

듀얼리티duality란 무엇일까요? 우리는 보통 머신러닝을 통해 특정 도메인의 데이터 $X$ 를 받아서, 다른 도메인의 데이터 $Y$ 로 맵핑하는 함수를 근사하는 법을 학습합니다. 따라서 대부분의 머신러닝에 쓰이는 데이터셋은 두 도메인 사이의 데이터로 구성되기 마련입니다.

듀얼리티의 예

다음과 같이 두 도메인 사이의 데이터 관계를 배우는 방향에 따라 음성 인식이 되기도 하고, 음성 합성이 되기도 합니다. 이러한 두 도메인 사이의 관계를 듀얼리티라고 정의합니다. 대부분의 머신러닝 문제는 이처럼 듀얼리티 속성을 가지는데, 특히 기계번역은 각 도메인의 데이터 사이에 정보량의 차이가 거의 없다는 점이 가장 큰 특징이자 장점입니다. 따라서 듀얼리티를 적극적으로 활용하면 기계번역을 고도화할 수 있습니다.

$D_1$ 도메인	$D_1 \rightarrow D_2$	$D_1 \leftarrow D_2$	$D_2$ 도메인
문장	기계번역	기계번역	문장
음성 신호	음성 인식	음성 합성	문장
이미지	이미지 분류	이미지 합성	클래스
문서	요약	본문 생성	문장
문장	텍스트 분류	문장 생성	클래스

데이터에 따른 듀얼리티 사례

CycleGAN

번역 이외의 분야에도 듀얼리티를 활용할 수 있습니다. 듀얼리티를 활용하는 또 다른 예로, 영상 처리computer vision에 관한 논문[63]에서 소개한 CycleGAN에 대해 이야기해볼까 합니다.

CycleGAN이란 다음과 같이 짝지어지지 않은 두 도메인의 이미지들이 있을 때, $X$ 도메인의 이미지를 $Y$ 도메인의 이미지로 변환하는 방법입니다. 사진의 전체 구조는 유지하되 유명한 화가인 모네의 그림 풍으로 바꾸어주기도 하고, 말을 얼룩말 또는 민무늬로 바꾸어 주기도 합니다. 물론 겨울 풍경을 여름 풍경으로 바꿀 수도 있습니다.

CycleGAN이 성공적으로 적용된 예제

https://junyanz.github.io/CycleGAN/

$X\rightarrow{Y}$ 와 $Y\rightarrow{X}$ 모두 각각 생성자 $G, F$ 와 판별자 $D_x, D_y$ 를 가지고 있어서 최소/최대화 게임 을 수행합니다.

$G$ 는 $x$ 를 입력으로 받아 $\hat{y}$ 으로 변환합니다. 그리고 $D_Y$ 는 $\hat{y}$ 또는 $y$ 를 입력으로 받아 합성한 이미지인지 원래 $Y$ 도메인의 이미지인지 예측합니다. 마찬가지로 $F$ 는 $y$ 를 입력으로 받아 $\hat{x}$ 으로 변환합니다. 그리고 $D_x$ 는 $\hat{x}$ 또는 $x$ 를 입력으로 받아 합성 유부를 판단합니다.

CycleGAN의 동작 개요[63]

이 방식의 핵심은 $\hat{x}$ 나 $\hat{y}$ 를 합성할 때 기존의 도메인 $X, Y$ 에 실제로 속하는 이미지처럼 만들어 내야 한다는 것입니다. 그리고 각각의 $\hat{x}$ 와 $\hat{y}$ 로부터 원래 데이터로 돌아올 수 있어야 한다는 것입니다. 이것을 기계번역에 적용하면 어떻게 될까요?