‘딥페이크’ 활용해 영화도 자동더빙

[구본권의사람과디지털]
딥페이크, 가짜뉴스등 범죄도구아닌 ‘긍정적 쓰임’
동영상 다국어 자동더빙 활용…“기술은 중립적”
동영상과 사실에 대한 믿음 사라지면 파장 일파만파

베컴이 2019년 4월 9개 언어로 말라리아 퇴치 캠페인을 진행하고 있는 영상. 딥페이크 기술로 베컴의 언어를 구현했다. 동영상 보기

  딥러닝을 이용해 진짜와 식별이 불가능한 수준의 정교한 가짜 동영상을 만들어내는 ‘딥페이크(Deep Fake)’ 기술을 유용하게 쓰는 방안이 등장했다.

과학기술 전문지 <뉴 사이언티스트>의 지난 22일 기사에 따르면, 이스라엘 기업 ‘캐니 인공지능(Canny AI)’은 동영상을 여러 다른 언어로 더빙하는 데 딥페이크 기술을 이용하고 있다. 이 기업은 현재 유명 연예인이 촬영한 광고나 홍보 동영상을 다양한 언어로 더빙하는 데 딥페이크 기술을 활용하고 있지만 향후 텔레비전 프로그램이나 영화 더빙에 확대 적용할 예정이다.

캐니 AI가 2019년 4월 공개한 동영상에서 트럼프 대통령이 <이매진>을 자신의 목소리로 노래하고 있다. 동영상 보기

딥페이크 기술은 그동안 주로 가짜뉴스, 합성 포르노 제작 등 범죄 용도로 활용되어오며 인공지능의 대표적 ‘위험기술’로 여겨졌다. 딥페이크를 활용한 버락 오마바의 가짜 동영상, 트럼프 대통령의 목소리를 똑같이 조작해낸 동영상 등이 알려지며 선거 상황에서 정치적 악용 우려가 커지고 있다. 최근엔 영국의 한 에너지기업이 딥페이크 기술을 이용해 상사의 목소리를 그대로 흉내낸 전화 사기에 속아 약 3억원을 사기 송금한 범죄 피해도 알려지며 경각심이 높아지고 있다.

딥페이크 활용 더빙을 위해서는 우선 더빙 대상이 출연한 원본 영상과 더빙에 나선 성우의 목소리 영상을 각각 1분씩 확보해야 한다. 그 다음 인공지능 시스템은 더빙 성우의 얼굴 아랫부분과 목 부분의 움직임을 편집중인 동영상으로 전달하는 방법을 학습한다. 그 결과 말하는 사람이 새로운 언어를 이야기하는 것처럼 보이고 들리게 만드는 동영상을 만들어낼 수 있다. 영국 기업 신서시아(Synthesia)는 지난 4월 데이비드 베컴이 말라리아 퇴치 캠페인을 홍보하는 동영상을 중국어, 아랍어, 힌디어, 스와힐리어, 요루바어(나이지리아, 토고 지역 아프리카 언어) 등 9개 언어로 더빙하는 데 딥페이크 기술을 활용한 바 있다.

베컴이 2019년 4월 9개 언어로 말라리아 퇴치 캠페인을 진행하고 있는 영상. 딥페이크 기술로 베컴의 언어를 구현했다. 동영상 보기

딥페이크 기술이 영화 다국어 더빙이나 글로벌 인도주의 캠페인에 손쉽게 활용될 수 있다는 기대는 특정한 기술이 그 자체로 선하거나 악한 용도를 갖는 게 아니라는 것을 다시 일깨운다. 딥페이크와 같은 논란많은 기술도 점점 더 발달하고 범용화하는 배경이다.

그런데 딥페이크를 이용한 더빙과 동영상 편집 기술이 대중화화게 되면 포토숍으로 인해 이미지와 사진의 영역에서 일어난 변화가 동영상에서도 나타날 것으로 보인다. 한때 사진은 진실을 증명하는 확고한 증거로 여겨졌지만, 포토숍의 대중화 이후 사진은 그림처럼 그리는 사람 마음대로 편집하고 만들어낼 수 있는 미디어가 되었다. 사진은 사실 증명 수단의 의미를 벗어나 창작자의 자기표현 수단의 기능을 확대하고 있다. 딥페이크는 동영상을 사실 재현 도구가 아니라 일종의 표현도구로 변화시킬 기술이 될 수 있다. “보는 게 믿는 것” “백문불여일견(百聞不如一見)”말처럼 사람에게 시각은 인지기능에서 절대적 영역을 지니지만, 점점 더 보는 것이 실제가 아닐 수 있다는 생각을 하게 만드는 기술이 등장하고 있는, 인공지능 시대다.

구본권 선임기자 [e-mail]