구글은 ‘긴 문장’ 좋고, 네이버는 ‘신조어’ 능통

[미래] 번역가가 인공지능 평가해보니

구글번역은 고유명사에 괄호 치고
파파고는 200자 이상 통계 번역
총 점수는 구글 번역이 약간 앞서
“초벌 번역은 기계 맡겨도 될 듯”

(※ 이미지를 클릭하면 확대됩니다)

현재 한국어를 서비스하는 대표적인 인공신경망 번역 서비스는 구글의 ‘구글 번역’과 네이버의 ‘파파고’ 두 가지다. 7년 경력의 전문 번역가와 함께 둘의 번역 품질이 어떤지 간단한 평가를 해봤다. 총평은 “네이버는 우리나라 말 신조어 번역에서 살짝 낫고, 구글은 긴 문장 번역에서 품질 하락이 적다. 짧은 문장 번역은 둘 다 뛰어나다”였다.

<한겨레>는 번역가 김정균씨와 영어→한국어, 한국어→영어, 우리나라 신조어 등 세 종류의 과제를 두고 무작위로 뽑은 문장·단어 각 5개씩 총 15개를 구글 번역과 파파고에 넣고 돌려보았다. 그리고 결과에 대해 인간 전문가가 번역했을 경우를 100점 만점으로 했을 때 몇점 정도로 평가하는지 그에게 물었다. 평균 점수는 구글 76.6, 파파고 71.4로 구글이 다소 앞섰다.

짧은 문장에서는 우열을 가리기 힘들게 둘 모두 뛰어났다. 어떤 문장은 구글이, 어떤 문장은 파파고가 자연스러웠지만 대체로 만족스러운 수준이었다. 예를 들어 ‘Trump's business advisory council is led by Stephen Schwarzman, chairman and chief executive of the private equity group Blackstone’이라는 문장을 한글로 번역할 때 구글은 ‘트럼프의 사업 자문위원회는 사모 펀드 그룹 인 블랙 스톤 (Blackstone)의 회장이자 최고 경영자 인 스티븐 슈와 스만 (Stephen Schwarzman)이 주도합니다’라고 번역해 95점을 받았다. 김씨가 특히 놀란 점은 고유명사인 ‘블랙 스톤’이나 ‘스티븐 슈와 스만’(스티븐 슈워츠먼)과 같은 단어를 번역어와 함께 원문을 괄호 처리로 넣어주는 섬세함이었다.

하지만 아직까지 문장이 길어지면 인간에 비해 정확성이 떨어지는 게 분명히 보였다. 김씨는 “그 정도는 네이버 엔진에서 더 확연했다”고 말했다. 네이버는 이와 관련 “파파고가 아직 베타 서비스이고, 200자가 넘으면 인공신경망이 아닌 기존 통계 방식 서비스를 제공하고 있어 그럴 수 있다”고 설명했다.

인터넷이나 생활에서 쓰는 우리말 고유의 신조어나 은어, 줄임말 등에선 파파고가 다소 우세한 모습을 보였다. 예를 들어 ‘먹방’의 경우 파파고는 ‘Food-eating broadcasts’라고 정확히 번역한 반면, 구글은 ‘Food’라고 다소 부정확했다. 하지만 ‘길냥이’(주인 없는 떠돌이 고양이)의 경우 Gillyangi(파파고), Hunting(구글), ‘극혐’(심하게 혐오함)의 경우 ‘Geukyeom’(파파고), ‘Superstition’(구글) 등으로 아직 부정확한 모습을 보였다.

김씨는 “과거 번역 서비스와 비교해 놀라운 수준이다. 전문 번역 업무는 초벌 번역, 번역 검토, 교정 등의 작업을 거치는데 앞으로 초벌 번역 일감은 인공지능이 가져가겠다는 생각이 들 정도”라고 말했다.

권오성 기자 [e-mail]