판후이와 대국뒤 5개월간 쌍둥이 알파고와 겨뤄 ‘기력’ 급상승

이세돌 9단과 인공지능 알파고의 ‘세기의 대국’이 열린 9일 오후 서울 성동구의 이세돌바둑연구소에서 바둑을 배우는 학생들이 모바일 인터넷 중계를 통해 대국을 지켜보고 있다. 연합뉴스

알파고 어떻게 더 똑똑해졌나

페북 얼굴인식 프로그램에 적용한
‘콘벌루션 신경망’이 핵심 요소
부분특징 결합해 전체 인식하기
기보 16만개로 착점 원리 터득
3억4천만번 반복학습해 승률 높여

알파고의 성능은 지난해 10월 유럽 바둑 챔피언 판후이에게 승리를 거뒀을 때 프로 2~5단에 해당하는 것으로 평가됐다. 알파고는 바둑 실력을 어떻게 키웠기에 다섯달 만에 이세돌 9단을 꺾을 만큼 똑똑해졌을까?

딥마인드의 개발진이 알파고를 훈련시킬 때 사용한 도구는 ‘인공신경망’과 ‘딥러닝’이다. 인공신경망은 생명체의 뉴런과 뉴런 사이를 연결하는 시냅스를 본뜬 회로로, 입력된 값이 특정치를 넘어야 반응하도록 만들어졌다. 어떤 값을 넣어서 나오는 출력값이 원래 원하는 값과 차이(오류)가 있을 경우 그 차이를 최소화하려면 신경망 사이의 연결 강도를 조절하면 된다. 이 연결 강도를 컴퓨터 스스로 조절하도록 만드는 것이 딥러닝이다.

인공지능의 진화 (※클릭하면 확대됩니다.)

세계 정보통신업계가 주목하는 기술인 딥러닝의 핵심은 ‘콘벌루션 신경망’(CNN)이다. 이 기술은 페이스북이 얼굴인식 프로그램인 ‘딥페이스’에 적용한 것으로, 입력된 이미지를 작은 구역으로 나눠 부분적인 특징을 인식하고 이것을 결합해 전체를 인식하는 방식이다. 콘벌루션은 원본 이미지에서 특징을 추출해내는 필터를 가리킨다.

아이에게 셈을 가르치는 방법 하나는 1에 2를 더하면 3이 나온다는 사실과 십진법 등을 일일이 알려줘 덧셈의 원리를 깨치게 하는 방식이다. 또 하나는 무조건 덧셈을 하게 하고 틀린 답이 나오면 다시 정답을 알려줘 덧셈의 원리를 스스로 깨닫게 만드는 방식이다. 첫번째 방식으로 배우는 아이는 덧셈은 쉽게 익히겠지만 뺄셈이나 곱셈은 새롭게 배워야 한다. 배워야 할 것이 경우의 수가 무한대인 바둑의 원리라면 학습 자체가 불가능하다. 반면 두번째 방식으로 배우는 아이는 시간이 많이 걸리지만 덧셈의 원리를 깨치면 가르쳐주지 않아도 뺄셈과 곱셈의 원리도 터득할 가능성이 높다.

두번째 아이에게 적용된 것과 같은 방식이 일종의 딥러닝이다. 알파고는 바둑을 한 수 한 수 놓아가면서 배운 것이 아니라 온라인 바둑 서버에서 확보한 16만개의 기보에 나오는 3천만개의 바둑판 그림을 통째로 인식하면서 바둑의 원리를 깨쳐나간 셈이다. 알파고는 신경망으로 인식한 바둑판 그림을 바탕으로 상대방이 어디에 돌을 놓을지 파악하는 ‘정책망’과 어떤 수가 승산이 있는지 판단하는 ‘가치망’을 구축해 바둑 실력을 쌓아갔다. 정책망은 50개의 그래픽처리장치(GPU)를 동원해 3주 동안 3억4천만번의 반복 학습을 해 구축됐다. 이 과정에 알파고 1과 알파고 2로 나눠 대국을 벌이는 ‘강화학습’을 했다. 여기서 생성된 3천만개의 바둑판 그림으로 1주일 동안 학습해 가치망을 구축했다.

이렇게 쌓은 실력을 바탕으로 알파고는 다른 바둑 프로그램들과 겨뤄 99.8%의 승률을 올렸고, 5개월 전 프로 바둑기사 판후이를 물리쳤다. 추형석 소프트웨어정책연구소 선임연구원은 “알파고 제작진이 이후 5개월 동안 알파고의 성능을 높이기 위해 더 많은 기보를 입력하거나, 하드웨어를 크게 보강했을 것 같지는 않다. 그보다는 자체 대국을 두는 강화학습에서 알고리즘 변형을 통해 성능을 높였을 수 있다”고 분석했다. 판후이와 대국을 벌이기 전에 알파고가 실력을 쌓기 위해 스스로 대국을 치른 강화학습 횟수는 128만번이다. 여기에 단 하루가 걸렸다고 제작진은 밝혔다. 5개월은 자체 대국을 통해 알파고의 실력이 일취월장하기에 충분한 시간이었던 것으로 보인다.

이근영 선임기자 [e-mail]

◇관련기사
▶인공지능, 인간을 이기다
▶판세 꿰뚫은 ‘결정적 102수’…이세돌의 표정이 굳어버렸다
▶“알파고 초반 해결능력에 놀라고, 파격수에 또 놀랐다”
▶“인류의 충격…알 사범이라 불러야 할 듯”