이세돌 꺾었어도…정복할 수 없는 ‘반상 위의 우주’

[한겨레S] 이관수의 인공지능 열전
바둑·체스 AI

모든 경우의 수 파악하려면
AI, 10의 170제곱 대국 필요
바둑 원리 프로그래밍도 한계
무한한 승부 경험 ‘인간의 몫’

이세돌 9단이 2016년 3월15일 서울에서 열린 알파고와의 다섯번째 대국에서 패한 뒤 복기를 하고 있다. 이세돌 9단과 알파고의 대국은 총 5회였으며 이세돌 9단은 네번째 대국에서 승리했다. AP 연합뉴스

종종 알파고가 등장한 이후에 바둑에도 ‘정답’이 생겨나서, 바둑의 인기가 시들해졌다고 말하는 사람이 있다. 사람이 아무리 애를 써도 인공지능을 이기지 못하니 허무하다고도 한다. 이상한 얘기다. 자동차가 사람보다 더 많은 짐을 싣고 더 빠른 속도로 더 오래 달린다고 해서, 걷기나 달리기가 허무하다는 말은 들어본 적이 없다. 알파고 대 이세돌의 대국 이후 7년이 지났어도 바둑의 정답을 찾아내기는커녕 정답이 있을 수 있는지조차 여전히 오리무중이다.

바둑보다 단순하다는 체스도 마찬가지다. 1997년 아이비엠(IBM)의 인공지능 딥블루가 두번째 도전 끝에 세계 챔피언 가리 카스파로프를 물리친 지 26년이 지났고, 체스 인공지능의 뿌리는 1차대전 이전으로 거슬러 올라갈 정도로 깊지만, 인공지능이 체스 생태계를 변화시키진 못했다.

체스 지식 주입했지만…

1912년 스페인의 천재공학자 레오나르도 토레스는 엘아헤드레시스타(체스 선수)라는 오토마톤(자동기계)을 완성했다. 19세기에 등장했던 체스 오토마톤들은 실제론 사람이 숨거나 원격에서 조작하는 속임수 장치에 불과했다. 반면 엘아헤드레시스타는 비록 한 종류의 엔드게임(주요 말이 거의 다 잡히고 소수의 말만 남게 된 종반전)만을 할 수 있었지만, 진짜로 체스를 두는 자동테이블이었다. 백의 킹과 룩, 흑의 킹만 남은 상태에서 사람은 흑을 쥐고 경기에 임하는 형식이었다. 사람끼리 대국이라면 체스 규칙을 이용해서 무승부를 노리는 게 일반적인 전략이며, 종종 성공한다. 하지만 엘아헤드레시스타는 언제나 흑의 킹을 잡았다. 심지어 1951년 파리에서 열린 세계사이버네틱스대회를 기념해 프랑스의 그랜드마스터(최고 등급 체스 기사)와 붙었을 때도 승리했다.

이런 전례도 있으니 컴퓨터 선구자들이 체스에 관심을 갖게 된 것은 자연스럽다. 2차대전 중 독일에서 컴퓨터 하드웨어부터 프로그래밍언어까지 홀로 발명했던 콘라트 추제는 1941년 첫 컴퓨터 체스 알고리즘을 작성했다. 컴퓨터 이론의 선구자인 영국의 앨런 튜링과 미국의 클로드 섀넌도 1940년대 말부터 컴퓨터 체스를 구상했다. 1950년 튜링은 튜링 테스트(사람과 구별되지 못할 정도로 기계에 지능이 있는지를 따지는 것) 논문을 발표하고, 바로 체스 프로그램을 작성하기 시작했다. 컴퓨터와 사람이 우편체스(원거리에 있는 상대와 우편으로 대국하는 체스)를 둔다면, 튜링 테스트를 구현하는 첫걸음을 뗄 수 있으리라고 보았기 때문이다. 프로그램은 다음해 완성됐는데, 실제로 컴퓨터상에서 돌려보지는 못하고, 튜링이 직접 프로그램대로 손으로 계산해서 모의실행을 했다. 대면대국과 우편대국 기보들만 남아 있는데, 불행히도 사람이 두는 체스가 아니라는 것이 뻔히 보일 정도로 너무 실력이 떨어졌다.

컴퓨터가 체스를 어떻게 둘 수 있는지는 섀넌이 1949년 말 작성 완료한 논문에서 얼개가 정리됐다. 첫수를 둘 수 있는 경우의 수마다 유불리를 계산해서 기록한 다음, 각 경우마다 다음 수로 가능한 경우의 수를 찾아 다시 유불리를 기록하는 일이 기본이다. 첫 단계에 가능한 경우의 수가 10수이고, 첫 단계 경우의 수마다 다음 단계에서는 12개 경우의 수가 가능하다면, 두 단계에 걸친 경우의 수는 120개가 된다. 이 120개 경우마다 각각 계산해둔 유불리를 비교해서 가장 유리한 수를 선택하는 식으로 수순을 찾는다. 여기서 두가지 전략이 발생한다. 에이(A)형 전략은 가능한 한 많은 단계(깊이)에 걸쳐 모든 경우의 수를 검토하는 것이고, 비(B)형 전략은 체스 지식을 프로그램에 짜 넣어서 각 단계마다 유망한 수순만 골라서 검토하는 것이다. 섀넌은 체스 게임의 수가 10의 40제곱 이상일 것이라고 추정하고, 에이형 전략으로 몇수 앞까지 검색하는 방식으로는 시간도 오래 걸리고 그다음 수순에서 어떻게 판세가 변할지 알 수 없으니, 비형 전략이 최선이라고 주장했다.

섀넌의 후원 덕에 1956년 다트머스 워크숍을 열었던 미국의 1세대 인공지능 연구자들 모두 비형 전략이 정답이라고 믿었다. 1958년에는 그렇게 짠 프로그램이 체스를 배운 지 1시간째인 사람을 이겼다. 다음해부터 10년 안에 컴퓨터가 체스 세계 챔피언이 될 것이라는 예언들이 나오기 시작했다. 1962년 엠아이티(MIT) 학생 앨런 코톡이 스탠퍼드대학의 존 매카시의 도움을 받아 체스 게임을 제대로 두는 첫 프로그램, ‘코톡-매카시’를 작성했다.

경우의 수 계산 ‘A형 전략’의 승리

같은 시기 소련의 전기공학자 미하일 보트빈니크도 소련 최초의 체스 프로그램 파이어니어를 개발했다. 보트빈니크는 1950년대를 풍미한 체스 세계 챔피언이기도 했기에 비형 전략을 택했다. 그러나 파이어니어는 비형 전략을 채택했던 다른 체스 프로그램들처럼 어려운 상황에선 좋은 수를 곧잘 찾아냈지만, 간단한 상황에서 올바른 수를 놓치는 경우도 많았다. 결국 소련에서도 다른 프로그램에 밀려났다. 다행히 소련 전역의 발전소 유지보수 계획을 수립하는 용도로 재활용될 수는 있었다.

비형 전략에 그늘이 드리워진 계기는 냉전이었다. 체스 강국인 소련은 컴퓨터 체스에서도 미국을 이기고 싶어 했다. 1965년 모스크바의 ‘이론·실험 물리학 연구소’(ITEP)는 불안정한 파이어니어를 대신해서 에이형 전략을 채택한 새 체스 프로그램을 개발했다. 그해 소련을 방문한 매카시에게 승부를 제안했고, 1966년 11월22일부터 소련의 체스 프로그램이 코톡-매카시 체스 프로그램과 통신 대국을 시작했다. 이 경기는 9개월 동안 지속됐고 소련 컴퓨터가 3승 1패로 승리했다.

모든 경우의 수를 따지는 에이형 전략은 인공지능 개발자가 세계 챔피언급으로 체스에 정통하지 않아도 도전해볼 수 있었다. 미국 노스웨스턴대학에서 개발한 프로그램(CHESS)이 1970년대 들어 컴퓨터 체스 대결에서 우승하기 시작했다. 카네기멜런대학의 교수이자 우편체스 세계 챔피언이었던 한스 베를리너는 비형 전략만이 옳은 길이라고 주장하며 체스 인공지능의 수준을 높였지만, ‘덜컥수’가 나오는 문제는 해결하지 못했다. 베를리너는 결국 제자들을 에이형 전략으로 전향시켰다. 그의 제자들이 개발한 하이텍, 딥소트 등이 성공했고, 딥소트 팀이 아이비엠으로 옮겨 딥블루를 개발했다.

1997년 체스 인공지능 딥블루를 연구·개발 중인 핵심 인력들. 왼쪽부터 조 호안, 쉬펑슝, 머리 캠벨. 아이비엠 제공/AP 연합뉴스

체스 세계 챔피언을 꺾었던 1997년 당시 딥블루는 아이비엠이 밀던 슈퍼컴퓨터(RS-6000 SP) 30대를 연결하고, 체스 전용 칩 480개를 덧붙인 구성이었다. 초당 2억개의 수를 평가하는 성능이었다. 그런데 딥블루는 체스의 몰락을 가져왔는가? 또 컴퓨터 체스를 변화시켰는가? 둘 다 아니다. 체스의 인기는 여전하다. 냉전시대보다 관심이 덜하기는 하지만, 오랜 세월 겪은 부침 정도에 불과하다. 아이비엠은 승리 이후 딥블루를 재빨리 해체하고, 사용한 슈퍼컴퓨터 몇대를 박물관에 기증했다. 당시 아이비엠 경영진이 체스 인공지능에 진심이었다기보다는 주가를 띄우려 이목을 모으려는 의도가 짙었다는 의심을 받는 이유다. 요즘의 체스 인공지능은 차라리 알파제로(알파고에서 발전돼 바둑을 포함한 보드게임에 적용할 수 있는 범용 인공지능)의 영향을 더 많이 받았다.

☞한겨레S 뉴스레터를 구독해주세요. 클릭하시면 에스레터 신청 페이지로 연결됩니다.

☞한겨레신문을 정기구독해주세요. 클릭하시면 정기구독 신청 페이지로 연결됩니다.

우주 원자 개수 제곱에 100억을 곱하면

딥블루의 승리 이후 체스는 몰라도 바둑만큼은 컴퓨터가 사람을 따라잡기 힘들 것이라는 전망이 강했다. 당시의 컴퓨터 바둑 프로그램은 초보자도 금방 약점을 파악할 수 있었다. 나쁘지 않게 두다가도 사람이 정형화된 틀에서 벗어난 수를 두면 어처구니없는 악수를 남발하기 일쑤였다. 한때 강자로 여겨지던 북한의 ‘은별’도 마찬가지였다. 기존 지식을 답습하는 낮은 수준의 비형 전략을 쓸 때 나오는 특성이다. 이를 극복하려면 바둑의 원리에 대한 분석을 깊게 한 뒤 프로그램을 짜거나, 압도적으로 많은 계산능력을 동원해서 에이형 전략으로 전환해야 했다. 그런데 바둑은 체스와 비교해 경우의 수가 너무 많아서 충분히 깊게 분석하기도 힘들고, 계산능력으로 때우는 것도 가망이 없어 보였다.

대안은 경우의 수를 줄여보는 것이었다. 선례도 풍부했다. 체스 인공지능의 뿌리인 엘아헤드레시스타는 말이 3개 남은 엔드게임용이었다. 말이 몇개만 남은 엔드게임을 분석하는 것은 계산량이 적기도 하고, 증명할 명제에서 출발해서 증명 과정을 거꾸로 찾아나가는 인공지능 연구 기법을 적용하기에도 용이했다. 미국의 유닉스 개발자인 켄 톰슨이 1970년대 초부터 엔드게임을 분석·정리해서 데이터베이스를 만들기 시작했다. 2002년 네덜란드의 바둑 인공지능 연구자 에릭 판데르베르프가 5줄 바둑을 풀었다. 5×5 크기의 바둑판에서 양자가 최선의 수로 응수하면 나중에 두는 백돌이 몰살당하는 결과가 나온다는 사실을 증명했다. 펜티엄4급 컴퓨터를 4시간 돌려서 얻은 결과였다. 다음 단계로 눈의 개수가 30개인 2×15, 5×6 크기 바둑판에서도 모든 경우의 수를 따져 상황마다 최선의 수를 확인하는 데 7년이 걸렸다. 그 과정에서 바둑 원리에 입각한 프로 기사들의 몇몇 분석이 틀렸다는 사실도 확인했다. 6×6 바둑판의 경우에는 계산량이 너무 늘어나서 대규모 후원 없이는 불가능했다. 19×19 정식 바둑판 분석은 얼마나 걸릴까?

네덜란드의 수학자 겸 인공지능 연구원 욘 트롬프는 도대체 얼마나 많은 경우의 수를 계산해야 하는지를 따졌다. 2016년에야 나온 답은 대국 수로 따져서 10의 170제곱. 관측 가능한 우주의 원자 개수(10의 80제곱)를 제곱하고 거기에 100억을 곱한 수다.

이런 기초 연구들이 진행되는 사이인 2008년 ‘몬테카를로 트리 탐색’(MCTS) 아이디어가 나왔다. 어차피 따져야 하는 경우의 수가 그렇게 많다면 각 단계마다 일부만 골라서 계산해보면 어떻겠냐는 구상이었다. 실험해보니 컴퓨터의 계산능력만 충분하면 그런 식으로 계산해도 승부용으로 쓸 만한 성능이 나왔다.

딥마인드사는 2016년 이세돌 9단과 대국한 버전의 알파고의 연산성능은 여전히 콕 집어 발표하지 않는다. 구글이 개발한 전용연산장치 티피유(TPU)를 48개 사용했다고만 한다. 2017년 버전인 알파제로는 인간의 기보를 전혀 보지 않고, 자체 대국만으로 학습했는데, 티피유 2000개를 써서 40일 동안 2900만판을 두었다고 한다. 1년에 3억판에 좀 못 미치는 속도인데, 앞으로 300억년 동안 바둑을 둔다고 하더라도 1000경, 즉 겨우 10의 12제곱 판을 확인하는 정도에 불과하다. 바둑은 물론 체스조차도 연구할 대상은 티끌 하나 덜어낸 태산만큼 남아 있다.

뒤집어 보면 비형 전략은 오만한 것이었다. 게임의 원리를 알았다고 자신하기에는 인류가 경험해본 경우의 수가 턱없이 부족했다. 컴퓨터의 능력이 아니라 게임의 깊이를 얕본 셈이다. 인공지능들이 쏟아내는 수많은 기보는 게임의 원리를 찾아낼 광산인 셈이다. 그리고 그런 원리를 논리적으로 풀어내는 일은 현재까지는 인간의 몫으로 남아 있다. 게임의 최종 장은 여전히 실마리도 보이지 않는다.

과학저술가

서울대학교 물리학과를 졸업하고 과학사 및 과학철학협동과정에서 박사 학위를 취득했다. 가톨릭대학교 교양교육원 초빙교수를 거쳐 현재 동국대학교 다르마칼리지에 재직 중이다.