어, 내가 본 얼굴사진을 컴퓨터가 그려내네

사람의 ‘뇌 활동 패턴’ 실험 연구
피실험자가 봤던 얼굴 사진
컴퓨터가 비슷하게 재생 성공

영화 본 뒤 재생하고, 꿈 기록하고
머신러닝 이용 10년만에
‘마음 읽는 기계들’ 빠르게 진보

당신의 마음이 저장, 재생, 공유되는 세상이라면, 프라이버시는 어떻게 재정의될 것인가?

‘동구 밖 과수원길 아카시아 꽃이 활짝 폈네. 하아얀 꽃 이파리 눈송이처럼 날리네.’

우리나라 사람 대부분이 아는 동요 ‘과수원길’의 가사를 쓴 이는 시인 박화목이다. 황해도 해주 출신인 그가 어릴 적 고향을 그린 노래는 많은 이들을 동심으로 이끈다. 지금은 사람들마다 머릿속으로 시골길을 그릴 뿐이지만, 시인의 실제 동네를 사진으로 재현할 수 있다면 어떨까? 최근 빠르게 발전하고 있는 신경과학 연구를 보면, 이런 미래가 아주 멀지만은 않았을 수 있다.

미국 뉴욕대 심리학과 박사과정 연구원 이홍미씨와 오리건대 브라이스 쿨 교수는 지난달 1일 <신경과학저널>에 사람의 기억에 대한 흥미로운 연구 결과를 발표했다. 연구진은 23명의 실험 참가자를 자기공명영상(MRI) 장치에 앉히고 수백명의 얼굴 사진을 보여주며 뇌 특정 부위(두정엽의 각회)의 활동을 관찰했다. 자기공명영상 장치란 자기장을 통해 인체를 측정하는 장치로, 뇌의 혈류량을 측정해 외부 자극에 어느 부분이 어떻게 반응하는지 알아낼 수 있다. 연구진은 이렇게 측정한 ‘얼굴 사진-뇌 활동 패턴’의 데이터를 인공지능에 맡겨 학습(머신러닝)하도록 했다.

이후 연구진은 같은 참가자에게 전혀 새로운 얼굴 사진을 보여주고 다시 뇌 활동을 측정했다. 그리고 이번에는 컴퓨터에 얼굴 사진은 빼고 뇌 패턴만 주면서 얼굴을 추정하도록 했다. 결과는 흥미로웠다. 정확하진 않지만 컴퓨터는 성별, 인종 등 특성을 상당 부분 맞힌 얼굴을 그려낸 것이다. 다시 말해 기계가 뇌 패턴만 보고도 그 사람이 본 얼굴을 대략 맞힌 셈이다.

이홍미씨는 지난달 30일 <한겨레>와 한 전자우편 인터뷰에서 “사람들이 어떤 기억을 생생하게 떠올릴 때, 그 기억의 정보가 각회에 반영된다는 것을 밝힌 것이 이번 연구의 주된 성과”라고 말했다. 즉, 사람이 무언가를 기억하는 순간 뇌의 특정 부위를 적절히 측정한다면 이를 시각화할 수 있다는 이야기다.

이 기술은 바꿔 말하면 사람의 기억을 외부로 가공하는 기술이라고 할 수 있다. 쿨 교수는 지난달 20일 인터넷 매체 <복스>와 한 인터뷰에서 “우리는 다른 사람의 기억을 가질 수 있게 될 것이다. 지금까지 기억은 내면적이고 사적인 무엇이었지만, 앞으로 뇌에서 뽑아낼 수 있는 무엇이 될 것”이라고 말했다. 기억을 읽어내서 다른 매체로 가공할 수 있다면 그 가능성은 무궁무진할 것이다. 예를 들어, 더 이상 범죄자를 지명수배하기 위한 몽타주를 그릴 필요가 없어진다. 단지 목격자의 기억 속에서 범죄자의 얼굴 부분을 집어내어 확대하면 그만이기 때문이다. 사랑하는 이들과 보냈던 아름다운 추억들도 망각의 망령이 거두어 가기 전에 안전한 기억의 매체로 끄집어내 올 수 있다. 특히 죽음의 강을 건너 더 이상 만날 수 없는 이들과의 기억이라면 그 가치는 값으로 따질 수 없을 것이다. 만약 일상생활에서도 쓰일 수 있을 정도로 발전한다면, 당장 혈기왕성한 젊은이들에게는 유용하게 쓰이게 될 것이다. 더 이상 폭음으로 달렸던 전날의 기억나지 않는 어리석은 행동과는 안녕이다. 그저 재생해 보면 될 것이기 때문이다.

미국 버클리 캘리포니아대의 잭 갤런트 교수는 이런 방식으로 동영상을 구현하는 기술을 연구중이다. 즉 어떤 사람이 영화를 보고 있을 때 그 뇌를 측정해서 다른 곳에 영화를 재구축하는 기술이다. 갤런트의 연구진은 지난달 이렇게 만든 새 영상을 누리집에 공개하였는데, 첫 영상과 논문은 2011년 9월에 보고돼 큰 주목을 받은 바 있다.(▶정재승의 영혼공작소:누구나 꿈을 영상으로 찍는 영화감독 된다)

연구 방법을 보면, 연구진은 우선 기능성자기공명영상(fMRI) 장치를 통해 특정 영상을 보고 있는 뇌의 패턴을 초 단위로 세밀하게 기록했다. 이를 모아 ‘순간의 장면-뇌 패턴’ 짝에 대한 데이터베이스를 구축했다. 이후 피실험자가 다른 영화를 보는 동안 뇌를 측정하고, 결과값을 데이터베이스에 대입해 컴퓨터가 독자적으로 영상을 짜깁기하도록 한 것이다. 짜깁기에는 유튜브에 올라온 무작위 영상 1800만개가 활용됐다. 컴퓨터가 재구축한 영상은 마치 꿈처럼 흐릿하지만 사물의 형태나 움직임 등은 인지할 수 있는 수준이다.

사람의 마음을 읽어낼 수 있다면, 현실뿐 아니라 꿈은 기록하지 못할까? 일본 연구진이 시도했다. 일본 국제전기통신기초기술연구소(ATR) 연구진은 3명의 실험 참가자들이 자는 동안 보인 뇌의 패턴을 측정한 뒤, 미리 학습한 인공지능이 추정하게 해보았다. 연구 결과, 컴퓨터는 60%의 정확도로 무엇을 보았는지 알아맞혔다. 아직은 ‘남자’가 나왔는지 ‘도로’가 나왔는지 정도를 맞히는 수준이지만 말이다.

놀라운 가능성을 보여준 연구들이지만, 방법을 보면 알 수 있듯이 아직 한계가 분명하다. 이들 연구는 모두 사람의 머리를 열고 그 속의 무엇을 들여다본 것이 아니다. 우선 피실험자를 실험실에 앉히고 수많은 데이터를 수집한 뒤, 나중에 측정값과 대조해서 추정했을 뿐이다. 이런 방법으로 사람의 기억을 그럴싸하게 그리는 기계를 만들려면 모아야 할 데이터가 어마어마할 것이다.

하지만 이 분야는 빠르게 발전하고 있는 중이다. 이홍미씨는 “(뇌과학에서) 머신러닝을 이용한 분석은 도입되기 시작한 지 10년이 넘었다. 지금은 더 다양하고 복잡한 방법들이 개발되고 있는 상황”이라고 말했다. 정재승 카이스트 바이오 및 뇌공학과 교수는 이 분야와 관련해 “미래에는 꿈을 영화처럼 기록해 서로 돌려 보는 시대가 올지도 모른다”고 말했다. 이쯤 되면 내가 보는 것을 모두 기록했다가 원하는 때에 재생하는 기술도 등장할 것이다. 굳이 힘들게 스마트폰을 꺼내 찍지 않아도 말이다.

하지만 이런 미래가 반드시 장밋빛일지는 생각해 봐야 할 문제다. 머릿속을 들여다보는 기술이 등장한다면 인간의 프라이버시는 진정한 종말을 맞을 수 있기 때문이다. 그리고 박화목 시인이 고향 풍경을 재생해 볼 수 있었다면, 우리는 과연 동요 ‘과수원길’을 얻을 수 있었을까?

글 권오성 기자 [e-mail]

인포그래픽 노수민 기자 [e-mail]