인종차별 데이터는 인종차별보다 더 무섭다

미국 경찰의 범죄 예측 시스템의 편견과 오류
뉴욕대 AI Now 연구소 조사 결과 발표
13개 가운데 9개 인종편견 등 ‘오염된 데이터’ 학습

범죄 예측 인공지능 시스템의 편견

칼럼, 권오성, 권오성의 세상을 바꾼 데이터

데이터 분석의 선두라고 할 수 있는 미국에서 영화 <마이너리티 리포트>와 같은 범죄 예측은 더는 새로운 이야기가 아니다. <마이너리티 리포트>에는 살인이 일어나기 전에 범죄자를 예측하고 이들을 체포해 죽음을 막는 ‘프리크라임’이라는 시스템이 등장한다. 미국 경찰이 범죄 예측에 쓰는 시스템은 프리크라임처럼 정확히 살인자를 예측할 정도로 정교한 시스템은 물론 아니다. 기존 범죄 빅데이터로 학습한 인공지능이 어떤 구역에서 범죄가 더 자주 발생할지 정도를 예측하는 정도다. 충분하지 않은 자원에 효과적으로 경찰력을 운용해야 하는 압박을 받는 미국 경찰들은 순찰 지역 등을 선별하는 데 이런 인공지능을 활용하고 있다. <매사추세츠 공대 기술 리뷰>(MIT Technology Review)에 의하면, 이런 시스템 판매 업계 선두주자 프레드폴(PredPol)이 자랑하길 “미국인 33명 중의 1명은 우리 시스템의 보호를 받고 있다”고 한다.

최근 이런 인공지능들에 심각한 결함이 있다는 연구 보고서가 나왔다. 인공지능의 사회 영향을 평가하는 미국 뉴욕대학교 ‘에이아이 나우 연구소’(AI Now Institute)는 지난 13일 범죄 예측 시스템을 운용 중이거나 운용했던 미국 13개 시 경찰을 조사한 결과를 ‘오염된 데이터, 잘못된 예측: 어떻게 시민권 침해가 경찰 데이터와 범죄 예측 시스템, 그리고 정의에 영향을 미쳤나’(Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice)라는 논문을 발표했다.

연구소 조사 결과 이 가운데 9개 경찰 시스템에서 오류와 편견이 발견됐다. 문제는 이런 시스템이 학습한 ‘데이터’에 있었다. 오류가 가장 심각한 곳 가운데 하나인 뉴올리언스 사례를 보면, 경찰은 흑인 동네와 소수 인종 동네를 타깃으로 삼아 백인 동네에 비해 불균형하게 더 순찰 및 불법 검문을 벌였던 것으로 나타났다. 이 문제는 앞서 2010년에 논란이 되어 법무부가 조사까지 벌인 바 있는데, 당시 법무부 장관은 이런 인종차별적인 행태가 경찰 내의 “심각하고, 광범위하고, 구조적이고, 뿌리 깊은 문화”라고 비판한 바 있다.

이번 조사에선 이뿐 아니라 다른 형태의 경찰 데이터 오염도 관측되었다. 뉴욕주 경찰의 경우 범죄율을 떨어뜨려야 한다는 압박에, 경찰이 피해자에게 수시로 신고하지 말 것을 종용한 사례가 드러났다. 어떤 경찰들은 자신의 검거 실적을 채우기 위해 죄 없는 이들의 집 등에 마약을 심어놓은 뒤 잡아들이기도 한 것으로 나타났다.

문제는 이렇게 ‘더러운 데이터’로 학습한 범죄 예측 시스템은 그만큼 ‘더러운 예측’을 내놓는다는 점이다. 특정 인종의 동네에서 경찰이 인위적으로 더 검문을 벌이게 되면 그 동네의 범죄율은 다른 동네에 비해 더 높아지게 된다. 시스템은 이에 따라 미래에도 더 범죄율이 더 높을 것이라고 예측하게 된다. 그러면 경찰은 이 동네를 다시 더 범죄의 소굴로 여기게 되고 이런 악순환은 반복되는 것이다. 마약을 심어 인위적으로 검거율을 높이는 행위도 이런 수법이 통할 법한 낙후된 동네를 더 범죄가 많은 지역으로 낙인 찍는 효과를 가져온다.

더 큰 문제는 ‘투명성’이다. 인간의 편견은 누구나 문제를 보고 지적해서 고칠 여지가 있다. 그런데 이런 시스템은 보통 사람이 안을 들여다 볼 수도 없을 뿐더러 본다 해도 파악하기가 쉽지 않다. 그런데 ‘범죄 예측 시스템’이라는 불편부당하고, 합리적이리라는 기대와 탈을 뒤집어 쓰고 있기 때문에 그 결과를 수긍하기 쉽다는 점이다. 여러 경찰서가 이런 시스템을 도입하는 이유의 상당 부분도 이런 ‘공정성의 탈’ 때문이다. 때문에 더 쉽게 널리 복제되어 퍼지기 쉽다. 논문의 저자인 케이트 크로포드(Kate Crawford) ‘에이아이 나우’ 연구소장은 “시스템은 당신이 그 시스템을 훈련하는 데 쓴 데이터 수준만큼만 좋을 뿐”이라고 말했다.

우리나라 경찰도 경찰 업무 선진화 차원에서 빅데이터 범죄 예측 시스템의 도입 등을 추진하고 있다. 미국처럼 편견이 ‘공정성의 탈’로 윤색되는 데 이 시스템이 악용될 위험을 막을 장치도 함께 도입될 필요가 있어 보인다. 과거 박근혜 당시 새누리당 대선 후보에 이롭게 잘못된 중간 수사결과를 발표하는 등 경찰은 특정 성향에 편향된 모습을 보여 왔기 때문이다.

권오성 기자 [e-mail]