“공공기관 인공지능, 위험성 평가 거쳐 도입해야”

진보네트워크센터 주관 토론회

공정해야 할 공공서비스 분야서
차별·오류 등 부작용 잇단 발생
“정부-시민 신뢰 깨뜨릴 수 있어”
외국선 사람 중심 가치 등 의무화
국내 실행 지침은 기관 자율 맡겨

“해악 인식·공유없이 도입 서둘러”
위험 줄이려면 첫 단추 잘 꿰어야
독립·전문적 감독기구 설치 필요

문재인 대통령이 지난해 10월28일 서울 강남구 코엑스에서 열린 네이버 개발자회의 ‘데뷰(DEVIEW) 2019'에서 인사말을 하며 ‘아이티(IT) 강국을 넘어 에이아이(AI) 강국으로’ 비전을 밝히고 있다. 청와대사진기자단

# 영국 시험감독청은 올해 코로나19 대유행을 이유로 대학수학능력을 평가하는 에이(A)레벨 시험을 취소하는 대신 인공지능(AI) 알고리즘을 통해 학생들의 성적을 매겼다. 이 알고리즘은 에이레벨 예비시험 결과, 학교 과제 점수, 교사의 예상치 등을 바탕으로 산출한 성적에 학교별 역대 학업 능력을 고려한 가중치를 반영하도록 설계됐다. 그런데 평가 결과, 부자들이 사는 지역 학생들이 높은 점수를 받고, 가난한 사람들이 모여 사는 지역 학생들은 상대적으로 차별을 받은 것으로 나타났다.

# 미국 위스콘신주 대법원은 2016년 법원이 피고인들의 재범 위험성을 평가하면서 인공지능 알고리즘(콤파스)에 전적으로 의존했다면 위법이지만, 보조 수단으로 활용했을 때는 적법하다고 판결했다. 하지만 한 언론사가 알고리즘의 도움을 받아 법원 판단이 이뤄진 피고인 1200명의 이후 기록을 검증한 결과, 재범 가능성이 큰 것으로 예측됐지만 실제로 2년 동안 범죄를 저지르지 않은 경우가 흑인은 45%, 백인은 23.5%였던 반면 재범 위험이 낮은 것으로 예측됐지만 2년 안에 범죄를 저지른 경우는 백인이 48%로 흑인 28%보다 훨씬 높은 것으로 나타났다.

공공기관이 시민 대상 공공서비스 사안에 대한 의사결정을 인공지능 알고리즘에 맡길 때 발생할 수 있는 위험성을 보여주는 사례들이다. 영국 사례가 우리나라 대학수학능력시험에서 일어났다고 상상해보자. 난리가 났을 것이다. 영국에서도 인공지능이 불평등을 강화했다며 전역에서 시위가 벌어졌고, 교육부 담당자와 시험감독청장이 사임했다. 당연히 에이레벨 알고리즘이 부여한 성적은 철회됐다. 지난 13일 정보인권 보호 시민단체 진보네트워크센터 주관으로 ‘공공기관의 인공지능 도입을 위한 책임성 지침’ 온라인 토론회가 열렸다. 진보네트워크센터 활동가들이 ‘인공지능 도입 관련 국내·외 지침 비교’와 ‘인공지능 채용을 중심으로 한 국내 인공지능 활용 실태’ 등을 발제하고, 장여경 정보인권연구소 상임이사가 서울시 지원을 받아 연구한 ‘공공기관 인공지능 책임성 지침’ 초안을 발표한 뒤 관련 법률 전문가와 다른 시민단체 활동가 등이 토론을 벌이는 순서로 진행됐다.

이날 토론회는 앞서 시도됐던 국외 사례를 분석한 결과를 바탕으로 공공기관이 시민을 상대로 한 의사결정을 위해 인공지능을 도입하고자 할 때는 무엇부터 챙겨야 하는지를 짚었다. 요약하면 위험성을 인식해 대응책을 마련하는 게 우선순위이고, 이를 위해서는 공공기관이 인공지능 시스템을 조달하는 단계부터 위험성에 대응하는 기준이 엄격하게 적용돼야 한다는 것이다. 이 과정을 감독할 전문·독립기구 설치 필요성도 제기됐다.

문재인 정부는 지난해 12월 “정보통신(IT) 강국을 넘어 인공지능 강국으로” 비전을 담은 ‘인공지능 국가전략’을 발표했다. 경제·사회를 혁신하고 국가 경쟁력을 높일 ‘3대 분야 9대 전략’과 ‘100대 실행과제’도 제시했다. 세계를 선도하는 인공지능 생태계 구축, 인공지능을 가장 잘 활용하는 나라, 사람 중심의 인공지능 구현 등을 통해 2030년까지 디지털 경쟁력 세계 3위, 지능화 경제효과 455조원 창출, 삶의 질 세계 10위 등의 목표를 이루겠다고 밝혔다. 국민 체감도가 높은 공공서비스부터 인공지능을 선도적으로 도입하겠다는 계획도 내놨다.

‘인공지능 국가전략’ 개념 ※ 이미지를 누르면 크게 볼 수 있습니다.

미루 진보네트워크센터 활동가는 발제를 통해 “영국, 캐나다, 호주 등에선 인공지능 알고리즘을 공공서비스에 적용했을 때의 위험성과 부작용을 인식해 대응책 마련에 골몰하는 모습을 보이는 것과 달리, 우리나라는 아직 인공지능 알고리즘 도입 때의 위험성에 대한 평가조차 이뤄지지 않은 상태인데도 행정 영역에서 서둘러 도입하려는 움직임이 있다”고 우려했다. 이어 “인공지능 알고리즘에 기댄 결정으로 발생하는 피해와 차별은 구제하거나 시정하기가 상대적으로 어렵기 때문에 이를 보완하는 작업이 우선돼야 한다”며 “영국과 호주 등에선 이미 법안 형태로 구체화했으나 우리나라에선 여전히 원칙을 제시하는 수준에 머물고 있다. 이런 상태에서 공공기관이 인공지능 알고리즘을 도입해 활용할 수 있게 하면, 시민들이 인공지능 알고리즘 의사결정의 위험에 고스란히 노출될 수밖에 없다”고 지적했다. 장여경 이사는 “미국 스탠퍼드대와 뉴욕대는 미국 정부기관의 인공지능 시스템 도입·운영 실태를 분석한 결과를 근거로 ‘성능이나 알고리즘 편향성으로 정부와 시민 사이의 신뢰가 떨어질 수 있다’고 경고하는 연구 보고서를 지난 2월 내놨다”며 “특히 공공기관 인공지능이 특정 공급업체의 영업비밀에 종속될 위험성에 대한 지적도 있었다”고 말했다.

이날 토론회에선 정보인권연구소가 영국·캐나다·호주 등의 공공기관 인공기능 도입 지침을 잣대로 한국정보화진흥원이 지난해 12월 발표한 ‘공공기관 신뢰가능 인공지능 구현 실행 가이드’를 평가한 결과도 소개됐다. 장 이사는 “국외에선 공공기관이 인공지능을 도입할 때는 사람 중심 가치와 공정성이 실현되도록 법으로 강제하는 추세인데, 국내 실행 가이드는 공공기관 인공지능 시스템 공급자와 사용자에게 법 준수 요구 없이 자율에 맡기고 있다”고 지적했다. ‘이해관계자’를 ‘공공기관 인공지능 의사결정으로 영향을 받는 사람들’이라고 명확히 규정하지 않고, 편향성 방지 등 인공지능 윤리를 공공기관 인공지능 공급업체 선정을 위한 평가 기준과 유지보수 대상에 넣지 않는 것은 물론 설명 가능성과 추적 가능성 등을 요구하지 않는 것도 한계로 꼽혔다.

장 이사는 토론회 뒤 ‘한겨레’와 통화에서 “유럽연합 집행위원회가 채택한 ‘신뢰가능 인공지능 가이드라인’은 인공지능의 투명성을 보장하기 위해서는 설명 가능성이 보장돼야 한다고 명시하고, 영국 앨런튜링연구소와 공직생활윤리위원회는 공공기관 인공지능 시스템으로 발생할 가장 큰 해악으로 불투명성과 설명 불가능성을 들며 공공부문 인공지능을 규제할 전문·독립기구(데이터윤리혁신센터) 설립을 제안하고 있다”며 “우리나라도 공공기관의 인공지능 시스템 도입 전에, 산업육성 부처로부터 독립적이고 전문적인 형태의 공공기관 인공지능 운영 감독기관을 만들어 해악을 도출하고 대응책 마련 작업부터 해야 한다”고 말했다.

김재섭 선임기자 겸 사람과디지털연구소장 [e-mail]