알고리즘에 숨겨진 차별 어떻게 대처해야 할까

제2회 사람과디지털포럼 기조연사
프랭크 패스콸리 브루클린대 교수

채용·검색·금융 등 일상 파고든
‘깜깜이 알고리즘’ 관리감독 필요
불이익 받은 사람에 재기회 줘야

프랭크 패스콸리 미국 브루클린대학 로스쿨 교수

오는 16일 사람과디지털포럼에서 오전 세션 기조연설자로 직접 무대에 오르는 프랭크 패스콸리는 우리 삶과 사회를 지배하는 권력자, 인공지능 알고리즘을 다룬다. 미국 브루클린대학 로스쿨 교수이자 <블랙박스 사회>의 저자인 패스콸리는 알고리즘 의사결정은 채용 등 인간의 운명을 결정할 정도로 위력적이지만 그 과정이 불가사의하며, 소수자 등 특정 집단에 대한 편견과 차별을 확산할 위험성이 크다고 말한다. 패스콸리는 이를 제어하기 위한 방안으로 알고리즘 의사결정에 대한 정부 및 민간의 감사 등을 제안한다. 패스콸리를 전자우편으로 미리 만나보았다.

- 챗지피티 시대, 인공지능 알고리즘은 우리 삶에 깊숙이 파고들고 있다. 당신은 알고리즘이 지배하는 현상을 비판적으로 보고 있는 듯하다.

“암의 식별이나 신약 발견과 같은 분야는 나도 기대가 크다. 하지만 나는 사람의 자질을 평가하는 평판 알고리즘, 콘텐츠의 순위를 매기는 검색 알고리즘, 투자 등과 관련한 금융 알고리즘에 더 관심이 많다. 느리지만 사람들의 책임감 있는 상호작용을 통해 결정되어온 것들이 기계에 의해 빠르고 책임 없는 결정으로 대체되고 있다. 예컨대, 알고리즘에 의존하는 대출 기관은 대출 여부나 이자율을 결정할 때 부적절하거나 부정확한 데이터를 사용하기도 한다.”

- 인간이 결정하는 오프라인 시장보다 알고리즘으로 작동되는 온라인 플랫폼에서 차별이 더 잘 식별되고 시정될 수 있다는 의견도 있다. 알고리즘의 긍정적인 측면도 있지 않나?

“온라인 플랫폼은 매우 불투명하기 때문에 노동자나 소비자에 대한 차별도 숨길 수 있다. 알고리즘이 지닌 긍정적 잠재력을 극대화하려면 알고리즘이 역사적으로 차별을 받아온 여러 취약한 집단에 어떤 영향을 미쳤는지 알 수 있도록 보고를 의무화하고 과거 상황과 비교 검토할 수 있어야 한다.”

- 인공지능 면접이 편견과 차별 해소, 즉 공정성을 명분으로 급격히 확산되고 있다.

“인공지능이 사용하는 데이터는 인간이 생산한 데이터로 그 자체에 차별이 내재되어 있다. 또한 자동화된 화상인터뷰는 피면접자의 억양, 감정 표현 방식 등 인간의 본질적 특성과 관계없는 변수를 기준으로 평가해 판단한다. 법학자 이페오마 어주놔(Ifeoma Ajunwa) 교수는 이를 ‘새로운 우생학’이라고 표현했다. 과거의 우생학은 두개골 모양 등을 통해 사람 심성의 특성을 파악하려 했다. 우리는 채용 자동화를 통해 차별을 줄이려는 노력이 오히려 차별을 증가시키는 ‘자동화의 역설’에 직면해 있다.”

- 알고리즘이 소수자에 대한 편견과 차별을 확산할 위험성에 대해서는 어떻게 생각하나?

“알고리즘 학습에 사용된 데이터의 문제가 크다. 예를 들어, 기업이 인종·성별·종교적 배경 등에서 특정 유형의 사람을 관리직으로 승진시켜왔다면 알고리즘은 이를 학습해, 설령 성과가 낮더라도 비슷한 배경의 사람을 승진 대상으로 찾아낼 것이다. 이러한 이유로 아마존은 인공지능 채용 도구 사용을 중단했다.”

- 이런 문제들을 어떻게 고쳐나갈 수 있을까?

“두 가지를 제안하고 싶다. 첫째, 사람을 평가하고 등급을 매기는 알고리즘 과정과 결과물에 대해 정부 및 민간이 들여다볼 수 있도록 하는 것이다. 둘째, 기업은 채용 인원 중 미리 일정 비율을 할당해 알고리즘 채용 과정에서 탈락한 사람들에게 기회를 주어야 한다.

- 당신은 기술의 개방적 사용을 강조하고 있다. 어떻게 가능한가?

“하나의 예로 캐나다 이민 ‘포인트’ 알고리즘이 있다. 이 알고리즘을 사용하면 캐나다로 이민할 수 있는 가능성을 추정할 수 있다. 대체로 나이가 어릴수록, 프랑스어와 영어 구사 능력이 있고 학력이 높을수록 가능성이 높다. 알고리즘이 공정한지 이의를 제기할 수도 있다. 이처럼 알고리즘을 보다 투명하고 이해하기 쉽게 만들어야 한다.”

- 인간과 공존하는 알고리즘은 어떻게 가능할까?

“알고리즘을 설계하고 적용하는 사람들은 항상 알고리즘이 판단하는 인간의 존엄성과 복지를 염두에 두어야 한다. 예를 들어, 복지혜택의 자격을 결정하는 알고리즘은 투명해야 하며 불리한 영향을 받는 사람이 이의를 제기할 수 있어야 한다.”

- 알고리즘 규제를 위해 국가는 어떤 역할을 해야 하나?

“새로운 고위험 인공지능 모델을 출시하기 전에 정부 기관의 허가를 받도록 하는 인공지능 허가 시스템을 제안한다. 이는 인간이 주도하는 인공지능 시대로 가는데 기여할 것이다.”

한귀영 사람과디지털연구소 연구위원 [e-mail]

☞ 약력

- 미국 브루클린대학 로스쿨 교수

- 미국 인공지능 자문위원회 위원

- 저서 <블랙박스사회>