채용 알고리즘 편향, '설명가능한 AI'로 거른다

미국 뉴욕시, AI 채용 알고리즘 검증 내년 시작...엠레 카짐 COO "편향성 검증 수단 중요해져"

'설명가능한 인공지능(AI)'기술 기업이 해외에서 등장하고 있다. 뉴욕시가 AI 면접 등에 사용하는 알고리즘 편향성 감사 의무화를 내년부터 시작하겠다 밝힌 이후부터다.

설명가능한 AI란 알고리즘이 결과를 어떻게 내놨는지에 대한 과정을 사람이 이해할 수 있게 설명하는 프로세스다. 알고리즘에 들어간 데이터셋을 비롯해 사용 빈도 비율, AI 모델 등을 분석해 수치화한다. 

[사진=Pixabay]

뉴욕시는 지난달 'AI 채용평가시스템 편향성 감사 지침'을 마련했다. 기업은 AI가 개인이나 그룹을 분류할 때, 범주에 대한 선택률과 선택에 대해 미치는 영향을 비율로 계산한다. 제도 적용 시점은 내년 1월 1일이다. 감사는 AI 업체지만 알고리즘으로 직원 채용을 하지 않는 제3기업이 해야 한다. 

AI 채용 기술은 이력서부터 면접, 직무적합성 등에 적용된다. AI로 이력서를 거르는 경우가 대표적 예다. 기업은 특정 키워드를 알고리즘에 설정해  지원서 우선순위를 지정한다. 이력서를 AI로 검토하는 기업은 알고리즘에 적용한 키워드가 무엇인지 공개하고 해당 키워드가 채용에 미치는 영향을 비율로 나타내야 한다.

직무적합성 점수를 매기는 테스트형 소프트웨어(SW)도 마찬가지다. 기업이 의도적으로 특정 성격만 지나치게 거르는 부분이 있는지 제3기업이 비율로 계산한다.

뉴욕시 AI 감사 화면 [사진=홀리스틱AI 캡처]

영국 홀리스틱AI는 알고리즘 감사 서류를 돕기 위해 '뉴욕시 AI 감사' 솔루션을 1월 1일부터 정식 출시한다. 알고리즘에 편향성이 있는지 수치화해 나타내는 플랫폼이다. 

검증 기준은 뉴욕시가 마련한 요구사항에 맞췄다. 데이터셋은 20만개 규모다. 기업이 사용한 AI 채용시스템에 설정한 ▲키워드 ▲문장 ▲지원자 성격 ▲성별 ▲출신 지역 ▲학력 ▲인종 적용 비율을 분석한다. 

엠레 카짐 홀리스틱AI COO [사진=홀리스틱AI]

해당 솔루션은 엔지니어, 법조인, 정책 자문단 등이 모여 만들었다. 엠레 카짐 홀리스틱AI 최고책임자(COO)는 "지금까지 100개 넘는 AI 기업을 자문한 경력이 있는 전문가로 구성했다"고 밝혔다. 

엠레 카짐 COO는 "AI 윤리적 문제는 AI가 발전하면서 함께 자라는 이슈다"며 "AI 알고리즘 편향성 검증 제도는 미국 뉴욕뿐 아니라 유럽, 아시아 등에도 적용돼 '설명가능한 AI 기술 필요성이 커질 것"이라고 지디넷코리아 전화에서 밝혔다.