"메타검사는 챗GPT 인재인지, 진짜 인재인지 알아본다"

최근 채용 시장에서 챗GPT가 자주 언급되면서 구직자와 기업 모두 인공지능(AI)에 대한 관심도가 높아졌다. AI 기술을 활용해 구직자는 자기소개서와 면접 등을 준비하고, 기업에서는 적합한 인재를 찾아내는 작업을 한다.

앞으로는 챗GPT가 써주는 자소서를 걸러내는 작업보다는, 자소서는 자소서대로 두고 다른 방법으로 인재를 찾는 데 고민해야 할 시기가 왔다. 채용 시장에서 새롭고 보다 정교한 진단이 필요하다는 공감대가 만들어지고 있다.

인크루트도 이런 추세에 발맞춰 '메타검사'를 내놓았다. 메타검사는 기존 진단 도구의 틀과 형식을 벗어난 새로운 검사로, 쉽게 말해 인·적성검사나 AI 면접의 한계점을 보완할 수 있게 하는 도구다. 자기 자신을 과대평가해 응답하거나, 이미 노출된 인적성문제로 학습된 답을 내놓고, 꾸며낸 표정이나 정형화된 답변에 대한 문제를 탈피할 수 있다는 얘기다.

기자가 최근 만난 인트루트 김현근 어세스팀 팀장은 9년간 채용 컨설턴트로 활동하며 느꼈던 채용 과정의 한계점을 극복하기 위해 메타검사를 만들었다. 이 검사로 총 14건의 특허를 출원하기도 했다. 그만큼 메타검사가 조직에 적합한 인재를 뽑기 위한 수단이 될 것으로 믿고 있다. 김현근 팀장에게 메타검사에 대한 이야길 자세히 들어봤다.

Q. 인크루트는 왜 메타검사를 만들었나?

A. 채용 단계에서 사용하고 있는 인·적성검사 즉, 진단 도구들에 대한 한계점들이 보였다. 적성검사의 경우 지원자의 인지 능력을 측정하는 전통적인 진단 도구지만, 지원자들의 전략도 고도화돼 많은 시간을 투입해 이를 준비하고 있다. 특히 문항 유형 노출로 인해서 지원자 간 변별력이 낮아지고 있는 것이 현실이다.

인성검사는 자기보고식 검사의 형태다. 채용 장면에서 자기보고식 검사의 한계점은 입사하겠다는 지원자의 강한 동기 때문에 자기 자신을 과대평가 즉, 응답 왜곡 현상이 나타난다는 것이다. 기업의 입장에서는 응답 왜곡 때문에 지원자의 진짜 모습을 파악하기가 힘들어졌다.

최근 몇 년동안 이슈가 됐던 AI기술의 경우에도 한계점이 있었다. AI가 학습한 데이터가 선입견과 편견도 포함된 데이터일 가능성도 있기 때문에 결과 점수에 대한 신뢰도에 의문을 가질 수 밖에 없다. AI면접에서 수집되는 데이터는 표정, 목소리 톤, 답변 속도, 어휘, 시선 처리 같은 것인데, 이러한 데이터가 과연 우수성과자에게 보이는 특징인지도 의문이다. 이런 면에서 AI기술에 한계가 있다고 판단했다.

예컨대 미국 아마존에서도 2018년 이력서를 AI로 평가하는 알고리즘을 개발하다 평가의 편향성이 확인돼 중단시킨 사례가 있었다. AI기술이 인간의 편견이나 주관을 배제하기 때문에 공정하다고 많은 기업에서 믿고 있지만, 알고리즘이 공정하지 않을 가능성이 높다는 비판이 지속해 제기되고 있는 것이 사실이다.

마지막으로 AI시대에 필요한 인재의 특징이 변화되고 있음을 파악했다. AI시대 이전에는 똑똑한 사람을 인재라고 했다. 앞서 언급한 적성검사가 채용 장면에 사용된 이유이기도 하다. 똑똑한 사람이거나 지식이 풍부한 사람이 조직 내에서 우수한 성과를 낼 수 있는 환경이었지만, 지금은 아니다. 지식이 필요하거나 특정 정보를 획득하기 위해서 온라인으로 검색만 하면 된다. 챗GPT를 보더라도 이제 큰 어려움 없이 지식을 습득할 수 있게 됐다. 기존 진단 도구의 한계점을 극복하고 AI시대에 맞는 인재를 선별하기 위해서 메타검사를 만든 것이다.

Q. 메타검사에 대해 자세히 설명해달라.

A. 메타검사는 PSG(Problem Solving Game)라는 시뮬레이션 게임과 AI PnA라는 인성검사로 구성 있다. PSG는 문제해결력 게임이다. 40분 동안 진행하며, 게임 내 캐릭터가 무인도에서 생존하기 위해서 다양한 활동을 수행해야 하는 게임화된 진단 도구(Gamified Assessment)다.

PSG의 특징은 첫째, 지원자의 지식 수준보다 사고하는 과정, 문제를 해결하는 과정에 초점을 맞춰 점수를 산출하고 있다는 것이다. 문제해결 과정에 초점을 맞추는 이유는 인간만이 갖고 있는 고유한 능력이기 때문이다. 세계적인 석학이자 언어학자인 노엄 촘스키 MIT교수도 ‘무엇이 옳고 그른지 판단할 수 있는 능력’, ‘수집된 정보를 바탕으로 추론하고 새로운 통찰력 있는 결론에 도달하는 능력’이 인간만이 가진 고유한 능력이라고 언급했다. 세계경제포럼(WEF)에서도 2022년 직무수행에 필요한 능력으로 ‘분석적 사고’, ‘적극적 학습 및 학습전략’, ‘비판적 사고와 분석’, ‘복잡한 문제해결 능력’이 중요했다. 최근엔 ‘비판적 사고와 분석’, ‘문제해결 능력’이 점점 더 중요해질 것으로 조사된 바 있다.

둘째, 메타검사로 일반지능, 실용지능, 메타지능이라는 세 가지 지능을 측정할 수 있다. 일반지능은 업무 수행에 기본적으로 요구되는 능력이다. 우리가 알고 있는 적성검사로 측정되는 인지 능력이라고 보면 된다. PSG는 시뮬레이션 게임이면서 문제를 해결해 나가는 과정에서 다양한 데이터가 수집되기 때문에 실용지능과 메타지능을 측정할 수 있다. 다시 말해 주변 환경을 이해하고, 목표 달성을 위해 그 지식을 활용하는 능력을 측정한다. 메타지능은 실행과정을 스스로 점검하고, 전략을 수정해 더 나은 결과를 만드는 능력이다. 메타지능이 높은 사람은 목표 달성을 위해 문제를 단순히 알고 있는 것에 그치는 것이 아니라 자신이 알고 있는 지식의 범위와 한계점을 명확히 알고 실행계획을 세우고, 점검하며 적절하게 전략을 수정할 줄 아는 사람이기 때문이다.

셋째, 지원자의 진짜 능력을 측정할 수 있는 구조다. PSG는 기존 적성검사처럼 문제가 노출되면 변별력이 사라지는 구조가 아니다. 문제가 있고 결과를 얻기까지 다양한 경우의 수가 있고 지원자의 의사결정에 따라 상황이 변하는 다양한 변수로 구성돼 있기 때문에 지원자가 그 구조를 파악하기 힘들다. 지원자의 진짜 능력을 측정할 수 있는 얘기다. AI PnA는 인성검사로 지원자의 밝은 부분(Bright side)인 역량을 진단하는 파트1과 어두운 부분(Dark side)인 반생산적 행동을 진단하는 파트2로 구분된다.

AI PnA의 특징에 대해서 언급하자면 첫째, 커스터마이징 기능이다. 인성검사의 타당도를 높이고 선발 장면에서 효과적으로 활용을 하기 위해서는 커스터마이징이 필수다. 커스터마이징이란 특정 조직에서 우수한 수행을 보이는 개인의 내재적 특성 즉, 역량을 진단하기 위해 최적화한다는 의미다. 조직도 사람과 같다. 생김새가 비슷한 사람은 있지만 성격적으로 100% 동일한 사람은 없듯이, 조직도 동일하다. 조직마다 문화가 다르고 조직 내에서 고성과자로 평가받는 사람의 역량도 다르다. 그렇기 때문에 커스터마이징은 필수며, AI PnA는 이론적으로 수십 개의 역량을 커스터마이징할 수 있는 기능이 적용돼 있다. 일부 인성검사는 사람의 성격을 크게 5요인, 6요인으로 범주화 했을 뿐 조직에 필요한 역량을 측정한다고 볼 수 없기 때문에 유의해야 한다.

둘째, 셀프 모니터링(Self-monitoring) 기능이다. 지원자가 인성검사에 응답함에 있어서 솔직하게 응답할 수 있도록 지속해 피드백을 줄 수 있다. 지원자의 응답 패턴을 실시간으로 분석해 거짓되거나 과장된 응답을 한다고 판단될 경우, 응답에 대한 신뢰도 게이지가 상승하는 것을 바로 확인할 수 있어, 솔직한 응답을 유도할 수 있다.

셋째, 인성검사로 산출되는 역량 점수, 반생산적 행동 점수를 신뢰할 수 있는지 더블체크하는 기능이 있다. 많은 인사담당자들이 지원자 점수가 정말 이 점수가 맞는지, 정말 위험한 지원자인지 문의하는 경우가 많은데, AI PnA의 경우 진단 결과의 신뢰도를 높이기 위해서 지원자의 응답 패턴을 실시간으로 분석한 후 필요에 따라서 추가 문항이 제시되고 더블체크할 수 있다.

Q. 기업은 메타검사로 뭘 얻을 수 있나

A. 필기전형에 메타검사를 적용한다면, 지원자 입장에서 스트레스를 적게 받을 수 있다. PSG의 경우 별도의 준비가 필요한 것이 아니라, 튜토리얼을 통해 게임을 충분히 숙지한 후 생존을 위해서 열심히 노력만 하면 된다. 기업 입장에서는 게임적인 요소를 접목한 진단 도구이기 때문에 지원자의 참여율이 높고 필기전형에 조금 더 몰입하게 되고 양질의 데이터를 얻을 수 있다. 인사 담당자는 지원자 모집부터 고민이 된다. 지원율이 낮을까 봐 채용 절차를 간소화하게 되는 경우도 많다. 채용 절차를 간소화하게 되면, 면접에 비중을 더 둬야 하는데, 숙련된 면접관이 없는 경우는 오히려 이 방법이 좋지 않다. PSG와 AI PnA 모두 최신의 기술이 적용된 만큼 채용 브랜드에도 긍정적인 영향을 미칠 것으로 예상하고 있다.