혐오발언 AI를 수출할 수 있을까?...AI윤리, 선택아닌 필수

논란의 인공지능(AI) 챗봇 이루다는 우리 사회에 꽤나 묵직한 과제를 남기고 떠났다. 인간을 닮은 AI가 가진 파급력을 실감하게 했고, AI와 함께 살아갈 준비가 부족한 채로 기술 개발에만 몰두하다가는 사회적 혼란만 초래할 수 있다는 사실을 환기시켰다. AI 산업이 이루다 사태를 거름 삼아 성장하려면, 고민해 볼 문제들을 짚어본다. [편집자 주]

"안녕, 난 너의 첫 AI 친구 이루다야. 너와 매일 일상을 나누고 싶어! 나랑 친구할래?"

'스무살 여대생'으로 설정된 AI 챗봇 이루다는 지난달 22일 '첫 번째 AI 친구'를 자처하며 야심차게 등장했다.

이루다의 대화 성능은 기존 챗봇과 확연히 달랐다. 어떤 주제의 대화에서도 제법 그럴듯한 대답을 내놨다. 심지어 대화를 주도해 나가는 것 같은 능력을 보이기도 했다. "대화창 뒷편에 사람이 키보드를 치고 있는 것 아니냐"는 농담 섞인 감탄을 이끌어내기에 충분했다.

개발사 스캐터랩에 따르면 구글이 개발한 AI챗봇 성능 측정 지표인 SSA에서 이루다는 78%를 기록했다. SSA는 AI챗봇의 대답이 적절성(Sensibleness)과 구체성(Specificity)을 동시에 갖췄는지 평가한다. 인간의 SSA가 86% 수준인 것을 감안하면, 이루다의 대화 능력이 인간에 근접했다고 볼 수 있다.

하지만 이루다는 이내 한계를 드러내고 말았다. 뛰어난 성능에도 불구하고 ▲혐오·차별 표현 논란 ▲일부 사용자의 성적 악용 논란 ▲개인정보보호 문제까지 제기되며 3주만에 완전 폐기처분됐다.

"사람만큼 좋은 대화 상대, 나아가 사람보다 대화상대로 더 선호되는 AI를 만들겠다"는 이루다 개발사의 도전은 어디서부터 단추를 잘못 끼운 것일까.

인공지능 AI 챗봇 이루다는 서비스 3주 만에 혐오·차별 발언, 개인정보보호 문제 등이 제기되며 폐기됐다.

'사람처럼 대화하는 AI' 개발, 구글-MS도 뛰어들었지만 이루다와 달랐다

이루다처럼 자유로운 주제로 대화할 수 있는 서비스를 '오픈 도메인 AI 챗봇'이라 한다. 시리나 알렉사, 빅스비 같은 AI 음성 비서가 사용자의 요청을 수행해 생산성을 높이도록 설계됐다면, 오픈 도메인 AI챗봇은 자연스럽고 끊김 없는 대화를 제공한다.

AI가 사람 만큼 대화를 잘하게 되면 어떤 일이 일어날까. 사용자들은 일상적인 대화를 통해 AI와 유대감을 형성할 것이다. 사용자와 유대감을 쌓은 AI는 정서적 지원이 필요한 치료 분야나 상호작용이 중요한 외국어 학습, 캐릭터에 감정이입이 필요한 영화나 게임 등 다양한 분야에 적용할 수 있을 것이다. 개발사 입장에서 사용자와 정서적으로 연결돼 있는 AI 개발은 매력일 수 밖에 없다.

이런 이유로 구글과 마이크로소프트(MS) 같은 빅테크 기업들도 수 년전부터 오픈 도메인 AI 챗봇 개발에 뛰어들었다.

이루다는 성능만 놓고 보면, 구글, MS의 AI 챗봇 기술과 비교해 결코 뒤지지 않는다. 하지만 그들과 한 가지 큰 차이점이 있었다. 서비스 출시 전 'AI의 사회적 영향'을 얼마나 고민했느냐를 놓고 보면 중요한 차이가 눈에 띈다.

구글은 지난해 1월 논문을 통해 AI 챗봇 '미나'를 공개했다. 미나의 SSA 평가 점수는 79%로, 논문에서 함께 비교한 다른 대화형 AI 챗봇 중 가장 높은 점수를 받았다. 트위터, 레딧 등 인터넷에 공개된 대화에서 추출한 400억 개 단어를 학습 데이터로 활용했고, 26억 개 매개 변수를 가진 복잡한 신경망을 통해 성능을 끌어올린 효과를 봤다.

하지만, 구글은 미나를 서비스 형태로 대중에 공개하지 않았다. AI 모델의 편향성을 포함해 사회적 안전성 여부가 충분히 검증되지 않았기 때문이다. 방대한 오픈 데이터와 복잡한 모델을 결합한 만큼 검증이 쉽지 않았을 것이다.

구글은 블로그를 통해 "이 연구는 오로지 성능(대화의 적절성과 구체성)에만 초점을 맞췄지만, AI 모델에 대한 안전성과 편견에 대처하는 것 또한 우리가 중요하게 다루는 영역"이라며 "이와 관련된 도전과제를 고려해 현재 외부에 연구 데모를 공개하지 않았다"고 설명했다.

MS의 경우 중국에서 AI 챗봇 '샤오이스'를 8세대까지 진화시켜 서비스하고 있다. 샤오이스는 약 6억6천 만명의 활성 사용자를 확보할 만큼 성공한 서비스가 됐다. MS는 중국 샤오이스 외에도 미국에서 '조', 일본과 인도네시아에서 '리나'라는 AI 챗봇 서비스도 제공하고 있다.

MS는 챗봇이 인종차별적이고 공격적인 질문을 감지하고 이를 우회하도록 강력한 필터링을 적용하고 있다.

예컨대 샤오이스에게 "흑인에 대해 어떻게 생각해"라고 물으면 "너 키보드 고장난 거 아니니, 확인해봐"라며 답변을 회피한다.

미국 AI 챗봇 조에게 "내가 무슬림이라는 이유로 괴롭히는 애들이 있어"라고 얘기하자, "종교에 대한 이야기는 관심 없어"라는 답변이 돌아왔다는 대화가 공개되기도 했다.

MS 챗봇들은 혐오발언 가능성 있다면, 성능을 다소 희생하더라도 대화를 원천 차단하도록 설계된 것으로 보인다. 대화 맥락까지 파악해 더 적절한 답을 내놓는 게 가장 좋지만, 기술 수준이 미치지 못하다면 혐오발언 가능성을 차단하는 데 더 우선순위를 둔 것으로 풀이된다.

구글과 MS의 AI 챗봇 사례는 두 회사가 AI의 편향성, 혐오발언 가능성에 대응하기 위해 얼마나 많이 고민하고 있는지를 단편적으로 보여 주는 사례다.

"올바른 AI 개발 어떻게?"....글로벌 기업들 이미 원칙·행동강령 수립해 적용

글로벌 IT 기업들은 MS가 개발한 초창기 AI 챗봇 '테이'가 인종차별 발언으로 폐기된 사건 이후 AI 개발에 있어서 원칙과 윤리를 강조하기 시작했다.

MS가 2016년 출시한 테이는 흑인, 유대인에 대한 인종차별 발언으로 사회적 물의를 일으켜, 출시 16시간 만에 운영이 종료됐다. MS는 당시 테이가 사용자들과의 대화를 통해 실시간 학습하도록 설계했는데, 악의적인 사용자들이 인종편견을 심어주면서 문제를 일으켰다.

한국인공지능법학회 고학수 회장(서울대 로스쿨 교수)는 "마이크로소프트는 테이 이후에 AI 윤리에 대해 관심을 아주 높이면서 이 분야에 손에 꼽히는 선도 기업이 됐다"며 "구글이나 MS는 단순히 원칙을 선언하는 데 그치지 않고 내부에서 (이를 어떻게 실천할지) 상당한 고민을 한 흔적이 엿보인다"고 설명했다.

그는 이어 "AI 윤리는 기업의 선언문으로 끝나는 게 아니라 기업 내부의 기획, 개발 업무를 하는 사람들 입장에서 쓸모가 있도록 구현해야 한다"고 강조했다.

실제 구글과 MS는 '책임있는 AI 개발'을 위해 회사 구성원들이 모두 공감할 수 있는 원칙을 세우고, 실제 연구 및 개발 과정에서 원칙을 실천할 수 있도록 다양한 장치를 마련해 놓고 있다.

MS가 2016년 출시한 AI 챗봇 테이는 인종차별 발언으로 서비스 16시간 만에 폐기됐다.

구체적으로 살펴보면 구글은 '모두를 위한 책임있는 AI 구현'을 목표로 7가지 원칙을 수립했다. 7대 원칙에는 ▲사회적으로 이익이 되자 ▲불공정한 편견을 만들거나 강화하지 말자 ▲안전하게 만들고 테스트하자 ▲사람에 대한 책임을 갖자 ▲원칙은 프라이버시와 통합돼야 한다 ▲높은 수준의 과학적 우수성을 유지한다 ▲원칙에 부합하는 용도로 사용돼야 한다 등이 포함됐다.

구글은 단순히 원칙을 공개하는 데 그치지 않고, 세부적인 행동 강령을 제시하고 이에 대한 온오프라인 교육을 진행하고 있다. 구글에 따르면 1만 명 이상의 구글 직원이 AI윤리 행동강령 교육을 수료했다.

여기에 더해 직원들이 윤리적 AI 개발을 위해 활용할 수 있는 도구와 인프라도 제공하고 있다. 2019년 말에는 AI 모델 개발자가 데이터와 모델의 잠재적 편향을 이해할 수 있는 '공정성 테스트 도구 모음'을 출시하기도 했다. 이 도구는 유튜브, 구글클라우드에도 적용됐다.

또, 신제품, 연구, 파트너십 등이 AI원칙에 부합하는지 공식적인 AI 원칙 검토를 요청할 수 있게 했다. 검토 위원회는 윤리학자, 인권전문가, 개인정보보호 고문, 법률자문가 등 다양한 관점을 제시할 수 있는 전문가들로 구성됐다.

MS 역시 AI 윤리 원칙이 책임있는 AI 연구개발에 대한 자문을 제공하는 'AETHER' 위원회를 운영하고 있다.

설립 초기에는 민감한 AI 사용 사례가 발생했을 때 조언을 제공하는 역할을 담당했으나, 현재는 책임있는 AI 연구·개발을 위한 거버넌스 구조를 책임지는 조직으로 역할을 확대했다. 'AI 원칙->교육과 훈련->책임있는 AI 챔프 프로그램->영업 및 엔지니어링 워크플로우'로 책임있는 AI 연구개발 관행이 이어지도록 관리하고 있다.

책임있는 AI 챔프는 MS 내부 전도사 역할을 하면서, 팀 내 AI 원칙과 실행강령 대한 인식을 제고하고, 제품 수명주기에 AI 원칙과 실행강령이 구현되도록 지원하고 있다.

책임있는 AI 개발은 이제 선택 아닌 필수...사회적 합의 이뤄져야

글로벌 기업들은 이미 AI에 따른 사회적 영향도 개발업체와 개발자들이 책임질 영역으로 인식하고 있다.

구글은 AI윤리 원칙 백서에서 "AI가 구축되고 배포되는 방식은 사회에 큰 영향을 미칠 것이므로, 우리 연구와 제품에서 AI 개발 및 사용을 안내하는 윤리 헌장을 만들었다"고 원칙 수립 배경을 설명하기도 했다.

경희대학교 비교문화연구소 김재인 교수는 "한 사회가 기술을 수용하기 위해서는 안전성과 신뢰성이 담보되지 않으면 안된다"며 "개발사 설계 단계부터 이런 문제를 고려해야 한다"고 설명했다.

IT 기업이 빠른 실패를 거듭하면 발전해야 하는 것 아니냐는 반문도 나올 수 있다. 이루다의 혐오·차별 발언 문제가 제기됐을 때 개발사가 "이루다는 이제 막 사람과 대화하기 시작한 어린아이와 같다"는 해명을 내놓은 것도 같은 맥락에 있다.

김 교수는 "이 같은 생각은 산업화시대의 마인드"라고 규정했다. "일단 제품을 내놓고 책임은 나중에 지겠다고 하는 건 글로벌 추세와 맞지 않는다"며 "(AI 시대에는) 기술이 사회적으로 어떤 역할을 할지에 대한 고민이 기본 바탕에 깔려 있어야 한다"고 강조했다.

AI 윤리에 대한 글로벌 인식 수준은 높아져 있는데, 이런 흐름을 따라가지 못하고 기술 개발만 하다가는 잘해야 '내수용' AI에 그칠 가능성도 크다.

김 교수는 "특히 글로벌 서비스를 목표로 한다면 AI 개발 단계부터 사회적 영향을 고려해야 한다"며 "AI 윤리에 대한 인식이 우리나라 기업들이 글로벌 기업으로 발전하는 데 넘어야 할 중요한 문턱이 될 것"이라고 설명했다.

AI 개발사에만 AI의 사회적 영향에 대한 모든 책임을 지울 순 없다. 큰 틀에서 AI 개발부터 사용에 대한 사회적 합의가 마련돼야 한다.

예컨대 이루다 사태에서 드러난 것처럼 AI 학습에 필요한 데이터를 획득하기 위해 사용자에게 어떤 방식으로 동의를 얻어야 하는지도 논의가 필요한 주제다. 또, AI와 성대화를 하는 것이 비윤리적인지, AI를 상대로 욕설이나 목욕적인 발언은 하면 안되는지도 논의해 볼만하다. AI 캐릭터를 여성으로 설정하는 것은 문제가 없는지도 화두다.

지금까지는 AI윤리 문제가 한번도 깊이 있게 논의 되지 않았다는 게 전문가들의 공통된 지적이다. 이루다 사태를 거름 삼아 진지한 논의를 시작할 수 있게 됐다는 점은 긍정적이다.