[안광섭 AI 진테제] 대규모 LLM이 불평등 증폭?

페르소나 설문 과소 재현과 현실 불평등은 다른 문제…AI 비판도 검증 기준 같아야

최근 모 언론사에 AI가 만든 세계에서 소수자가 지워진다는 연구가 소개됐다. 서울대 보건대학원 김승섭 교수 연구팀의 '침묵의 설계자' 연구다. 11월 5일 공개 강연 포스터 제목은 더 나아간다. "대규모 언어모델은 어떻게 소수자를 지우고 불평등을 증폭시키는가." 소수자의 과소재현을 관찰한 실험과 현실의 불평등을 증폭시킨다는 주장 사이에는, 제목 하나로 건너뛸 수 없는 거리가 있다.

필자는 연구진이 공개한 41쪽 한국어 발표자료와 깃허브 저장소, 김 교수의 공개 게시물을 기준으로 이 주장을 검토했다. 이 글이 묻는 것은 소수자를 보호해야 하느냐가 아니다. 연구가 실제로 무엇을 확인했고, 그 확인이 어디까지의 주장을 허용하느냐다.

1만 개의 응답이 확인한 것

연구진은 엔비디아의 '네모트론 페르소나 코리아'에서 가상 인물 1만 개를 뽑았다. 이를 라마 3.3에 입력하고, 각 인물이 돼 장애 여부와 성적 지향, 생애 경험 등에 답하도록 했다. 그중 1000개는 다른 세 모델에도 적용했다. 모델의 응답은 실제 국가 조사와 비교했다.

결과는 극단적이었다. 라마가 만든 응답에서 등록장애인은 0명이었다. 연구진이 비교 기준으로 제시한 실제 성인 인구의 등록장애인 비율은 5.9%다. 자가보고 장애인은 5명이었고, 레즈비언·게이·양성애자와 트랜스젠더, 국외 출생자는 모두 0명이었다.

이 결과를 가볍게 볼 이유는 없다. 이런 방식으로 만든 가상 응답을 실제 국민의 경험이나 의견을 대신하는 자료로 사용한다면 문제가 생길 수 있다. 합성 응답의 대표성을 검증해야 한다는 경고는 유효하다. 필자처럼 이 데이터셋을 활용하는 사람에게도 해당하는 경고다.

그렇다고 그다음 문장까지 자동으로 성립하는 것은 아니다. 특정한 방식으로 생성한 응답이 실제 인구와 다르다는 것, 그 차이가 학습 데이터에 내재한 사회적 위계 때문에 발생했다는 것, 그 결과 현실의 불평등이 증가한다는 것은 서로 다른 주장이다. 첫 번째를 관찰했다고 나머지 두 개가 함께 입증되지는 않는다. 숫자가 보여주는 실패는 분명하다. 숫자가 입증하는 원인은 별개다.

인구통계를 닮았다고 사람의 삶까지 복원된 것은 아니다

필자도 '티레시아스(Tiresias)' 프로젝트에서 같은 엔비디아 데이터셋을 사용했다. 그래서 이 연구를 접했을 때 모델 이름보다 먼저 본 것은 입력 데이터였다. 무엇을 넣고 무엇을 물었는지 알아야, 답이 어디서 나왔는지 따질 수 있기 때문이다.

이 데이터셋은 실제 사람 100만 명을 인터뷰한 기록이 아니다. 인구통계 자료를 바탕으로 만든 합성 인물들의 집합이다. 엔비디아는 다양성 확대와 편향 완화를 활용 목적으로 제시하면서도, 일부 변수 사이에 독립성 가정을 적용했고 요인 간 교호작용을 반영하지 못했다고 설명한다. 생물학적 성과 구분되는 젠더에 관한 포괄적인 공공통계도 반영하지 못했다고 명시한다.

여성의 비율, 연령대, 거주 지역의 구성이 현실과 비슷하다고 해서 장애, 성적 지향, 가족사, 건강 상태까지 같은 분포로 들어 있는 것은 아니다. 대표성은 한 번 붙이면 모든 변수에 적용되는 인증마크가 아니다. 무엇에 대한 대표성인지 물어야 한다.

그렇다고 엔비디아가 한계를 적어뒀으니 비판하지 말자는 뜻도 아니다. 다양성과 편향 완화를 내세운 데이터셋이 실제로 누구를 담고 누구를 빠뜨렸는지 검증하는 일은 필요하다. 다만 데이터셋의 누락, 모델의 응답, 실제 정책의 결과를 구분해야 한다.

입력에는 나이와 지역만 있는 것도 아니다. 발표자료 8쪽의 예시에는 아내와의 생활, 등산과 목욕탕, 음식과 여행 취향, 건강하게 일하고 싶다는 목표까지 들어 있다. 연구진이 공개한 시스템 메시지 템플릿을 보면 식별자를 제외한 데이터셋의 25개 열, 즉 인구학적 필드 12개와 서술형 필드 13개를 모두 모델에 제공했다.

장애 여부를 적는 칸이 없다는 이유만으로, 모델에 아무 단서도 없는 중립적인 빈칸이 주어졌다고 볼 수는 없다. 앞서 입력한 생활과 가족에 관한 이야기가 답을 어느 방향으로 이끌었는지도 확인해야 한다. 네 모델이 같은 방향으로 답했다는 결과는 중요하지만, 네 모델에 공통으로 제공한 입력의 영향까지 분리해 주지는 않는다.

'0명'과 '존재 확률 0'은 다르다

출력을 읽는 방식에도 문제가 있다. 가장 가능성 높은 답 하나를 고르는 일과, 인구 전체의 분포를 재현하는 일은 같은 과제가 아니다.

단순한 모형을 하나 생각해 보자. 어떤 집단의 구성원 모두에 대해 장애가 있을 확률을 5.9%, 없을 확률을 94.1%로 추정한다고 가정하자. 매번 둘 중 가능성이 높은 답 하나를 고르게 하면 1만 명 모두에게 '아니오'라고 답할 수 있다. 반대로 그 확률에 따라 가상 인구를 표본추출하면 장애가 있는 사람은 평균적으로 약 590명이 된다.

같은 확률을 가지고도 답을 만드는 규칙에 따라 집계 결과가 달라진다. 첫 번째 모형이 장애인의 존재를 모르는 것은 아니다. 개별 답을 하나로 결정하는 과정에서 소수의 가능성이 출력되지 않았을 뿐이다.

안광섭 세종대 겸임교수(인레벨나인 대표)

물론 실제 LLM은 토큰 단위로 문장을 생성하므로 이 이진 모형과 동일하지 않다. 다만 높은 확률의 토큰을 고르는 방식과 확률에 따라 표본추출하는 방식은 실제로도 구분된다. 이 예가 보여주는 것은 응답에서 관찰된 비율을 곧바로 모델 내부의 지식이나 확률분포로 읽어서는 안 된다는 점이다.

연구진의 주 실험은 라마를 마이크로소프트 애저 AI 파운드리에서 실행했고, temperature를 0으로 설정했다. 모델은 각 문항에서 이유를 먼저 쓰고 보기를 선택했으며, 이전 답은 같은 대화에 누적됐다. 등록장애인 여부를 묻는 공개 문항 예시의 보기는 '예'와 '아니오'였다.

이 설정이 틀렸다는 뜻은 아니다. 특정 사용 방식의 실패를 측정하는 데는 의미가 있다. 다만 그 실패의 원인을 설명하려면 추가 비교가 필요하다. '정보가 없어 알 수 없다'를 허용하면 어떻게 되는가. 서술형 정보를 빼거나, 소수자 정체성을 명시하면 어떻게 되는가. 응답을 선택하는 방식과 질문 순서를 바꿔도 같은 결과가 나오는가.

공개 발표자료에서는 이런 비교의 결과를 확인할 수 없다. 따라서 'temperature 때문'이라고 단정하는 것 역시 성급하다. 그것은 검증해야 할 대안 설명이지 이미 입증된 반박이 아니다. 연구를 비판하는 쪽에도 같은 기준이 적용돼야 한다.

1만 번의 관찰은 결과의 반복성을 보여줄 수 있다. 그 반복만으로 서로 다른 원인 중 하나를 골라주지는 않는다.

다양성을 늘리면 언제나 정확해지는가

원인을 구분해야 하는 이유는 처방이 달라지기 때문이다. 소수자 응답이 적다는 이유만으로 모델 가중치를 고쳐 그 비율을 높이는 일을 해법으로 삼을 수는 없다.

2024년 구글 제미나이의 이미지 생성 문제가 이를 보여준다. 구글은 다양한 사람을 보여주도록 한 조정이 다양성을 적용해서는 안 되는 맥락까지 확장됐고, 일부 요청에는 지나치게 보수적으로 반응했다고 인정했다. 그 결과 부정확한 이미지가 생성됐고, 사람 이미지 생성 기능을 일시 중단했다. 구글 자신의 설명이다.

이 사건이 이번 연구를 반박하지는 않는다. 다만 다양성이라는 하나의 목표를 모든 과제에 같은 방식으로 적용할 수 없다는 교훈은 준다.

역사적 인물을 묘사하는 과제에서는 사실에 맞는 정체성이 중요하다. 가상 인구를 만드는 과제에서는 검증된 분포와 표본추출 설계가 중요하다. 실제 사람과 상담하는 과제에서는 본인이 밝히지 않은 민감한 속성을 함부로 확정하지 않는 것이 중요하다.

어떤 과제에서는 빠진 속성을 채워야 한다. 다른 과제에서는 채우지 않아야 한다. 개인 상담에서 필요한 답은 "당신은 비장애인일 것이다"도, 인구비율을 맞추기 위해 임의로 부여한 정체성도 아니다. 필요한 정보라면 묻고, 모르면 모른다고 남겨두는 것이다.

공정성은 출력에 다양한 사람을 등장시키는 숫자만으로 판단할 수 없다. 무엇을 하는 시스템인지, 누구에게 어떤 영향을 주는지부터 정의해야 한다.

발표자료 '우려'가 포스터와 게시물의 결론이 됐다

이제 제목으로 돌아가 보자. 연구의 영문 제목에는 '페르소나를 부여한 대규모 언어모델'이라는 조건이 있다. 다루는 결과도 소수자 인구와 사회적 고통의 비가시화다. 발표자료가 설명하는 측정 대상은 모델이 생성한 설문 응답의 분포다.

그러나 큰 한글 포스터 제목에서는 페르소나라는 조건이 빠지고 '불평등을 증폭시킨다'는 표현이 들어간다. 단순히 어려운 용어를 쉽게 바꾼 것이 아니다. 주장의 범위가 넓어졌다.

불평등 증폭을 실증하려면 무엇이 얼마나 불평등해졌는지 보여줘야 한다. 예컨대 해당 시스템을 썼을 때 특정 집단이 서비스에서 더 많이 배제되는지, 자원이 불리하게 배분되는지, 다른 방식과 비교해 격차가 커지는지를 측정하는 식이다. 공개된 실험 설계는 그런 현실의 결과를 측정한 것이 아니다.

연구진의 발표자료 39쪽도 차별과 배제를 재생산하고 강화할 '우려'를 말한다. 과장된 항목의 작동 기제는 추가 연구가 필요하다고도 적는다. 한겨레 보도 역시 정책에 활용될 경우 불평등이 심화될 수 있다는 조건부 설명을 포함한다. 이 구분은 인정해야 한다.

김 교수가 페이스북에 올린 공개 글에서는 그 유보가 사라진다. 결과의 이유를 "근본적으로는 LLM이 학습한 데이터 자체에 내재한 위계와 편견 때문"이라고 쓰고, 정책에 쓰일 경우를 두고 "그 응답 위에서 설계된 정책은 지워진 사람들에게 닿지 않습니다"라고 설명했다. 발표자료가 가설과 우려로 남겨 둔 대목이, 더 많은 사람이 읽는 게시물에서는 확인된 사실의 어조로 바뀐다. 필자가 10월 21일 확인한 시점에 이 게시물에는 좋아요 538개와 공유 181회가 붙어 있었다. 41쪽 발표자료를 끝까지 읽는 사람보다 이 글을 읽는 사람이 많다고 보는 편이 자연스럽다.

연구진의 설명 안에서도 강조점이 다르다. 게시물은 이 논문의 초점이 데이터 자체가 아니라 모델의 응답이라고 쓰지만, 발표자료는 데이터셋 '부재'와 모델 '채움'이 겹쳐야 0이 만들어지며 책임은 양쪽에 있다고 정리한다. 독자는 어느 쪽을 연구진의 결론으로 읽어야 하는지 알기 어렵다.

'증폭시킬 위험이 있는가'와 '어떻게 증폭시키는가'는 다르다. 후자는 증폭이라는 현상이 이미 확인됐고, 이제 그 작동 방식을 설명하겠다는 인상을 준다.

위험을 경고하려면 피해가 현실화될 때까지 기다려야 한다는 뜻이 아니다. 위험 가설로 경고하면 된다. 아직 측정하지 않은 결과를 이미 관찰한 결과와 구별하는 것은 경고를 약하게 만드는 일이 아니다. 경고를 믿을 수 있게 만드는 일이다.

소속은 증거를 대신하지 않는다

필자가 10월 21일 확인한 연구실 공식 페이지에는 논문을 10월 13일 arXiv에 등록했고 21일 공개될 것으로 보이며, 공개되는 대로 PDF를 공유하겠다는 안내가 있다. 같은 날 밤 arXiv에서 제목으로 검색했을 때 논문은 아직 조회되지 않았다.

연구진이 공개한 깃허브 저장소에는 표본으로 쓴 페르소나 1만 개와 1000개의 식별자 목록, 그 목록의 SHA-256 해시값, 페르소나를 모델에 부여한 시스템 메시지 템플릿이 올라와 있다. 입력은 누구나 다시 만들 수 있다는 뜻이다. 반면 설문 문항 전체, 모델이 문항마다 먼저 쓴 응답 이유, 응답 원자료, 분석 코드는 저장소에 없다. 문항 상세는 아직 공개되지 않은 논문의 보충 표로 미뤄져 있다. 앞서 제기한 질문, 즉 서술형 정보가 답을 어느 쪽으로 끌었는지는 모델이 쓴 이유를 읽어야 확인할 수 있는데, 그 자료가 지금은 없다. 이 글의 검토가 원논문과 원자료를 재분석한 결과가 아니라 공개 발표자료와 홍보 문구를 대상으로 한다는 점도 분명히 해 둔다.

학술지 심사 전에 연구를 소개했다는 이유만으로 잘못이라고 할 수는 없다. 반대로 심사를 통과했다고 모든 해석이 옳아지는 것도 아니다. 중요한 것은 독자가 접하는 주장의 강도에 맞는 근거와 한계가 함께 제공되는가다.

서울대 교수라는 직함이 붙은 설명을 독자는 신뢰할 수 있다. 그 신뢰 자체를 독자의 잘못으로 돌릴 수는 없다. 그래서 발신자의 책임이 더 중요하다. 연구자의 해석이 연구로 확인된 사실처럼 받아들여지지 않도록 경계를 알려야 한다.

소속은 누가 연구했는지 알려준다. 어떤 인과관계가 입증됐는지는 알려주지 않는다. 필자의 이름 뒤에 붙은 소속에도 같은 기준이 적용된다.

연구진에게 필요한 것은 원문과 검증 자료를 제시하고, 관찰한 결과와 원인에 관한 설명, 현실의 위험 예측을 나누어 답하는 일이다. 언론에도 같은 질문이 필요하다. 무엇이 나왔는지만 물을 것이 아니라, 그 결과로 어디까지 말할 수 있는지 물어야 한다.

이 과정에서 표현이 과도했다면 보완 설명은 원문 안에만 남아서는 안 된다. 처음 주장이 전달된 기사와 게시물에서도 독자가 볼 수 있어야 한다. 제목으로 전달한 확신을 독자가 논문 속 한계 항목을 찾아 읽어야만 수정할 수 있게 해서는 곤란하다.

정리하면 이렇다. 이 연구의 결과는 페르소나 기반 AI 응답을 실제 사람의 대체재로 삼는 일에 경고를 보낸다. 그 경고는 검토할 가치가 있다. 그러나 그 결과만으로 LLM 일반의 작동 원인과 현실의 불평등 증폭까지 입증했다고 받아들여서는 안 된다.

AI 기업의 성능 홍보가 실험 조건을 지우고 결론을 키운다면 비판해야 한다. AI를 비판하는 연구의 홍보가 같은 일을 해도 기준은 달라지지 않는다. 소수자를 보호한다는 목적이 증거의 빈칸을 대신 채워주지는 않는다.

AI가 근거 없는 답을 내놓지 못하게 하자는 데 동의한다. 연구를 설명하는 사람에게도 같은 기준을 요구해야 한다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.