모질라, MDN의 대화형 AI 서비스 일시 중단

잘못된 기술 답변으로 사용자 비판 거세

모질라가 개발자 사이트에 적용했던 대규모언어모델(LLM) 기반 대화형 AI 서비스를 시행 일주일만에 일시 중단했다. AI가 잘못된 답변을 제공해 인터넷 상의 웹 기술 문서 세계를 오염시킨다는 피드백 때문이다. 단, 생성 AI로 기술 문서를 제공한다는 기본 방향은 유지했다.

6일(현지시간) 더레지스터에 따르면, 모질라는 '모질라개발자네트워크(MDN)'에 적용한 'AI 익스플레인' 버튼을 일시적으로 비활성화한다고 발표했다.

스티브 테제이라 모질라 최고체품책임자는 이날 블로그에서 "생성 AI 기술은 생산성에 큰 도움을 줄뿐 아니라, 확신에 찬 잘못된 정보 공급자기도 하다"며 "이 도구는 아직 초기 단계기 때문에 쿼리에 잘못된 정보를 제공하는 경우가 있으며, AI 헬프와 AI 익스플레인의 제공 답변 품질과 유용성을 높이도록 사례를 식별하고 수정하려 노력중"이라고 설명했다.

MDN의 AI 헬프 기능

그는 "또한 사람들이 잘못된 답변을 쉽게 표시할 수 있도록 해 조사팀에 문제를 보낼 계획"이라며 "AI 익스플레인의 경우 조사를 완료하고 관찰된 문제에 고품질 수정조치를 취할 때까지 접근 방식에 신중을 기하기로 했으며, AI 익스플레인 도구를 일시적으로 제거했다"고 밝혔다.

MDN은 모질라에서 운영하는 개발자 문서 저장소다. MDN은 자바스크립트, HTML, CSS 등 웹 기술 관련 문서를 2005년부터 제공해왔다. 문서는 모질라를 비롯해 자원봉사자의 기여로 제공되며 마이크로소프트, 구글 등도 문서를 올린다. 2017년 삼성전자가 웹문서 프로젝트를 종료한 후 삼성의 모든 문서도 호스팅하고 있다.

모질라는 지난주 MDN에 오픈AI의 GPT-3.6 모델을 적용한 대화형 AI 서비스 'AI 헬프'와 'AI 익스플레인'을 선보였다.

이 AI 서비스는 다양한 웹 기술 참조문서를 사용자 질의에 생성 AI로 재작성해 제공한다. AI 헬프는 대화형 인터페이스로 질문하면 상황별 도움말을 간결한 답변으로 제공한다. AI 모델은 MDN 콘텐츠만으로 정보를 학습해 제공한다. AI 익스플레인은 MDN 문서의 코드 블록과 예제에 대한 질문에 설명을 제공한다.

MDN AI 헬프에 대한 사용자 피드백(위)과 AI 익스플레인에 대한 피드백

모질라는 AI 헬프의 피드백에서 대다수 사용자가 긍정적 피드백을 보였다고 밝혔다. AI 헬프의 '좋아요'는 120개(75.88%)이며, '싫어요'는 41개(24.12%)였다. 반면, AI 익스플레인의 피드백은 '좋아요' 1천17개(68.9%), '싫어요' 459개(31.1%)로 더 부정적 반응을 받았다.

모질라 측은 AI 익스플레인에서 발견된 잘못된 답변의 예를 제시하며 피드백을 일정부분 수용하는 입장을 보였다. 단, AI 헬프에 대해선 긍정적 피드백을 통해 계속 유지하며 개선해나가기로 결정했다.

사용자들은 AI 익스플레인의 잘못된 답변을 수정할 수 있는 절차가 업으며, LLM이 설득력있는 거짓말을 생성할 수 있다는 점을 고려하지 않고 개발, 배포됐다고 비판했다.

좋아요 통계가 AI로 잘못된 답변을 제공해도 된다는 판단의 근거일 수 없다는 게 비판자들의 입장이다.

모질라가 공유한 AI 익스플레인의 답변 오류 예시

모질라는 생성 AI를 도입하려는 기존 입장을 유지한다는 계획이다. 잘못된 정보를 제공하는 경우를 식별하고 개선하는데 집중한다는 것이다. 오답을 표시하고 보고하는 옵션도 개선하겠다고 밝혔다.

테제이라는 "AI 헬프와 AI 익스플레인의 출시와 일부 서비스 중단 결정을 다루는 사후 보고서를 수일 내 제공하겠다"고 약속했다.

그는 "LLM을 사용해 참조 문서와 상호작용하는 것은 유용하고 효율적"이라며 "MDN의 제한된 사용 사례를 훨씬 뛰어넘는 인간과 컴퓨터 간 상호작용 분야의 새로운 도전으로 보고 있다"고 밝혔다.

MDN 사용자들은 생성 AI 통합에 계속 반대 입장을 제기하고 있다. 한 개발자는 "해결책은 LLM을 더 좋게 만드는 게 아니며, 실질적 문제를 해결할 수 없다"며 "본질적으로 품질을 희생시키면서 비용을 절감하고 숙련된 인력을 대체하려는 시도"라고 비판했다.

사용자들은 "기술 참조 문서에서 가장 중요한 속성은 정확성이며, 모질라의 결정이 무책임하다"고 비난하고 있다.