"판결문 초안은 AI에 넣지 마"…법원 인공지능연구회

"헌법적 가치 우선하는 AI 도입해야" - 대법관 이숙연의 시대적 요청

법원 인공지능연구회가 2025년 2월 발표한 '사법에서의 인공지능 활용에 관한 가이드라인'은 급속하게 발전하는 생성형 AI 기술 환경에서 사법부가 나아가야 할 방향을 제시했다. 이 가이드라인은 2022년 11월 ChatGPT 3.5 출시 이후 생성형 인공지능의 충격이 채 가시기도 전에 2025년 2월 출현한 중국의 DeepSeek 등 새로운 인공지능 기술에 대응하기 위해 마련되었다. 법관들의 현실적이고 심도 있는 연구에 기초한 이 가이드라인은 인공지능이 사법부와 재판에 미치는 영향에 대한 근본적 철학과 실천적 방향성을 제시한다.

가이드라인 서문에서 대법관 이숙연은 "인공지능 기술의 효율성과 범용성에 따른 시대적 변화의 큰 물결은 사법부도 피해갈 수 없다"며 "사법부의 행정시스템뿐만 아니라 재판시스템에 대한 인공지능 기술의 도입과 적용은 시대적 요청"이라고 강조했다. 특히 인공지능이 재판의 실체적 쟁점이 되기도 하고 새로운 소송절차 정립을 요청하기도 하므로, 사법부의 선제적 연구와 대응이 필요하다는 점을 언급했다.

"AI는 실수한다" - 챗GPT, 동일 질문에 정반대 답변 내놓은 실험 결과 공개

가이드라인은 인공지능의 강력함과 동시에 그 한계와 위험성을 분명히 지적하고 있다. 현재 법관이나 법조인이 수행하는 것과 같은 수준으로 사실을 인정하고 법리를 검토할 수 있는 인공지능은 없다는 점을 명확히 했다. 또한 대형 언어모델의 결과물이 전혀 존재하지 않는 내용을 만들어내는 '환각 현상', 훈련 데이터의 오류와 편견을 반영하는 '편향성' 문제, 그리고 딥페이크 생성 위험 등을 구체적으로 설명하고 있다.

특히 주목할 부분은 프롬프트에 따라 결과물이 완전히 달라질 수 있다는 점을 실제 사례로 보여주고 있다는 것이다. ChatGPT 4o 모델을 사용한 실험에서 동일한 임대차보증금 관련 질문에 대해, 질문 방식만 약간 변경했을 때 정반대의 답변이 나온 사례를 제시하며 인공지능의 불안정성을 경고했다.

"AI는 법관 판단의 도구일 뿐" - 헌법상 재판청구권 보호 위한 7가지 원칙 수립

가이드라인은 사법부가 인공지능을 개발하고 도입할 때 지켜야 할 여러 원칙을 제시했다. 그 중 가장 핵심적인 원칙은 '기본권 및 헌법적 가치의 보장 원칙'으로, 인공지능이 국민의 기본권을 침해하지 않고 오히려 증진하는 방향으로 도입되어야 함을 강조했다. 특히 법관에 의한 재판을 받을 권리(헌법 제27조 제1항)와, 법관의 독립성(헌법 제103조)이 제약되지 않도록 유의해야 한다고 지적했다.

이외에도 '신뢰성의 원칙', '합법성의 원칙', '책임성의 원칙', '투명성의 원칙', '미래지향성의 원칙' 등이 제시되었다. 가이드라인은 인공지능 시스템의 정확성 담보와 편향성 최소화, 법질서와의 조화, 사용자인 법관의 결과물 검증 가능성 확보, 시스템에 관한 정보의 투명한 공개, 그리고 법적·사회적 변화를 반영할 수 있는 개방적 설계의 중요성을 강조했다.

"판결문 초안은 AI에 넣지 마세요" - 법관 개인정보 보호 구체적 지침 마련

법관이 인공지능을 활용할 때도 헌법적 가치와 기본권 보장, 신뢰성 확보, 개인정보 보호 등의 원칙이 적용되어야 한다. 가이드라인은 법관이 인공지능 결과물을 비판적으로 평가하고, 인공지능의 편향성과 환각 현상 등에 관한 기본적 이해를 갖출 필요가 있다고 강조했다.

특히 상용 인공지능 활용 시 개인정보와 기밀 보호에 관한 구체적인 지침을 제시했다. 법관은 상용 인공지능 도구에 개인정보, 사건의 구체적 내용, 영업비밀, 사건 관계인의 사생활에 관한 내용, 판결문 초안 등을 입력하지 않도록 유의해야 한다. 또한 사법부 공식 메일을 사용하여 상용 인공지능에 가입하거나 계정 정보에 직업을 법관으로 표시하는 것도 자제할 필요가 있다고 지적했다.

"AI로 만든 증거, 딥페이크 위험 대응책" - 소송당사자의 AI 사용 고지 의무화 검토

가이드라인은 소송당사자가 인공지능을 활용해 소송자료를 제출하는 경우에 대한 법원의 대응방안도 제시했다. 법원은 소송당사자가 제출한 서면이나 증거가 인공지능을 사용하여 작성되었다고 의심되는 경우, 해당 자료가 인공지능을 사용하여 작성·제작된 것인지 여부를 밝히도록 요구할 수 있다.

특히 딥페이크 기술을 이용한 증거 제출 문제에 대해 심도 있게 다루었다. 딥페이크 기술로 인해 법관은 증거의 가치를 판단하기 어려워지고, 이는 실체적 진실을 추구하는 사법작용에 장애를 초래할 우려가 있다는 점을 지적했다. 또한 소송당사자가 소송자료나 증거자료에 인공지능 사용 여부를 밝히도록 하는 소송규칙 개정도 고려할 수 있다고 제안했다.

FAQ

Q: 법관이 상용 인공지능을 활용할 때 가장 주의해야 할 점은 무엇인가요?

A: 법관은 상용 인공지능 도구에 개인정보, 사건의 구체적 내용, 영업비밀, 사건 관계인의 사생활에 관한 내용, 판결문 초안 등을 입력하지 않아야 합니다. 또한 인공지능 결과물을 맹신하지 않고 비판적으로 평가하며, 인공지능의 편향성과 환각 현상에 대한 기본적 이해를 갖추어야 합니다.

Q: 소송당사자가 인공지능으로 작성한 자료를 제출했을 때 법원은 어떻게 대응해야 하나요?

A: 법원은 해당 자료가 인공지능을 사용하여 작성되었는지 밝히도록 요구할 수 있으며, 확인된 경우 사용된 인공지능 도구, 입력된 프롬프트, 결과물 검증을 위해 취한 조치 등을 구체적으로 밝히도록 소송지휘할 수 있습니다. 또한 인공지능 생성 자료의 부정확성과 편향성을 고려하여 자료를 검토해야 합니다.

Q: 딥페이크 증거로 인한 문제를 어떻게 해결할 수 있나요?