"국가가 인공지능(AI) 사회로 전환하겠다고 했는데 국민에게 새로운 고민이 생겨도 논의할 곳이 없다면 안 됩니다."
김명주 AI안전연구소장은 오는 27일 개소 2주년을 앞두고 19일 진행한 지디넷코리아 인터뷰에서 국민이 체감할 수 있는 AI 안전 대응 체계를 강조했다. 지난 2년간 서비스 출시 전 위험을 평가할 기반을 마련했다면 앞으로는 일상에서 발생하는 피해를 접수하고 원인을 밝혀 재발을 막는 역할까지 강화해야 한다는 설명이다.
2024년 11월 27일 문을 연 연구소는 AI 위험을 평가하고 예방 기술과 정책을 연구해왔다. 현재는 국내 기업이 함께 사용할 안전 평가시설과 국민이 위험 사례를 제보할 포털을 추진하고 있다.
김 소장이 국민 피해 대응을 강조한 배경에는 AI가 답변을 넘어 행동까지 맡기 시작한 변화가 있다. AI 에이전트는 프로그램을 실행하거나 외부 서비스에 접속해 작업을 처리한다. 잘못된 판단이 파일 삭제나 결제로 이어지면 피해가 대화창 밖으로 번질 수 있다.
김 소장은 지금 나타나는 AI 위험이 시작에 불과하다고 진단했다. 사람이 AI를 악용하는 문제에 더해 AI가 스스로 일을 처리하다 다른 사람에게 피해를 주는 상황까지 대비해야 한다고 경고했다.
그는 "AI가 직접 일을 처리하기 시작하면 잘못된 행동에 따른 피해가 사용자에게만 머물지 않는다"며 "AI를 쓰지 않은 사람도 다른 사람이 맡긴 작업 때문에 피해를 입을 수 있다"고 설명했다.
AI 쓰는 사람 따로, 피해자 따로…위험은 대화창 밖으로
김 소장은 19일 치러진 대학수학능력시험을 둘러싼 부정행위 우려를 예로 들었다. 일부 응시자가 AI로 몰래 답을 얻으면 정직하게 시험을 치른 수험생이 불이익을 받을 수 있다는 설명이다.
그는 일반 안경과 구별하기 어려운 AI 안경이 시험 감독을 어렵게 만든다고 봤다. 카메라와 통신 기능이 다른 기기에도 결합할 수 있어 알려진 제품만 찾아내서는 부정행위를 막기 어렵다는 지적이다.
김 소장은 "기술이 계속 발전하고 생각하지 못했던 기술들이 서로 결합한다"며 "계속 뒤쫓기만 하면 사후약방문이고 그사이 불공정을 통해 기회를 얻는 사람과 피해를 보는 사람이 생긴다"고 말했다.
김 소장은 사람이 악용할 의도가 없어도 AI가 작업을 수행하는 과정에서 피해가 발생할 수 있다고 경고했다. 특히 에이전트가 사용자 예상보다 넓은 권한을 갖고 확인 없이 작업을 이어가는 상황을 경계했다. 접근할 정보와 실행할 작업 범위를 미리 정해야 한다는 설명이다.
그는 "AI가 실수해도 쉽게 고칠 수 있는 일과 한 번 실행하면 되돌리기 어려운 일을 구분해야 한다"며 "중요한 파일을 지우거나 돈을 쓰는 일은 AI가 실행하기 전에 사람이 확인하고 승인해야 한다"고 강조했다.
김 소장은 작업 중인 AI를 감시할 별도 AI도 필요하다고 봤다. 에이전트가 여러 프로그램을 오가며 수행하는 작업을 사람이 일일이 지켜보기는 어렵기 때문이다. 사고 원인을 밝힐 수 있도록 작업 기록도 남겨야 한다고 주문했다.
그는 "이전에는 AI 답변을 평가하는 AI가 필요했다면 이제는 행동을 모니터링하는 AI도 필요하다"며 "사고가 발생했을 때는 왜 그런 행동을 했는지 추적할 수 있어야 한다"고 설명했다.
한국 AI안전연구소 개소 2년, 사고 뒤 대응에서 출시 전 평가로
김 소장은 연구소 출범 이후 성과로 AI를 실제 서비스에 투입하기 전 위험을 살필 역량을 쌓은 점을 꼽았다. 사고가 발생한 뒤 수습하는 데서 나아가 취약점을 먼저 찾고 개선할 기회를 마련했다는 평가다.
그에 따르면 연구소는 독자 AI 파운데이션 모델 사업 안전 평가를 수행하고 카카오와 국회에서 AI를 활용하기 전 사전 평가에도 참여했다. 싱가포르 연구기관과는 에이전트 안전성 평가를 공동 연구했다.
국내 평가에서는 한국어와 사용 환경을 살피는 일이 중요하다. 같은 AI라도 영어와 한국어로 질문했을 때 안전성 평가 결과가 달라질 수 있기 때문이다. 해외에서 받은 점수만으로 국내 이용 환경까지 판단하기 어렵다는 설명이다.
연구소는 국내 평가 결과를 해외에서도 활용할 수 있도록 주요국과 평가 기준과 방법을 맞춰갈 계획이다. 기업이 국가마다 비슷한 평가를 반복하는 부담을 줄이려는 구상이다.
김 소장은 "국내 평가가 기업에 부담을 하나 더 얹어서는 안 된다"며 "한국에서 평가받은 결과가 해외에서도 인정받을 수 있도록 하는 게 목표"라고 밝혔다.
평가 방식도 바뀌고 있다. 정해진 질문에 AI가 어떻게 답하는지만 살펴서는 에이전트가 실제로 어떤 행동을 할지 알기 어렵다. 김 소장은 가상환경에서 AI가 여러 도구를 사용해 작업을 끝내는 과정까지 관찰해야 한다고 설명했다.
사이버 공격 위험 평가가 대표 사례다. 개별 보안 문제를 풀게 하는 데서 나아가 AI가 취약점을 찾고 시스템에 접근해 목표에 도달하는 과정을 시험해야 한다. 작업이 길어지고 AI를 반복해서 실행해야 하는 만큼 평가에 필요한 연산 자원과 비용도 늘어난다.
김 소장은 이러한 평가를 맡을 인재와 민간 전문기업도 키워야 한다고 강조했다. 위험한 화학물질 제조를 돕는 AI와 청소년 중독을 유발하는 AI를 평가하려면 서로 다른 전문성이 필요하다는 이유다.
그는 "모든 안전 평가를 안전연구소가 할 수는 없다"며 "전문기업이 분야별 평가를 맡고 연구소는 이들이 글로벌 수준으로 성장하도록 돕는 역할을 해야 한다"고 말했다.
AI 사고, 원인 밝히고 피해자 도울 준비는
김 소장은 앞으로 풀어야 할 과제로 '모델 접근권' 확보를 꼽았다. 개발사가 새로운 AI를 출시하기 전에 연구소가 안전성을 평가할 수 있어야 한다는 취지다. 평가 기술을 갖춰도 개발사가 접근을 허용하지 않으면 충분히 검증하기 어렵기 때문이다.
그는 "평가하고 싶다고 해서 기업이 와서 평가하라고 하지는 않는다"며 "평가 역량을 높이는 동시에 외교와 제도를 통해 접근권을 확보해야 한다"고 강조했다.
연구소는 국내 기업이 함께 쓸 차폐형 평가시설 구축도 정부에 요청했다. 외부 네트워크와 분리한 환경에서 AI를 시험하면 평가 중 문제가 생겨도 다른 시스템으로 피해가 번지는 상황을 막을 수 있다. 연구소는 이곳에 AI 구동 장비와 평가 도구를 갖춰 기업에 제공할 구상이다.
김 소장은 연구소가 출시를 허가하거나 중단시키는 기관은 아니라는 점도 분명히 했다. 연구소는 위험을 평가해 근거를 제공하고, 기업과 정부는 이를 토대로 출시 여부나 기능 제한을 판단한다는 설명이다.
그는 "개발 속도에 걸맞은 안전 시스템을 갖췄는지 확인해야 한다"며 "안전 평가 결과를 바탕으로 출시할 수 있는지, 위험한 기능을 제한해야 하는지 판단해야 한다"고 밝혔다.
사고 이후 대응에는 AI가 받은 지시와 수행한 작업을 남긴 기록인 '로그'가 필요하다. 김 소장은 사용자 지시가 문제였는지, AI가 잘못 판단했는지 밝히려면 이 기록을 확보해야 한다고 강조했다. 해외에서 발생한 사고라도 국내 이용자에게 피해가 미친다면 관련 정보를 전달받고 조사할 수 있도록 신고·협조 절차를 마련하자는 제안이다.
연구소는 국민 피해를 접수할 창구로 이르면 내년 초 AI 안전 포털을 열 계획이다. 이용자가 위험 사례를 제보하면 필요한 정보를 제공하거나 담당 기관으로 연결하는 역할을 맡는다.
국민 참여형 점검도 확대하고 있다. 과학기술정보통신부와 연구소가 지난 12일 출범한 'AI 안전 지킴이'에는 80명이 참여한다. 이들이 AI 오류와 위험 사례를 제보하면 연구소가 검증한 뒤 평가와 연구에 활용하고 관련 기업에도 공유한다.
관련기사
- 프런티어 AI, 규제 틀 안으로…안전관리 의무화 확산2026.11.14
- [AI는 지금] "결정은 사람이, 맥락은 AI가"… 오픈AI, 행동지침 개편2026.10.30
- 위험성 알려줘도 공격 지속…영국 AI보안연구소가 밝힌 AI 안전 허점2026.10.25
- "우리 아이들은 실험용 쥐가 아니다"…AI 활용의 덫2026.10.16
김 소장은 대응 우선순위를 정할 때 국민이 일상에서 겪는 어려움도 살펴야 한다고 당부했다. 국가에는 대규모 사이버 공격이 시급한 문제지만, 개인에게는 자녀의 AI 중독이나 채용 과정에서 겪는 차별이 더 절박할 수 있다는 설명이다.
그는 "국민이 불편을 겪거나 피해를 당했을 때 즉각 대응할 수 있는 시스템을 만드는 일이 급선무"라고 강조했다.








