“AI 통해 세상을 전환하는 AX에서 ‘안전’은 중요한 요소이다. 인공지능안전연구소가 세르파처럼 안전 가이드 역할을 하겠다”
김명주 인공지능안전연구소 소장은 9월30일 AI페스타 2025와 연계해 열린 사이버 보안 컨퍼런스-기술 트렌드 세션에서 ‘AI 안전 생태계’를 주제로 한 발표를 통해 ‘안전’과 ‘신뢰‘을 강조했다.
김명주 소장은 “안전은 안보와 같이 움직이는 주제인 것 같다. 특히 사회적 혁신 중 하나인 AI에서 더 그렇다고 생각한다”라며 “지금 어떤 일을 하고 있는데 거기에 AI가 도입되면 내 일에도 안전문제가 더 늘어나지 않을까 불안하게 된다. (AI) 영향을 받는 사람 입장에서 이러한 신뢰성이 해결되지 않으면 열심히 개발해도 사업자나 이용자가 거부할 수 있다”고 지적했다.
‘인류는 AI를 활용해 역사상 가장 큰 예택을 누릴 것이지만, AI로 인한 부작용과 역기능을 처리하기 위해 받은 혜택의 2배를 쏟아 부어야 할 것이다’
‘AI로 인한 일자리 대재안에 대한 걱정보다 더 심각한 것은 강력한 AI 시스템에 대한 악의적 사용자의 접근(악용)을 제한하는 것이다’
‘사람들이 가까운 미래에 AI에게 실제 업무를 맡길 가능성은 크지 않다. 지금의 AI는 신뢰성에 문제가 있기 때문이다’
김 소장은 노벨상 수상자의 발언을 예를 들며 “이러한 예측을 하는 가장 큰 이유는 AI 신뢰성에 문제가 있다는 것이다. 정부도 그렇고 전세계적으로 AI 붐업을 일으키려 열심히 노력하고 있는데 모든 애플리케이션이 AI를 열심히 수용해서 기존보다 훨씬 높은 효과를 나타내야 하는 상화에 경고를 하는 것”이라고 말했다.
그는 “소프트웨어 개발에서 보안, 안전, 소프트웨어가 일상에 퍼졌을 때 예상치 못한 (사회적)부작용 등의 3S(Security, Safety, Soundness)를 이야기한다. AI도 똑같은 소프트웨어인데 만들라는 발주했던 사람이 아닌 사업자든 이용자든 AI에 관심 있는 사람들이 묵시적 합의로 발전시켜 왔다”며 “이 상태에서 Soundness 대신 믿을 수 있을까(Trustworthiness)가 들어왔고, 신뢰성이라는 표현을 쓰기 시작했고 국가가 나서기 시작했다”고 말했다.
이어 “나라마다 신뢰성 문제를 해결해야 하고, 앞서 말했던 보안 문제, 그다음에 안전성, 역기능 문제 등도 해결하기 위해 노력하고 있다. AI 역사에서 두 번의 겨울을 맞이했고, 세 번째 여름을 지나고 있는데 거버넌스 논의를 안하고 기술로만 치고 나가면 결국 우리가 예상하지도 않은 더 빨리 세 번째 겨울이 올 것”이라고 지적했다.
김 소장은 “우리나라법에도 인공지능안전에 대해 정리를 해놨고, 연구소가 해야할 일도 나열돼 있다. 이 법이 내년 1월 시행되는데 인공지능안전연구소도 합법적인 연구소가 된다”라며 “AI를 통해서 세상을 전환시킬 때 AX를 이야기하는데 ‘안전’은 굉장히 중요한 요소이다. 그래서 안전연구소는 세르파, 안전을 책임지는 현지인과 같은 역할을 해야겠다고 생각하고 있다”고 말했다.
