오픈소스 AI 잇달아 등장···보안은?

"AI, 정보 모을수록 두 얼굴…LLM방화벽·필터 등으로 점검을"

중국 인공지능(AI) 스타트업이 만든 고성능 AI 제품 ‘딥시크(DeepSeek)’가 미국 오픈AI의 ‘챗GPT’보다 저렴한 비용으로 개발됐다는 소식이 세상을 놀라게 했다. 특히 딥시크는 오픈소스로 공개, 더 화제를 모았다. 오픈소스 소프트웨어는 소스 코드를 공개해 누구나 그 코드를 보고 쓸 수 있는 소프트웨어를 뜻한다.

하지만 딥시크는 정보가 빠져나갈 수 있다는 우려도 함께 낳았다. 미국은 해군이 발빠르게 딥시크를 못 쓰게 막았고, 한국도 국방부·외교부·산업통상자원부·과학기술정보통신부 등과 KB국민은행·하나은행·우리은행·케이뱅크 등 은행, 현대자동차그룹 등 기업이 금지했다. 개인정보위원회는 딥시크 사용을 공식적으로 금지하기도 했다.

국가정보원은 딥시크를 검증했더니 ▲과도하게 개인정보를 수집하고 ▲입력 정보를 학습 정보로 쓰며 ▲광고주와 정보를 공유하는 한편 ▲국외 서버에 저장하는 문제점을 확인했다고 밝혔다.

딥시크의 보안 우려는 오픈소스를 사용했기 때문이기도 하다. 오픈소스를 사용한 AI는 보안에 안전할까? 전문가들은 “딥시크 같은 게 어떤 질문을 받으면 이상하게 답하는지 살펴야 한다”고 조언한다.

어떤 언어로 김치에 대해 물어봤느냐에 따라 '딥시크'가 달리 답했다.(사진=국가정보원)

줄잇는 오픈소스 AI...LG·딥시크·메타·미스트랄 등 잇달아 선보여

오픈소스는 모두에게 열린 자원이므로 이를 활용하면 비교적 저렴한 비용으로 AI 모델을 개발할 수 있다. 중국 딥시크와 미국 메타(페이스북 모회사), 프랑스 미스트랄 등 오픈AI보다 늦게 뛰어든 기업들이 줄줄이 무기를 들고 나올 수 있는 배경이다.

한국도 빠지지 않았다. LG AI연구원은 18일(현지시간) 미국 캘리포니아주 새너제이에서 열린 엔비디아 개발자 콘퍼런스(GTC)에서 ‘엑사원 딥’을 선보이며 오픈소스 플랫폼에 배포했다. 엑사원 딥은 단순한 지식 기반이 아니라 스스로 가설을 세우고 이를 검증하는 방식으로 문제를 푼다.

미국 AI 스타트업 글리터컴퍼니는 최근 메타 ‘라마’ 오픈소스를 쓰기 시작했다. 라마가 무료인 덕에 오픈AI 모델만 쓸 때보다 모델 사용료를 70% 아낀 것으로 알려졌다.

다만 악성 AI ‘웜GPT(WormGPT)’ 같은 것까지 만들 수 있다는 단점이 치명적이다. 웜GPT는 오픈소스로 만들어진 해킹 도구다. 챗봇에게 “이 사이트를 공격하자”거나 “악성 파일을 만들자”고 시킬 수 있다. 기자도 일전에 '보안 초짜기자 해킹 체험기'를 쓰려고 인터넷에서 쉽게 내려받을 수 있었다. 이처럼 누구나 손댈 수 있는 위험물이다.

(그림=이미지투데이)

전문가들 "AI, 정보 모을수록 두 얼굴...보안 취약점이 발견되면 누군가 해킹 도구 만들어 뿌려"

전문가들은 AI가 정보를 모으는 게 양날의 칼이라고 짚었다.

세종사이버대 정보보호학과 교수인 박영호 한국정보보호학회장은 “AI는 정보를 먹을수록 커진다”며 “그만큼 개인정보가 빠져나가는 게 문제”라고 말했다. 내가 유튜브로 언제, 어디서, 무슨 영상을 보는지가 전부 정보라는 얘기다. 알고리즘으로 사용자의 취미나 정치 성향도 알 수 있다.

박영호 한국정보보호학회장(세종사이버대 정보보호학과 교수)이 13일 서울 광진구 세종사이버대 연구실에서 지디넷코리아와 인터뷰하고 있다.(사진=유혜진 기자)

순천향대 정보보호학과 명예교수인 염흥열 한국개인정보보호책임자(CPO)협의회장은 “오픈소스 취약성을 이용해 AI 보안 시스템을 공격하면 AI가 의도된 대로 동작하지 않고 탈옥 등의 방법으로 악성코드나 대규모 살상 무기 등을 만드는 데 악용될 수 있다”며 “AI가 처리하는 개인정보를 빼돌리도록 쓰일 수도 있다”고 분석했다.

윤두식 이로운앤컴퍼니 대표도 “딥시크 같은 게 어떤 질문을 받으면 이상하게 답하는지 살펴야 한다”며 “학습된 개인정보를 추출하거나 편향적인 답변을 유도하고 악성코드나 무기 제조법 등을 만들라고 이끌어 AI가 나쁘게 답변하는지 점검할 수 있다”고 설명했다. 그러면서 “딥시크 사이트 사용자의 개인정보와 그가 입력한 기록 등이 다른 사이트에 퍼지면 개인정보가 유출되는 셈”이라고 덧붙였다. 이로운앤컴퍼니는 AI 보안 수준을 높이는 서비스를 제공하는 회사다.

이희찬 스틸리언 연구소장은 “오픈소스 AI 행위를 예측하기 어려워 취약점을 검증하기도 힘들다”며 “소스 코드가 공개됐더라도 AI 모델이 복잡하다”고 진단했다. 스틸리언은 모바일 앱 보안 솔루션을 공급하는 업체다.

김택완 한국오픈소스협회장은 “애플이 운영체제 ‘iOS’ 보안이 취약하다고 알아채면 개선해 알려준다”며 “오픈소스 모델은 누가 공지하지 않아 사용자가 스스로 ‘새로고침’ 않으면 취약한 옛 모델을 계속 쓸 수밖에 없다”고 지적했다. 또 “보안 취약점이 발견되면 누군가 해킹 도구를 만들어 뿌린다”며 “해커가 이 도구로 10군데 시도하다가 1군데라도 뚫리면 해킹된다”고 지적했다.

검은 화면에 빨간 글씨가 주르륵 늘어졌다.(자료: 웜GPT)

"LLM방화벽·필터 등으로 점검"

전문가들은 ‘내가 무슨 AI 도구의 어떤 버전을 쓰는지’ 스스로 지켜보다가 새로운 버전을 찾으면 고쳐 써야 한다고 입을 모았다. AI를 안전하게 쓸 수 있는 인터넷 환경도 주문했다.

김택완 오픈소스협회장은 “우리는 수많은 소프트웨어를 쓰고 버전도 쏟아지는 만큼 업데이트 우선순위를 정하는 게 좋다”며 “내가 쓰는 소프트웨어가 내게 얼마나 중요한지, 얼마나 자주 쓰는지, 내 시스템을 얼마나 망가뜨리는지 위험도를 생각해야 한다"고 권했다.

이희찬 연구소장은 “오픈소스 AI를 외부에서 접속할 수 없는 내부망에서 활용하거나 AI 안전 수준을 높이는 기술(AI safety)을 적용해야 한다"고 조언했다.

염흥열 한국개인정보보호책임자협의회장이 지난달 서울 강남구에서 지디넷코리아와 인터뷰하고 있다.(사진=유혜진 기자)

염흥열 교수는 “인공지능 시스템을 개발하고 운영하는 조직은 AI 관리 체계를 갖춰야 한다”며 “무엇이 인공지능 시스템을 위협하는지 식별해 꾸준히 감시해야 한다”고 진단했다. 이어 “국제표준(ISO/IEC 42001)에 근거한 인공지능 관리 체계를 제3자 인증기관으로부터 인증받는 것도 방법”이라고 예를 들었다.

윤두식 대표는 ▲사용자 요청과 응답으로 말미암아 민감한 정보를 가려내고 없애는 ‘거대언어모델(LLM) 방화벽’ ▲AI 모델에 전달되는 입력을 미리 점검해 금지된 정보를 막는 ‘프롬프트 필터링(Prompt Filtering)’ ▲모델이 학습할 때 개인정보가 포함되지 않게끔 ‘학습 정보 정제’ ▲생성된 응답을 실시간 살펴봐 부적절한 응답을 막는 ‘LLM 결과 필터링’을 해결책으로 꼽았다.

박영호 교수는 “브레이크가 좋아야 자동차를 안전하고도 빠르게 몰 수 있듯 AI를 활발하게 쓰려면 윤리 의식과 제도가 뒷받침돼야 한다”며 “이미 모든 기기에 사물인터넷(IoT)을 쓰는 만큼 안전 수준도 높여야 한다”고 강조했다.