'안전한 AI 사용' 외친 美 빅테크, 제품 보안 강화 총력

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [김미정의 SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [김미정의 SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 이야기를 맛있게 보도하겠습니다. [편집자주]

미국 빅테크가 생성형 인공지능(AI) 기능 보안성을 한층 더 강화했다. 생성형 AI가 다양한 산업에 도입되면서 환각 현상을 비롯한 데이터 유출, 신원 도용, 해킹 등 위험 사례를 최소화하기 위해서다.

20일 미국 외신 사이버시큐리티 다이브 보도에 따르면, 연 매출 1억 달러(약 1천350억원) 이상에 해당하는 기업 경영진 다수가 "AI 애플리케이션 복잡성으로 취약점이 확대됐다"며 "사내 사이버 보안 태세가 약해졌다"고 밝혔다.

이에 아마존웹서비스(AWS)를 비롯한 미국 빅테크는 사용자 명령어에 대한 이해도를 높여 환각 현상을 줄이고, 보안 업그레이드로 사이버 공격과 데이터 유출 차단 줄이기에 나선 분위기다.

AWS "생성형 AI 결과에 신뢰성 점수 매긴다"

AWS는 생성형 AI 애플리케이션 관리·개발 플랫폼 '아마존베드록' 보안 기능을 맡는 가드레일을 업그레이드했다.

생성형 AI가 사용자 프롬프트 문맥 이해도를 높여 기존보다 더 정확한 답변을 낼 수 있게 돕는 '문맥 그라운딩 체크' 기능을 새로 탑재했다.

문맥 그라운딩 체크 기능 특장점은 객관적 수치를 통한 답변 필터링이다. 아마존베드록이 생성물에 신뢰성·정확성 점수를 자체적으로 매김으로써 답변 품질을 평가하는 식이다.

점수 매기는 기준은 문맥에 따라 다르다. 다만 공통으로 답변에 핵심 참조 내용이 포함됐는지, 질의 내용과 답변이 통일성 있는지, 답변과 질문 관련성이 얼마나 높은지를 측정한다.

AWS코리아 김선수 AI·ML사업개발 매니저는 "점수 매기는 작업은 AWS 노하우를 통해 이뤄진다"고 설명했다. 이어 "답변에 AWS가 지정한 필수 출처 내용이 답변에 없으면 이를 사용자에게 제공하지 않는다"며 "답변 품질 점수가 평균보다 낮을 때도 이를 내놓지 않는다"고 강조했다.

마이크로소프트 "생성형 AI 보안도 AI로 지킨다"

마이크로소프트는 '코파일럿'과 보안 제품을 통합해 일반 솔루션뿐 아니라 AI 기반 제품 보호에 나섰다.

가장 대표적인 AI 보안 솔루션은 '마이크로소프트 코파일럿 포 시큐리티'다. 코파일럿 포 시큐리티는 약 78조개 넘는 보안 신호와 대규모 데이터, 위협 인텔리전스를 거대언어모델(LLM)과 결합해 인사이트를 제공할 수 있다. 이를 통해 사용 조직은 생성형 AI 솔루션 외부 위협을 신속히 감지하고 대응할 수 있다.

마이크로소프트는 생성형 AI 사용 중 발생할 수 있는 정보 유출 방지 솔루션도 운영하고 있다. 프리뷰로 제공되는 '코파일럿 인 마이크로소프트 엔트라 유저 리스크 인베스티게이션'은 마이크로소프트 엔트라에 탑재됐다.

이 솔루션은 사용자 개인정보 유출을 막고, 보안 위협이 발생했을 때 빠르게 대처 가능하도록 지원한다. 특히 사용자 위험을 파악해 적절한 가이드를 제공하고, 향후 발생할 수 있는 위협을 예측해 해결법을 제시할 수 있다.