생성형 AI가 불러온 4가지 위험...기업들의 고민 깊어진다

사이버 보안 투자 급증: 기업 73% "생성형 AI로 투자 확대"

딜로이트(Deloitte)의 '생성형 AI 시대의 엔지니어링' 시리즈 최신 보고서에 따르면, 기업들이 직면한 생성형 AI의 위험은 크게 4가지로 분류된다. 기업 운영과 데이터에 대한 위험, 생성형 AI 기능 자체의 위험, 적대적 AI로 인한 위험, 시장 관련 위험이 그것이다. (☞ 보고서 바로가기)

특히 설문 참여 기업의 77%가 이러한 위험들에 대해 "상당한 수준의 우려"를 표명했으며, 73%는 생성형 AI 프로그램으로 인한 사이버 보안 투자 확대를 계획하고 있다. 미국 기업의 59%는 이미 지난 12개월 동안 사이버 보안 역량 강화에 투자했다.

무단 AI 사용이 부른 재앙: 삼성 사례로 본 데이터 유출 위험

생성형 AI가 기업 데이터 보안에 미치는 영향이 심각한 것으로 나타났다. 사이버헤이븐 랩스(Cyberhaven Labs)의 2024년 보고서는 대부분의 직원들이 개인 계정으로 생성형 AI 도구를 무단 사용하고 있다고 지적했다.

실제로 삼성(Samsung)은 직원들이 공개 프롬프트에 민감한 데이터를 실수로 노출한 사건 이후 생성형 AI 도구 사용을 전면 금지했다. 팔로 알토 네트웍스(Palo Alto Networks)는 AI 생성 코드가 보안 전문가들의 최우선 우려사항이라고 밝혔다.

프롬프트 인젝션에서 환각까지: AI 모델의 치명적 결함

오픈 월드와이드 애플리케이션 보안 프로젝트(OWASP)는 프롬프트 인젝션을 대규모 언어 모델(LLM) 애플리케이션의 최대 보안 위협으로 지목했다. 프롬프트 인젝션은 공격자가 AI 시스템을 속여 기밀 데이터를 노출시키거나 악의적인 행동을 유도하는 새로운 공격 기법이다. 또한 환각(hallucination) 현상은 그럴듯해 보이지만 사실과 다른 결과를 생성해 잘못된 의사결정과 평판 손상을 초래할 수 있다.

다크웹의 AI 위협: 80만 건 이상의 악용 사례 발견

IBM의 2024년 X-Force 위협 인텔리전스 인덱스는 2023년 다크웹에서 'AI'와 'GPT' 관련 게시물이 80만 건 이상 발견됐다고 보고했다. 딜로이트 금융 서비스 센터는 생성형 AI로 인한 사기 손실액이 2023년 123억 달러에서 2027년까지 400억 달러로 증가할 것으로 예측했다. 이에 대응해 마스터카드는 Decision Intelligence Pro 시스템을 도입해 사기 탐지율을 평균 20% 향상시켰다.

AI 데이터센터의 전력 소비량 급증: 2030년까지 15% 도달 전망

딜로이트의 2025년 전력 산업 조사에 따르면, 데이터 센터의 전력 소비량이 현재 미국 전체 전력 생산량의 6~8%에서 2030년까지 11~15%로 증가할 전망이다. 구글은 이에 대응해 애리조나 메사의 새로운 데이터 센터에 400메가와트 규모의 청정 에너지 시설을 구축하고 있다. 마이크로소프트는 스리마일 섬 원자력 발전소의 전력을 향후 20년간 구매하기로 합의했다.

작은 언어 모델(SLM)로 전환: AI 효율성과 보안성 동시 확보

기업들은 대규모 언어 모델의 위험을 줄이기 위해 작은 언어 모델(SLM) 도입을 확대하고 있다. 세일즈포스는 2023년 70억 개의 매개변수를 가진 XGen-7B를 출시했으며, 구글과 엔비디아도 저지연 SLM을 개발했다. Do Not Train 레지스트리 구축, 디지털 자산 관리, 워터마킹 기술 등 새로운 보안 방식도 도입되고 있다.

AI 방화벽과 입력값 검증: 프롬프트 보안 강화

기업들은 프롬프트 인젝션 공격에 대응하기 위해 입력값 검증과 AI 방화벽 구축을 강화하고 있다. 입력값 검증은 유해 콘텐츠를 제거하거나 중화시키는 전처리 과정을 포함한다. 특히 LLM 애플리케이션에 연결되기 전에 기밀 데이터를 철저히 검증하거나 마스킹하고, 최소 권한 접근 원칙을 적용하여 공격 표면을 줄이는 것이 중요하다.

또한 규칙 기반 솔루션에 의존하는 대신 AI 방화벽을 구현하여 모델에 출입하는 데이터를 모니터링하고 위협을 더 잘 탐지할 수 있다. 프롬프트 실드와 같은 도구가 숨겨진 지시를 탐지하는 데 도움이 될 수 있지만, 생성된 출력을 판단하고 승인하는 데는 여전히 인간의 감독이 필수적이다.

데이터센터의 혁신: AI 팩토리로의 전환

미국에서는 2023년 5월부터 7월까지 2.1기가와트의 새로운 데이터센터 임대가 체결되었다. 아마존은 두 개의 데이터센터 단지에 100억 달러를 투자하고 있으며, 15개의 글로벌 통신 회사들이 AI 데이터센터 또는 'AI 팩토리'를 구축하고 있다.

특히 메타는 대규모 생성형 AI 워크로드를 지원하기 위해 통합 시스템 설계를 통해 자체 AI 팩토리를 구축했다. 냉각 요구사항이 데이터센터 에너지 소비의 최대 40%를 차지할 수 있어, 많은 기업들이 열을 발생시키는 구성 요소에 직접 냉각수를 순환시키는 액체 냉각 시스템을 도입하고 있다.

엣지 컴퓨팅과 우주 통신망: 미래형 AI 인프라 구축

기업들은 엣지 컴퓨팅을 통해 중앙 전력망 의존도를 낮추고 있다. 플렉센셜의 2024년 AI 인프라 보고서에 따르면, 응답 기업의 51%가 엣지 처리용 코로케이션 센터를 이용하고 있다. 일본 NTT는 위성 네트워크를 통한 효율적인 데이터 처리와 저장을 위해 광학 기술을 연구 중이다.

4대 위험 대응을 위한 기업의 포괄적 접근 필요