지속성장 맞춤형 AI 거버넌스 구축 '선택 아닌 필수'

인공지능(AI)이 세상을 삼키고 있다. 일상생활뿐 아니라 첨단 비즈니스 영역까지 뒤흔들고 있다. 특히 챗GPT를 비롯한 생성형 AI는 다양한 산업 분야의 기본 문법을 바꿔놓으면서 새로운 혁신의 밑거름이 되고 있다. 반면, 기업에서는 AI 도입이 경쟁력 강화를 위한 기회라는 점을 알면서도 불확실성을 포함한 위험 요인 때문에 도입을 주저하고 있는 것도 현실이다.

지디넷코리아는 창간 24주년을 맞아 법무법인 세종의 AI센터와 함께 이런 변화를 진단하는 ‘GenAI 시대’ 특별 기획을 마련했다.

이번 기획에서는 기업이 AI 규제에 효과적으로 대응하면서 도입 가능한 AI 거버넌스에 대해 살펴본다. 아울러, 소프트웨어, 통신, 인터넷, 헬스바이오, 유통, 전자, 재계, 자동차, 게임, 블록체인, 금융 등 11개 분야별로 AI가 어떤 변화를 일으키고 있는 지 심층 분석한다. 또 AI 기술 발전과 함께 논의되어야 할 윤리적, 사회적 문제들에 대한 다각적인 논점을 제시해 건강한 AI 생태계 조성에 기여하고자 한다. [편집자주]

A사는 최근 업무 효율성 제고 및 고객 서비스 편의 개선 차원에서 글로벌 B사가 개발한 프라이빗 거대 언어 모델(Large Language Model, LLM)을 활용하여 자사의 데이터를 추가 학습시키는 방식으로 생성형 AI 기반 대화형 검색 서비스를 도입했다. A사는 AI 기반 대화형 검색서비스 도입 과정에서 내부 조직 개편과 최고의 전문성을 지닌 인재 영입 등 과감한 투자를 감행했다.

C사도 경영 혁신을 위해 전체 계열사 업무 전반에 생성형 AI를 도입했다. 전사 차원에서 고객 가치 제고를 위해 생성형 AI를 도입한 만큼 고객 데이터의 통합 관리 시스템을 구축하고, 개인정보 해킹 등 유출 사고로 인한 막대한 경제적, 사회적 손해를 예방하기 위해 개인정보 보호법이 요구하는 전문 개인정보 보호책임자(CPO)도 지정했다.

A사와 C사는 AI를 도입한 다른 대부분의 기업과 마찬가지로 조직 의사결정에 유의미한 영향을 미치는 새로운 디지털 전략으로 AI를 택했다. 과연 A사와 C사는 AI 플랫폼 구축 프로젝트를 성공적으로 수행할 수 있을까?

국내외 기업의 AI 도입 수준은

AI는 금융, 의료, 제조, 교통 등 전 산업 분야를 아우르는 하나의 거대한 트렌드다. 지금의 AI 열풍은 기존 새로운 기술들이 출현했을 때 잠시 반짝 유행하고 잠잠해지는 버블이 아니라는 의견이 대세다. 여러 산업 현장에 적용돼 가시적 성과를 내고 있는 AI 기술은 별도 산업으로 분류될 수 있을 만큼 관련 시장에 실 수요가 증가하고 있기 때문이다.

최근 일반 기업을 중심으로 특정 기업의 비즈니스 요구 사항에 맞게 데이터를 추가 학습할 수 있도록 개발된 AI 솔루션(파운데이션 모델)을 활용하는 사례가 늘고 있다.

실제 IBM이 2024년 1월 10일 발표한 ‘IBM 글로벌 AI 도입 지수 2023(IBM Global AI Adoption Index 2023) 보고서에 따르면 2023년 기준 한국을 포함한 전 세계 20개국의 2천342개 기업(IT 전문가 8천584명 응답) 중 약 42% 기업들은 이미 비즈니스에 AI를 활용하고 있었고, 40%는 AI 도입을 적극 검토하고 있는 것으로 확인됐다.

우리나라의 경우 AI를 도입한 기업 비중은 약 40% 수준으로 파악된다. 한국경영자총협회가 실시한 ‘주요 기업 AI 도입 실태 및 인식 조사’는 2024년 1~2월을 기준으로 매출액 상위 100대 기업 중 응답 기업 50개 사의 38.0%가 기업 차원에서 생성형 AI를 도입한 것으로 설명했다.

국내외 AI 도입이 이처럼 활성화된 데에는 기술 융합, 예측 및 추천 솔루션 고도화 등 AI 기술 혁신이 크게 작용한 것으로 판단된다. 앞서 언급한 IBM 조사 결과, 2023년 AI 환경은 2~3년 전에 비해 ‘AI 솔루션의 접근성 및 배포가 용이해졌고(43%)’, ‘AI 솔루션이 비즈니스 요구 사항에 더욱 잘 부합할 수 있도록 설계되었다(41%)’는 특징을 보인다. 2020년의 한국개발연구원(KDI) 조사에 참여한 1,000개 기업의 35.8%가 ‘기업 수요에 맞는 AI 기술 및 솔루션 부족’을 AI 도입의 가장 큰 걸림돌로 응답한 것과 유사한 결과다.

하지만 전 산업 분야에서 AI가 화두로 떠오르고 있는 것과 달리 현장에서 기업이 AI를 도입하는 속도는 느리다. MIT 테크놀로지 리뷰 인사이트(MITTR)와 호주 통신사 텔스트라의 글로벌 계열사 텔스트라 인터네셔널(Telstra International)이 아시아, 태평양, 미주, 및 유럽 전역의 비즈니스 리더 300명을 대상으로 공동 실시한 조사 결과에 따르면, 조사 대상 기업의 76%는 생성형 AI 도입을 시도해 본 적이 있는 것으로 확인됐다. 하지만 AI를 실제 조직 전반에 채택한 기업은 단 9%에 그쳤다.

기술 성숙도를 나타내는 가트너(Gartner)의 2023년 신기술 하이프 사이클(Hype Cycle for Emerging Technologies)에 따르면 생성형 AI는 기대감 최고 단계(Inflated Expectations)에 있다. 하지만 실제 시장에서 실질적 혁신 성과를 나타내기까지는 약 2~5년의 기간이 필요한 것으로 예측된다. 즉 현 시점에서 AI 도입⋅활용 과정에서 발생할 수 있는 리스크를 예측하는 것은 더욱 어렵다.

조심해야 할 AI 리스크 유형은

대한상공회의소가 2024년 100대 상장기업의 경영 메시지를 수집해 챗GPT-4로 분석한 결과에 따르면 디지털 전환 및 AI 도입은 기업 경쟁력 강화를 위한 기회이자 리스크인 것으로 나타났다. 기업들은 AI 활용에 따른 근원적 리스크 요인을 사전에 제거하지 못해 회복할 수 없는 수준의 피해를 입게 될 것을 크게 우려했다.

전 산업에 걸쳐 공통적으로 우려되는 AI 리스크는 AI 라이프사이클 전반에 거쳐 존재한다. 이때 AI 라이프사이클은 단순히 AI 모델이 개발되는 단계에 국한되는 개념이 아니다. AI 파운데이션 모델 개발을 위한 데이터 수집 등 처리 단계부터 AI 파운데이션 모델을 개발하고 배포하는 단계, 개발된 AI 파운데이션 모델을 기업에 적용 및 활용하는 단계, 그리고 AI 서비스를 최종 이용자가 이용하는 단계는 서로 유기적으로 연결되어 있다.

그만큼 AI 리스크 유형은 다양하게 제시된다. AI 기술 자체가 가진 한계에서 오는 리스크나 데이터 처리 과정에서 우려되는 보안 침해 등 데이터 리스크, AI 윤리와 사회적 영향을 관리 혹은 통제하기 위한 법적 규제 리스크는 AI 이용 과정에서 또 새로운 AI 리스크로 파생될 수 있다.

초거대 AI 신경망을 개발하는 AI 개발자나 이미 개발된 AI 모델을 활용하는 AI 활용자가 유의해야 할 AI 리스크 유형은 크게 다르지 않다. AI 개발 및 활용 단계 모두 모델 훈련과 검증, 조정을 거쳐야 하고 그 과정에 데이터의 수집⋅이용⋅제공 등 처리도 필수로 요구되기 때문이다.

하지만 앞서 예시로 든 A사와 C사가 좀 더 유의해야 할 부분은 있다. A사는 기업 내부 데이터만 활용한 프라이빗 LLM을 도입함으로써 데이터 유출이나 환각 현상(실제로는 없거나 사실이 아닌 거짓 정보를 마치 사실인 것처럼 말하는 현상)에 대한 우려는 일부 해소할 수 있을 것이다. 하지만 이에 더해 산출물의 품질을 좌우할 데이터를 체계적으로 관리하기 위한 준비도 필요하다. 프라이빗 LLM의 학습 데이터 활용될 조직 내부 데이터의 오남용 등이 발생하지 않도록 전사 차원의 표준화된 위험관리 체계를 수립할 필요성이 강조된다.

이는 C사도 마찬가지다. 기업이 보유하고 있는 고객 정보가 잘못 관리되어 유출 등 데이터 리스크로 이어지지 않도록 데이터 처리 흐름(flow)을 명확하게 파악하고 있어야 한다. 자사 비즈니스 특성에 맞는 AI 라이프사이클과 데이터 처리 흐름별로 법률·정책 준수 체크리스트(checklists)를 마련하고, 그에 대한 지속적, 상시적 모니터링을 통해 기업은 AI 도입 및 데이터 활용에 따른 리스크를 즉시 파악하고 통제할 수 있다.

이러한 철저한 준비가 부족하다면 A사와 C사 모두 AI 내재화에 성공하지 못한 채 리스크만 가중되어 AX(AI Transformation) 경쟁력에서 뒤쳐질 수도 있을 것이다.

(참고로 A사와 C사는 AI 라이프사이클 단계상 AI 개발자가 이미 개발한 모델을 활용하여 자사의 데이터를 추가 학습시키는 방식으로 AI를 활용하는 AI 활용사업자에 해당한다.)

AI 리스크에 사전 대응하는 AI 거버넌스 구축은 선택이 아닌 필수

불가능할 것 같아 보이는 AI 리스크의 완벽한 통제의 시작은 AI 거버넌스 구축을 통한 사전 대응 체계 마련에 있다. AI 리스크 발생 이후 사후적·개별적으로 해결하기보다는 AI 리스크 관리를 모든 기업 업무에 통합하여 관리의 연속성이 이루어질 수 있는 AI 가드레일(AI guardrail)을 선제적으로 구축하는 것이 필요하다. 이를 통해 기업은 식별된 리스크뿐만 아니라 사전에 식별되지 않은 잠재적 리스크에도 효과적으로 대응할 수 있다.

AI를 효율적으로 관리·감독하는 AI 거버넌스 구축 중요성이 꾸준히 지적되고 있음에도 불구하고 대부분의 AI 도입·활용 기업은 AI 거버넌스 구축 과정에서 상당한 혼란을 겪는다. 전문가들이 AI 거버넌스를 정의하고 하위요소를 구성하는 방식이 산업 분야, 비즈니스 특성, 내부 규칙 및 규정, 현지 법제도와 같은 상황적 요인에 따라 달라질 수 있다고 소개하기 때문이다.

하지만 AI 거버넌스 개념은 간단하다. AI 거버넌스란, AI 라이프사이클에 대한 지속적 모니터링을 통해 각 단계별 발생 가능한 리스크를 정량적으로 식별하고, 해당 리스크 및 잠재적 영향을 최소화 및 제어할 수 있는 관리⋅감독 프레임워크를 의미한다. AI 거버넌스 구축을 위한 솔루션에는 다음 세 가지 방식이 포함된다.

솔루션 1. 국내외 법제도의 정합성 제고

기업들은 비즈니스 리스크로 확대될 수 있는 AI 리스크가 법 위반 리스크에서 촉발된다는 점을 명심해야 한다. 기업에 적용되는 국내외 AI 법제가 요구하는 수준의 실시간 현황을 즉시 반영할 수 있는 규제 라이브러리를 구축할 필요성이 강조되는 부분이다.

이에 더해 개인정보보호 중심설계(Privacy by Design), Trust-by-design 접근, 안전성 평가, 영향평가, 신뢰성 검인증, 제3자 외부평가 등 AI 및 데이터 정책이 국제 규범으로 어떻게 수렴되는지에 대한 정기적 모니터링도 필요하다.

글로벌 차원에서 AI 거버넌스 구축 시 기업이 충족해야 하는 최소 기준 요건을 설정한 가이드라인과 AI 표준 및 인증도 살펴봐야 한다. 특히 정보보호 및 개인정보 보호 관리체계(ISMS/ISMS-P), 정보보호 경영시스템(ISO 27001, 27701), AI 관련 국제적 인증 체계(ISO/IEC JTC 1/SC 42)ISO/IEC 42001 등 AI 표준 및 인증 획득은 기업 신뢰도를 제고할 수 있는 효과적인 방안이 될 수 있다,

솔루션 2. 맞춤형 AI 위험통제 모델 체계 확립

AI 프레임워크 등 다양한 명칭으로 불리는 AI 위험통제 모델(Risk Management Model)은 전 세계적으로 활발하게 논의되고 있는 신뢰할 수 있는 AI 위험통제 프로세스를 의미한다. 이때 핵심은 AI 라이프사이클의 각 단계에 대한 주기적인 모니터링을 실시하고 최신화된 국내외 규범을 준수한 평가 절차를 적용한다는 점이다.

즉, AI 위험통제 모델은 기업의 특성과 글로벌 차원에서 수립 중인 AI 규범을 종합적으로 고려한 내부 AI 윤리 등 기본 원칙이나 정책서, 가이드를 수립하는 것에 더해 비즈니스 프로세스 단계별 책임자 권한 및 책임을 설정하는 기준 마련을 통해 AI 리스크를 상시적으로 평가하고 신규 제품·서비스 기획, 설계 및 출시 등 모든 단계에 적용 가능한 신뢰성·안전성 담보 전략을 수립하는 등 지속 가능한 상시적 AI 리스크 통제체계를 마련하는 과정이라 볼 수 있다.

기본적으로 위험 평가 및 관리 절차는 각 기업의 특성을 고려하여 맞춤형으로 설계되는 것이 요구된다. 하지만 기업의 AI 윤리 및 기본 원칙, 정책서, 가이드 등에는 유효성 및 신뢰성, 안전성, 보안 및 복원성, 책임과 투명성, 설명 및 해석가능성, 개인정보 보호, 공정성 등과 같은 AI 신뢰성 확보를 위한 국제적 요구사항도 탄력적으로 반영될 필요가 있다.

또한, AI 리스크는 그 특성상 데이터 활용 과정에서 발생한다는 점에서 기업 맞춤형 데이터 관리체계의 마련 역시 AI 위험통제 모델 구축 시 중요하게 고려되어야 한다. 맞춤형 데이터 관리체계는 기업이 AI 등 신기술을 이용한 각종 솔루션을 도입하려는 경우 기존 데이터 내지 새롭게 생성될 데이터에 대한 신뢰성, 정확성 등을 법제도적 관점에서 정량적으로 판단할 수 있는 위험통제 모델을 의미한다. 기업은 맞춤형 데이터 관리체계를 도입함으로써 추후 데이터를 수정, 변환, 통합 또는 재수집하는 과정에서 발생 가능한 비용 및 위험도를 사전에 객관적으로 평가할 수 있도록 하는 효과를 기대할 수 있다.

나아가 비즈니스 특성에 적합한 기존 선례 등을 정확하게 파악하고 이를 기반으로 주기적 AI 침해 대응 모의훈련 프로그램도 실행할 필요가 있다. 기업은 이러한 모의훈련을 통해 AI 사고에 대한 대응체계의 적정성을 상시적으로 평가함으로써 예기치 못한 각종 사고에 효율적으로 대응할 수 있는 조직적 방어체계를 발전시켜 나갈 수 있다.

솔루션 3. 상시적 데이터 매니지먼트 체계 활성화

“이용 과정에서의 불확실성”이라는 생성형 AI 리스크에 대한 예측가능성을 제고하기 위해서는 AI 서비스에 활용되는 데이터 처리 시스템 구축 전 분석·설계 단계에서부터 시스템 운영, 개선, 폐기 등 각 단계를 포괄하는 데이터 처리 흐름(flow)의 현황과 위험 요인을 실시간으로 명확히 식별하는 것이 중요하다.

이때 데이터 리스크를 효율적으로 파악하고 평가, 관리하는데는 기업이 보유하고 있는 데이터 인벤토리 및 우선순위 지정을 통한 데이터 처리 흐름 분석이 필수로 요구된다. 데이터 처리 흐름 분석은 데이터 리스크에 대한 체계적 관리를 통한 사고 발생 시 신속한 원인분석, 대응을 가능하게 한다. 뿐만 아니라 데이터 처리 흐름 분석 결과는 기업이 활용하고 있는 데이터의 가치 산정 기준, 새로운 비즈니스 전략 수립을 위한 기초 자산으로 활용되어 기업의 지속 가능한 성장 잠재력을 높일 수 있다.