[기고] 생성형 AI 도입, 기업이 반드시 유념해야 할 두 가지 전략

나정옥 한국오라클 부사장

생성형 AI 모델에 대한 뜨거운 관심은 이제 다방면으로 확산되고 있다. 지난 해 까지만 해도 변호사 자격시험 통과나 다양한 주제의 학술 논문 작성은 물론, 정보 검색 지원 등 놀라운 신기능이 화제의 중심이었다. 이제 우리는 생성형 AI가 텍스트 생성과 SQL 쿼리 생성, 코드 작성, 심지어는 예술작품 제작은 물론, 기업의 제품 지원에 이르기까지 거의 모든 분야의 작업을 수행하는 것을 목격하고 있다. 생산성과 수익을 향상시킬 수 있는 방법을 늘 고민중인 기업 경영진의 마음을 생성형AI가 사로잡고 있다고 해도 과언이 아니다. 실제 우리 기업들은 이제 향후 어떤 업무에 생성형 AI의 어떤 기능을 더 추가적으로 도입할 지 심각하게 고민하고 있는 상황이다.

나정옥 한국오라클 부사장

기업은 생성형 AI 기능을 원하는 업무에 도입해 비즈니스 결과를 개선하려면 우선적으로 중요한 원칙을 되새겨야 한다. 즉 해당 AI기능이 자사의 비즈니스 적용업무에 통합되어 그에 적합하고 정확한 결과를 제공하는 대상 모델은 무엇인지 정의하는 것과, 그에 맞게 해당 인프라를 설정하고, 모델을 선택, 맞춤화하고 배포를 어떻게 할 것인지 대한 기획이다.

이와 같은 원칙과 전제하에 기업이 생성형 AI를 도입해 자사의 비즈니스를 향상시키는 방안은 두 가지로 구분할 수 있다. 애플리케이션에서 AI 서비스 및 데이터와 인프라 전반을 아우르는 ‘풀스택 AI’의 활용 전략과 ‘특정 비즈니스 업무에 적합한 맞춤형 서비스 활용’이 그것이다.

풀스택 AI 활용과 그 경험을 구현하는 방법은 무엇인가? 이는 생성형 AI에 대한 시스템 차원의 ‘총체적인 접근방식’으로, 기업이 AI 구현을 위해 필요로 하는 기술 전반을 통합한 환경을 의미한다. 이와 관련해 기업은 자사의 온프레미스(구축형)와 퍼블릭 클라우드로 운영되는 IT시스템 환경의 전반에서 애플리케이션과 서비스, 데이터 및 인프라를 아우르는 단일한 AI 솔루션 적용을 통해 AI의 ROI(투자대비효과)를 거둘 수 있다.

보통 기업에서는 AI 프로젝트를 진행할 경우 여러 곳에 편재한 단편적인 부분과 툴을 결합하는 방식으로 AI를 구현한다. 이와 달리 풀스택 접근방식은 기업 핵심 애플리케이션의 사용 경험에 생성형 AI 기술을 접목할 수 있는 기술력을 갖추고 있다는 장점이 있다. 덕분에 기업은 자사 애플리케이션에 필요한 생성형 AI 기술을 획기적으로 간단히 통합할 수 있다. 필자가 속한 오라클 역시 기업이 생성형 AI를 성공적으로 구현하기 위해 정말 필요한 것이 무엇인지에 대해 고민하면서 생성형 AI에 대해 이러한 총체적인 접근 방식을 취하고 있다.

또한 데이터베이스에 탑재된 AI 기반 운영 자동화 및 벡터 검색 기능은 기업이 추가적인 개발의 노력을 들이지 않아도 데이터베이스 관리 업무와 앱 개발 과정을 대폭 간소화하고 정확도 높은 모델을 지원할 수 있어 비용 절감을 돕는다. 오라클은 자사의 서비스형 소프트웨어(SaaS)에서 시작해 이러한 AI 기술이 접목된 풀스택 서비스와 함께 광범위한 미세 조정 모델 및 즉시 사용 가능한 검색 증강 생성(RAG)을 통해 기업의 차별화된 AI 전략을 지원하고 있다.

두 번째로, 생성형 AI가 기업 내의 다양한 활용을 지원하기 위해 미세 조정 또는 RAG 기술을 통해 대형 언어 모델을 현업 요구 사항에 적합하도록 맞춤화해 제공하는 방안이다. 이 중 ‘미세 조정’은 대형 언어 모델에 기업의 내부 정보, 지식 문서 등을 학습하는 것으로, 여기에는 많은 시간과 비용이 든다. RAG 기술은 이러한 미세조정을 돕기 위한 기술이다. 데이터 사용자와 자연어 기반의 대화 맥락 속에서 질의를 SQL 쿼리로 자동 변환하고 기업 보유의 벡터 데이터베이스와 연동을 통해 의도에 맞는 답변을 제공한다는 점에서 비용 효과성을 더 높은 수준으로 향상시켜준다.

한 예로 기업의 한 사용자가 RAG 기술을 탑재한 에이전트에 병가에 대한 인사(HR) 정책을 요약해서 알려 달라고 요청할 경우, 모델은 RAG를 통해 기업 HR 정책과 관련된 내부 문서에서 연관 있는 문단을 추출해 내어 자연어 대응 답변을 출처 문서에 대한 하이퍼링크와 함께 맞춤형으로 제공할 수 있다. 향후에는 사용자의 요청에 따라 기존 문서 편집과 같은 후속 조치까지도 지원할 것으로 기대된다.

이처럼 기업 업무의 특수한 맥락에 정교한 성능을 제공하는 생성형 AI 기술은 고객 서비스 자동화를 비롯해 개인화된 마케팅이나 가상 세일즈맨 역할, 계약서 작성, 경쟁사 및 고객 모니터링 등 비즈니스의 많은 영역에 적용해 가치를 창출할 수 있을 것으로 기대되고 있다.

성공적인 생성형 AI 구현은 인프라에 대한 총체적인 접근방식과 더불어, 생성형 AI 모델의 실제 비즈니스 적합성에 달려 있다. 이 두 가지 전략을 함께 고려하고 운용할 수 있을 때 비로소 기업은 생성형 AI 와 관련된 여정을 단계별로 차근차근 밟아 나가며 혁신을 가속화하고 고도화 할 수 있을 것이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.