"기업의 실질적 생성형 AI 활용은 통합에 달렸다"

“오라클의 AI 솔루션은 생성형 AI와 기업 데이터 플랫폼을 유기적으로 연계하는데 초점을 맞추고 있다. 오라클은 ‘통합’에 주목한다. 기업이 그동안 투자해온 데이터 플랫폼, 다양한 도구, 프로그래밍 언어 등을 그대로 활용하면서 동시에 생성형 AI란 최신 기술을 개방형으로 구축, 활용하게 지원한다.”

나정옥 한국오라클 클라우드엔지니어링 부사장은 21일 ‘최신 AI 트렌드와 오라클의 AI 전략’을 주제로 기자 간담회에서 이같이 밝혔다.

나정옥 부사장은 “현재 비즈니스의 핵심이 ‘데이터’에서 AI 기반 ‘분석’으로 변화하고 있는 가운데, 오라클은 기술 스택 전반의 모든 레이어마다 AI 솔루션을 제공하는 ‘풀 스택’ 전략을 통해 기업 AI 여정을 촉진한다”고 말했다.

나정옥 한국오라클 클라우드엔지니어링 부사장

나 부사장은 “오라클은 생성형 AI 모델의 학습과 운영에 필요한 비용효과적인 클라우드 인프라, AI 앱 개발을 위한 완전관리형 서비스, 신뢰성 있는 관리형 AI 모델 등을 갖췄고, 오라클의 모든 애플리케이션에 AI를 내장시켰다”며 “AI 시대를 맞아 데이터 수집, 전처리, 저장, 분석, 활용에 이르는 전단계를 지원한다”고 강조했다.

오라클은 완전하고 통합된 데이터 및 AI 포트폴리오의 일부로서 ▲AI 인프라 ▲애플리케이션 ▲AI 서비스 ▲데이터 플랫폼과 유기적으로 작동하는 오라클 클라우드 인프라스트럭처(OCI) 생성형 AI 서비스 등을 제공한다.

오라클의 최신 생성형 AI 기술 및 서비스를 살펴보면, 애플리케이션은 생성형 AI를 내재화한 퓨전 애플리케이션을, AI 서비스는 라마 2와 코히어 등의 LLM 미세조정 및 추론 서비스 및 데이터 플랫폼과 결합 가능한 검색 증강 생성(RAG) 서비스를 제공한다. 데이터 플랫폼은 AI를 내장한 자율운영 데이터베이스와 마이SQL 히트웨이브 및 오라클 데이터베이스 23c의 벡터 검색 지원 기능 등을 제공한다.

OCI 생성형 AI 서비스는 OCI 슈퍼클러스터와 통합을 기반으로 하며, 기업이 자체 데이터를 활용해 가장 안전하면서도 비용효율적인 방식으로 생성형 AI 서비스를 개발 및 운영하도록 지원한다. 데이터 플랫폼에서 모든 애플리케이션 및 개발 환경에 데이터를 제공하고, 데이터 수집, 처리, 분석, 예측 등에 AI를 활용하도록 한다.

이날 간담회에서 김태완 한국오라클 수석 솔루션엔지니어 상무는 오라클의 생성형 AI 솔루션의 주요 기능을 직접 시연했다. 데모 시연을 통해 OCI 생성형 AI 서비스에서 임베딩, 프롬프트 작업 및 자동 코드 생성 등을 통해 애플리케이션 개발을 효과적으로 지원하는 기능, 미세조정을 통한 모델 맞춤화 및 모델 성능 관리 기능을 설명했다.

김태완 한국오라클 상무

김태완 상무는 “OCI 생성형 AI 서비스는 상용 모델과 오픈소스 모델을 제공하며, 프롬프트 엔지니어링, 텍스트 임베딩, 코드 생성, 요약 등의 기능을 이용할 수 있다”며 “여러 모델을 운영, 테스트할 수 있고, 자바나 파이썬 코드를 생성하고, 텍스트를 벡터로 변환해 데이터 간 연관성과 유사도를 시각적으로 확인할 수 있는데, 모든 과정을 UI로 할 수 있다”고 설명했다.

김 상무는 “파인튜닝과 커스터마이징을 위해 전용 인스턴스를 생성, 파인튜닝하고, 성능 검증해 변경된 모델을 프롬프트로 테스트하고 코드화할 수 있다”며 관리콘솔로 대시보드와 모니터링 환경을 제공함으로써 기업의 LLM 모델 활용에 대한 기술 진입장벽을 낮춘다”고 덧붙였다.

오라클 OCI 생성형 AI 서비스는 제공 모델에 미스트랄 AI의 믹스트랄을 곧 추가할 예정이다.

OCI 생성형 AI 에이전트 RAG 서비스

김 상무는 기업에서 신뢰성 높은 생성형 AI 앱을 만들 수 있도록 검색증강생성(RAG)를 쉽게 활용하게 하는 서비스를 소개했다. RAG는 기업 내부 데이터와 LLM을 연결하고, 벡터화된 내부 데이터의 의미 검색을 통해 사용자 프롬프트의 맥락에 가장 알맞는 답변을 생성하도록 하는 기법이다.

그는 “맥락에 맞는 데이터 저장소에서 정보를 찾아서 LLM에 보내고, 캐싱을 처리하고, 양질 프롬프트를 새로 만들고, 입력 프롬프트를 임베딩해서 적정 데이터를 찾게 하는 등의 전처리 과정이 RAG에서 매우 복잡하다”며 “오라클은 에이전트란 서비스를 통해 LLM과 RAG를 자동화할 수 있는 부분을 혼합하고 추상화시켜서 고객의 부담을 최소화하며 AI 앱을 쉽게 개발하게 한다”고 설명했다.

그는 “에이전트는 오픈서치 기반으로 LLM과 통합하는 데이터 저장소를 만들며, 오라클 데이터베이스23c나 마이SQL 히트웨이브의 벡터 서치를 저장소로 연동할 수 있다”며 “레디스 캐시로 프롬프트 히스토리를 관리할 수 있는 등 대상 LLM과 저장소를 연결해 RAG 앱을 만드는 모든 부분을 자동화한다”고 덧붙였다.