[기고] AI 생성, 생각보다 쉬울 수 있다

리페이페이 알리바바클라우드 데이터베이스제품비즈니스 총괄

챗GPT 등장 후 1년이 조금 넘었는데, 그 사이 AI는 이미 여러 산업에서 그 적용 범위를 확대해 나가고 있으며, 생성형 AI의 인기는 텍스트부터 이미지 생성, 심지어 의료 및 과학 연구 등 다양한 분야에서의 활용 가능성 덕분에 나날이 높아지고 있다.

알리바바클라우드 리페이페이 박사

이런 생성형 AI의 열풍에 부응하려면 높은 비용과 복잡성이 요구되는데, 이런 상황에서 AI를 어떻게 잘, 그리고 정확하게 작동시킬지에 대한 고민이 생기는 것은 당연하다.

우리가 AI에 이르게 되는 과정을 살펴보면, AI의 잠재력은 그 지혜로움에서 비롯됨을 알 수 있다. 그 방대한 용량과 일관된 처리 능력 때문에 인간이 간과할 수 있는 세부 사항도 포착하는 AI지만 궁극적으로 AI도 데이터를 기반으로 작동한다.

우리는 이런 데이터를 적절하게 처리하고 보호해야 하는데, 이는 데이터가 IT 인프라뿐만 아니라 사람 또는 인공 지능이 만들어내는 모든 혁신의 기초가 되기 때문이다. 생성형 AI의 가장 기초가 되는 데이터베이스는 생성형 AI 시대에 기업들의 요구사항에 부응하기 위해 발전해 왔으므로 기업의 효과적인 AI 활용은 올바른 데이터 관리와 깊은 관련이 있다.

■ 흔한 데이터베이스 모델

비즈니스에서 흔히 사용되는 데이터베이스에는 여러 가지가 있는데 그중 온라인 트랜잭션 처리(OLTP)라는 데이터베이스 유형은 온라인 거래를 지원한다. OLTP는 온라인 뱅킹 또는 쇼핑 환경에서 기업이 동시에 여러 거래를 처리하도록 돕는데, 데이터가 축적되면 그 데이터 풀을 활용해 새로운 비즈니스 가치를 만들어낼 수 있다.

또 여러 소스의 데이터를 통합해 신속하고 강력한 상호작용형 애널리틱스를 지원하는 온라인 분석 처리(OLAP) 데이터베이스도 있다. OLAP을 사용하면 소매업자는 재고와 실제 재고 데이터를 다른 데이터세트인 고객 구매 데이터와 결합해 특정 상품의 수요가 다른 상품보다 높아져서 해당 상품의 생산을 증가시킬 필요에 대한 통찰력을 얻을 수 있다.

NoSQL이라는 또 다른 데이터베이스는 위 두 모델과 달리 비정형 데이터를 정렬하는 데 도움이 되어 인기를 얻고 있다.

■ AI를 위한 새로운 데이터베이스 모델

앞서 언급된 모델들이 각자의 영역에서 충실히 제 기능을 해왔음에도 AI 시대에는 벡터 데이터베이스 모델이 가장 혁신적인 변화를 가져올 것이다.

벡터 데이터베이스는 대규모 언어 모델의 ‘인텔리전트 워크로드’를 처리하고 수백만 개의 고차원 벡터를 저장하는 데 쓰인다. 문서, 이미지, 오디오 녹음, 비디오 등과 같은 비구조화된 데이터가 여기에 해당되는데, 이런 데이터는 2050년까지 전 세계 데이터의 80% 이상을 차지할 것으로 예상된다. 이는 단순 의미 파악을 넘어서 AI 시대에 걸맞게 전체 맥락과 뉘앙스까지 이해하는 시맨틱스(기존 데이터의 의미)에 대한 이해를 가능하게 한다. 벡터 데이터베이스 없이는 그런 이해를 얻기 어려우므로 이는 대규모 언어 모델을 통한 특화된 산업 지식의 발전에 필수적인 요소가 된다.

이에 대비해 알리바바 클라우드는 독자적인 벡터 엔진을 통해 클라우드 네이티브 데이터베이스 폴라DB, 클라우드 네이티브 데이터 웨어하우스 애널리틱DB, 클라우드 네이티브 다중 모델 데이터베이스 린돔을 포함한 모든 데이터베이스 솔루션을 강화해 왔다. 그 결과 기업들은 벡터 데이터베이스에 분야별 지식을 입력해 생성형 AI 애플리케이션을 구축 및 출시할 수 있게 됐다.

일례로 동남아시아의 한 온라인 게임 회사는 알리바바 클라우드의 데이터베이스 솔루션을 사용해 지능적인 비플레이어 캐릭터(NPC)를 생성하고 있다. 이 NPC들은 사전에 정해진 대사를 단순히 읽는 것이 아니라 플레이어가 전달하는 내용을 실시간으로 이해하고 반응해 실제 플레이어들과 더욱 현실감 있는 상호작용을 할 수 있다.

■ AI로 가능해지는 합리적인 소비

AI의 잠재력은 게임이나 비정형 데이터의 이해에만 국한되지 않는다. AI는 데이터베이스를 스스로 관리할 수 있는 능력도 갖췄다. 예를 들어, 저장 공간이 부족해지면 AI는 시스템 관리자에게 경고를 보내고, 추가 저장 공간을 확장할지 여부를 물을 수 있다. 또 권한이 주어지면 저장 공간을 자동으로 확장하는 조치도 취할 수 있으며, 이런 기능은 CPU 용량, 메모리 용량 및 기타 기능에도 적용될 수 있다.

이런 AI의 능력은 서버리스 클라우드 컴퓨팅으로 전환을 고려할 때 특히 유용하다. 과거에 클라우드 서비스 제품을 구매할 때 일정량의 서버를 준비하는 프로비저닝 작업이 필요했는데, 이 과정에서 추가 비용이 발생하는 것은 물론, 실제 워크로드보다 더 많은 용량을 준비할 경우 자원을 낭비하는 일도 발생했다. 하지만 서버리스 컴퓨팅은 클라우드 서비스가 사용하는 서버 용량을 워크로드에 정확히 맞추며, 워크로드 변동에 따라 서버 용량을 유연하게 조절할 수 있는 장점을 지닌다.

■ 일거양득: AI와 서버리스 클라우드 컴퓨팅의 장점 누리기

따라서 AI와 서버리스 클라우드 컴퓨팅의 결합은 비정형 데이터의 이해 및 데이터베이스 자가 관리뿐만 아니라 서버 용량의 유연한 조절까지, 두 기술의 장점을 모두 활용할 기회를 제공한다. 이제 바로 알리바바 클라우드가 핵심 AI 기반 데이터베이스 제품을 서버리스로 만든 이유이기도 하다. 이를 통해 고객은 필요한 자원에 대해서만 비용을 지불하고, AI의 지능적 관리를 통해 급격한 수요 증가나 변동이 큰 워크로드에 효과적으로 대응할 수 있을 것이다.

다시 요약하자면 AI 활용의 성패는 올바른 데이터베이스 활용 전략에 좌우됨을 명심해야 한다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.