카카오 "AI로 일하는 방식 변화…일상에도 AI 스며들 것"

"카카오에서는 좋은 서비스를 만들려면 먼저 내부에서 경험해 봐야 한다고 말한다. 내부의 변화가 곧 혁신적인 서비스로 이어진다는 경험이 있었기 때문이다. 그렇기 때문에 일하는 방식부터 AI로 변화시키려고 했다."

정규돈 카카오 최고기술책임자(CTO)는 23일 경기도 용인 카카오AI센터에서 열린 개발자 컨퍼런스 ‘if(kakaoAI)2024(이프카카오)’에서 AI를 중심으로 하는 AI Native(네이티브)로 변모하고 있는 카카오의 모습을 공유했다.

정규돈 CTO는 "급변하는 AI 시대에서 카카오는 단순히 서비스에 AI 기능을 추가하는 것을 넘어, AI가 이용자의 일상에 자연스럽게 스며드는 ‘AI네이티브’를 목표로 하고 있다"며 "이를 위해 카카오 내부에서도 AI가 자연스럽게 조직의 일부가 되도록 하는 것을 핵심 과제로 삼고 있다. 이러한 변화가 혁신적인 서비스로 이어질 것”이라고 말했다.

AI버디-코드버디, 사내 업무시스템에 도입

카카오는 ‘이용자에게 좋은 서비스를 제공하려면 먼저 우리가 직접 경험해봐야 한다’는 철학에 따라 올해 10월 ‘AI 버디’와 ‘코드 버디’를 자체 개발해 사내 업무 시스템에 도입했다.

‘AI 버디’는 사내에 흩어져있는 데이터와 정보를 통합해 업무 생산성을 향상시키고 편리한 업무 환경을 제공하고자 개발됐다. 인사, 복지 제도, 내규 등의 지식 통합과 검색 기능을 제공하는 것은 물론 자료 검색과 요약, 번역, 회의실 예약 등 업무 자동화 기능도 갖췄다.

예를 들어, 이전에는 사내 시스템에 로그인 후 회의실 예약 시스템에 접속해 원하는 시간대의 빈 회의실을 찾아 회의 주제, 참석자 등 관련 정보를 입력해야 했다면, AI 버디 도입 후에는 간단한 프롬프트 작성을 통해 AI가 예약 가능한 회의실을 찾아서 보여주고 회의를 잡아 참석자 초대도 대신해준다. AI 버디에게 ‘오늘 오후 5시 10층 회의실에서 PR 멤버들과 AI네이티브 리뷰 회의 예약해줘’ 라고 간단하게 메시지를 보내면 버디가 해당 시간에 예약 가능한 회의실 목록을 보여주고, 회의 참석자에게 ‘AI네이티브’ 라는 제목으로 초대장을 발송한다.

정 CTO는 "이프카카오의 회의 자료를 요약해달라고 요청하면 라우터가 지식 그래프 기반의 ‘그래프(Graph) RAG’를 호출해 AI버디가 정리를 해주기도 한다"며 "AI 버디는 카카오 사내 여러 시스템과 연동돼 있어 회의실 예약, 사내식당 메뉴 확인 등의 요청은 펑션콜을 사용해 관련 API를 호출, 이용자의 요청을 처리해준다. 최종적으로 RAG와 API에서 받은 응답을 LLM이 한번 더 적절히 구성해 풍성한 응답을 이용자에게 전달해줄 수 있는 것이다"고 말했다.

또한 ‘코드 버디'는 개발자들의 PR(코드 변경 요청) 리뷰를 돕는 AI 도구로, 코드 작성 및 리뷰 시 필수로 거쳐야하는 단계들을 AI가 대신해주고 개선된 코드를 제안해준다. 이처럼 코드 리뷰 프로세스를 간소화하고, 자동화된 리뷰 및 제안을 통해 보다 시간 단축은 물론 코드의 품질을 높여준다.

AI 개발도 효율적으로…‘카카오 AI 플랫폼(KAP)’ 구축

카카오는 복잡하고 시간이 많이 걸리는 AI 서비스 개발 과정을 효율적으로 단축시킬 수 있는 카카오 AI 플랫폼(KAP)을 구축했다. KAP는 데이터 준비, 모델 트레이닝, 검증, 배포 등의 과정을 자동화하고, 개발자들이 더 쉽고 빠르게 AI 서비스를 개발할 수 있도록 지원한다.

AI 서비스 개발을 위해서는 가장 먼저 학습시킬 데이터를 획득해야 한다. 이후 서비스에 적용할 수 있는 모델로 만들기까지 ▲데이터 정제 및 전처리 ▲AI 세이프티, 개인정보보호 및 라이선스 등 법무적 검토 ▲GPU 확보 및 분산 학습 환경 등 인프라 구축 ▲파운데이션 모델 트레이닝 ▲파인튜닝 ▲모델 평가 및 검증 ▲추론 엔드포인트 생성 ▲보안 및 안정성 검토 등의 복잡한 단계를 거쳐 한다.

이렇게 완성한 모델은 서비스에 적용할 수 있게 되며 개발자는 모델의 성능을 지속적으로 모니터링 하면서 추가적인 데이터를 획득, 이를 기반으로 더 나은 서비스와 모델을 위해 모델 트레이닝이나 파인 튜닝을 진행한다.

KAP(Kakao AI Platform)은 이 긴 과정을 혁신적으로 단축시켰다. 모델 개발자와 AI 서비스 개발자 두 가지 케이스를 모두 지원하도록 설계했다. 모델 개발자의 경우 데이터 스토어에서 모델 트레이닝에 사용할 데이터를 선택하면 되는데, 이 데이터는 이미 카카오의 AI 세이프티 가이드라인, 법무, 라이선스, 개인정보보호 측면에서 검토가 완료된 안전한 데이터다. 이로써 복잡한 단계의 데이터 준비 과정이 한 번에 끝난다.

모델 트레이닝을 진행하기 위해 복잡한 인프라 환경도 구축할 필요 없다. KAP에서 GPU 인스턴스를 생성하면 바로 분산 학습 환경을 구축할 수 있다. 그리고 모델 스토어에서 사용할 모델을 선택하고, 앞서 구성한 환경에서 데이터를 활용해 파운데이션 모델 트레이닝을 진행할 수 있다. 트레이닝이 끝난 모델은 모델 스토어에 저장한다. 개발자는 이를 모델 카탈로그에 업로드해 카카오 내 다른 개발자들과 모델을 공유할 수 있다.

AI 서비스 개발자는 이 모든 과정을 알 필요가 없다. 모델 카탈로그에서 사용할 모델을 선택하고 추론 엔드포인트를 생성하기만 하면 된다. 그런 다음 이를 서비스에 연결하거나 에이전트를 생성해서 서비스에 즉시 적용할 수 있다.

AI 모니터링 시스템으로 서비스 안정성 향상

카카오는 안정적인 서비스 운영을 위해서도 AI를 적극 활용하고 있다. 카카오가 자체 기술로 구축한 매트릭스 AI(Matrix AI)는 카카오의 전체 서비스 아키텍처를 실시간으로 모니터링하고, 이상 현상이 발생하면 과거 이력 중 유사한 사례를 찾아 이를 기반으로 예상 원인과 가장 적합한 조치를 담은 리포트를 개발자에게 발송한다. 개발자는 AI 리포트를 참고해 이상 현상이 장애로 이어지기 전에 신속히 조치할 수 있으며, 이런 과정을 통해 장애 발생 시에도 대응 시간을 단축시켜 서비스 안정성을 높이고 있다.