애자일소다 "빅데이터 다음 숙제, AI 데브옵스가 해답"

"기업이 원천 데이터를 모았으면 그걸 기반으로 다른 일을 해낼 수 있도록 공유하는 모델이 필요하다. 부서별 단절된 업무를 연결해 서비스로 이어질 수 있도록, 알고리즘을 관리하고 자산화할 수 있게 만들어야 한다. 소위 인공지능(AI) 데브옵스 체계가 필요하다."

김영균 애자일소다 이사는 12일 서울 포시즌스호텔 아시아테크서밋(ATS)에서 '엔터프라이즈 AI 데브옵스 포털 도입 전략'이라는 주제강연을 통해 이같이 말했다. 데이터를 쌓았다면 이제 활용할 단계인데 이 때 등장하는 새로운 문제를 잘 풀어낼 수 있어야 한다는 내용이었다.

"좋은 재료를 준비해야 맛있는 요리를 할 수 있다. 데이터를 활용해 인공지능(AI)을 만들고 서비스화할 준비가 된 기업들이 있다. 다른 허들을 맞딱뜨린다. 구현 과정에 데이터 표준화가 안 돼 있거나, 전처리가 필요하거나, 기술력뿐아니라 서비스 운영 경험 자체가 부족하거나."

일단 빅데이터 활용 기반을 닦으면 이후 조직내 역할에 따라 다양한 고민이 발생한다.

어떤 분석팀장에게는 복잡해진 분석모델 버전관리가 문제다. 어떤 IT관리자에게는 분석팀이 쓰는 다양한 오픈소스 소프트웨어의 버전관리가 골치다. 어떤 분석업무 리더는 부서에서 만들어진 기술과 노하우를 사내에 공유해 전체 업무에 도움을 줄 방안을 찾는다. 어떤 분석가는 더 간편한 자원활용과 빠른 분석을 원한다. 어떤 분석 및 운영 담당자는 개발된 머신러닝 모델을 서버에 배포하고 곧바로 서비스화하길 바란다.

김 이사는 'AI 데브옵스' 도입을 해법으로 제시한다. 데브옵스는 소프트웨어 개발과 운영 업무가 연속성을 가져가는 업무 체계로 요약된다.

AI 데브옵스는 AI 구현에 필요한 데이터 분석 모델 및 알고리즘을 만들고 활용하는 전체 과정을 데브옵스 방법론으로 관리하는 개념으로 이해된다. 즉 데이터 분석 방법을 정의하고, 데이터를 가져와 탐색하고, 모델을 만들고 배포하고, 그 성능이 잘 나오는지 모니터링하고, 데이터를 재탐색하고, 모델을 학습시키고, 이런 순환식 수명주기를 갖는 AI 모델 및 알고리즘을 관리하고 자산화한다는 아이디어다.

"개발과 운영이 연속성을 가져가야 한다. 3단계 과정으로 정의된다. 첫째 시스템을 개발해 바로 운영할 수 있는 단계. 둘째 시스템에 올린 서비스를 패치하고 업그레이드하며 구성원과 외부의 피드백을 수용하는 단계. 이 작업이 어느정도 정리된 뒤 셋째로 전체 서비스를 단일 구조로 구동하는 게 아니라, 데이터소스 영역이나 DB커넥션 영역 등 각각을 별도로 구현하고 개선하며 이를 반복하는 단계다."

김 이사는 AI 데브옵스 개념을 도식화한 다이어그램을 제시했다. 다이어그램은 기업의 '데이터과학자'가 만든 AI 모델이 '최종사용자'를 위해 활용되고, 그 행동을 바탕으로 알고리즘을 자산화하고 관리해 다시 데이터과학자들이 활용하는 과정을 보여 준다. 데이터과학자와 최종사용자 사이에서 AI 설계, 개발, 구축, 운영 등 세부작업 이 역시 계속 전후방 단계간 피드백을 주고받으며 순환한다는 점도 나타냈다.

기업이 이런 방식을 따라 AI를 활용하려면 효율적인 리소스 관리, 개발 및 운영 담당자의 협업, 결과물 리포트와 공유를 통해 궁극적으로 알고리즘을 자산화해야 한다. 김 이사는 월마트가 '원옵스'를 통해 데브옵스를 도입, 일 1천개 이상의 기능 업데이트를 수행하며 한 기능의 업데이트를 2~3분 안에 처리하는 식으로 대규모 유통 비즈니스에 필요한 기술 인프라를 수시로 개발하고 최적화하고 있다고 소개했다.

김 이사가 제시하는 AI 데브옵스 도입 목적은 담당부서가 변화하는 환경에 즉시 대응해 다양한 알고리즘을 개발하기 쉬운 관리환경을 갖추는 것이다. 세부적으로는 분산서버 환경에서 빠른 분석시스템을 지원하고, 여러 오픈소스SW 관리효율을 확보하고, 학습 모델관리를 표준화해야 한다. 이런 AI 데브옵스 도입을 통해 부서별 협업이 가능해진다. 개발된 코드 내지 알고리즘 자산을 객체 단위로 관리할 수 있다. 개발된 알고리즘이나 모델을 라이브러리 등에 의존성 없이 쉽게 배포하고 성능을 모니터링해 재개발 시점을 판단할 수 있다.

애자일소다는 이런 AI 데브옵스 방법론을 구현할 수 있는 시스템을 만들고 '스파클링소다'라 이름붙였다.

스파클링소다는 애자일소다의 표현을 빌리면 'AI 데브옵스 포털'이다. 실제로 기업용 포털같은 느낌의 사용자인터페이스를 제공한다. 분석가는 이 안에서 R, 파이썬 등 데이터 분석 목적의 언어 및 라이브러리, 패키지 등을 원하는대로 구성해 쓸 수 있다. 도커같은 컨테이너 기반 관리와 배포를 지원해 각 모델 의존성을 없애고 모델의 입출력 응답을 처리하며 팀 및 프로젝트 단위 분석과 관리를 지원할 수 있게 했다.

"(스파클링소다를 시연하며) 분석환경 설정페이지에서 벤딩머신처럼 각 툴을 론칭할 수 있는 기능을 제공한다. 클릭 한 번으로 도커 이미지를 메모리에 올리고 해당 리소스를 할당된 상태로 만들고 … 이제 파이썬으로 주피터 신용위험도평가모델을 실행할 수 있다. 특정 데이터 테이블 컬럼명에서 데이터를 가져와 리뷰도 가능하다. 학습을 끝내고 생성된 모델 객체의 버전을 관리하고 배포할 수도 있다."

최근 스파클링소다를 구축한 국내 화재보험사 사례가 언급됐다. 클라우드 기반으로 하둡 인프라를 구축하고 분석업무환경을 갖췄으나 추가로 협업, 데이터 감사와 퍼지 등 관리체계를 필요로 했다. 만들어진 모델을 실시간 배포하는 체계도 원했다. 다양한 머신러닝 분석환경 지원과 표준 배포체계를 활용한 AI용 지속통합 및 지속배포(CI/CD) 서비스화를 추구했다. 많은 알고리즘을 관리하고자 하는 경우도 있었다.