"불확실한 미래, 데이터와 AI가 성공의 열쇠"

“코로나19와 뉴노멀로 고객의 기대와 일하는 방식이 크게 바뀌었고, 과거의 경험만으로 앞으로의 도전에 대비할 수 없는 시대다. 데이터를 기반으로 통찰력을 확보하고, 변화에 맞게 의사결정을 빠르게 내릴 수 있도록 AI를 적극 활용해야 한다”

한국IBM 김창희 상무는 15일 열린 2021 데이터 & 인공지능 에브리웨어(Data & AI Everywhere) 컨퍼런스에서 위와 같이 말하며 변화를 촉구했다.

한국IBM이 온라인으로 개최한 이번 컨퍼런스는 코로나19로 인한 불확실성이 증가하고, 뉴노멀 확산으로 업무 변화가 가속화되는 시대에 필수적인 통합 데이터 운영 전략과 새로운 기술, 데이터와 AI를 활용해 비즈니스를 성장시킨 성공사례 등을 소개했다.

■ 전사적 AI/BDA 위해 데이터 거버넌스 확립 필수

김경민 한국IDC 수석연구원은 기업들의 AI/BDA 활용 실태를 바탕으로 한 국내 빅데이터 및 AI 시장 동향을 소개하고, 기업들의 활용 전략에 대한 방안을 제시했다.

코로나19로 인한 산업 전반의 불확실한 상황과 AI기술의 중요성 부각으로, 2010년 4월 18%였던 국내기업들의 AI/ML 투자양상은 2020년 10월 49%로 급격하게 상승했다. 데이터3법 등 규제완화 및 제도 개선으로 데이터 공급 및 공유에 대한 제반환경이 마련됐으며, 클라우드 도입의 급속한 확산으로 데이터 분석 환경에 최적화된 환경도 제공됐다.

하지만 AI/BDA 도입 기업 중 4분의 3은 여전히 파일럿 혹은 신규 전략단계인 것으로 나타났다. 데이터 전문인력의 부재와 파편화된 데이터 및 모델 관리의 어려움이 문제점으로 지적됐다. 데이터 공급 증가에 비해 분석에 유용한 고품질 데이터가 적다는 점도 원인으로 꼽혔다.

김경민 수석 연구원은 “분석에 유용한 데이터양은 전체 데이터 중 9~10% 수준으로, 실제 AI와 기계학습에 적용할 수 있는 양질의 데이터는 1% 미만”이라며 “실제로 AI/ML을 사용하고 데이터 분석을 활용하기 위해선 기업 내 파편화된 데이터를 통합하는 등 지속적으로 관리하고 정제해야 한다”고 설명했다.

이미 많은 기업과 단체에서 AI와 ML 도입을 위해 단발성 혹은 특정 부서를 중심으로 데이터프로젝트를 진행 중이다.

김 연구원은 이를 전사적으로 확대해 혁신하기 위해선 데이터 거버넌스 확립과 체계적이고 통합적인 관리성을 확보해야 한다고 강조했다. 더불어 비즈니스의 가치, 맥락에 맞는 데이터를 시의적절하게 추출하고 정제하고 의사결정에 활용하기 위해선 데이터 옵스가 필요하다고 덧붙였다.

■ AI 통합 데이터플랫폼 클라우드팩포데이터

한국IBM 최석재 실장은 AI, 데이터 분석 등을 활용하기 위한 통합 데이터 플랫폼 운영 전략을 소개했다.

기존 데이터 라이프사이클 구조는 데이터생산자와 사용자 사이에 데이터 전환을 위한 중간단계를 거쳐야했다. 생산자마다 동일한 형태의 시스템이 중복되면서, 생산데이터가 늘어날수록 관리 복잡도가 기하급수적으로 늘어나고 유지관리도 점차 어려워졌다.

IBM은 이를 개선해 데이터와 AI를 효율적으로 이용하고 관련 팀원간 연계 효율을 높일 수 있도록 데이터 패브릭과 팀플레이를 도입한 클라우드팩포데이터를 선보였다.

데이터 패브릭은 클라우드 환경에서 각기 다른 위치의 리소스를 하나의 플랫폼에 통합시키고 데이터 관리를 단순화한다. 에지-클라우드 환경 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있는 일관된 데이터 관리 프레임워크를 구축할 수 있도록 돕는다.

또한 데이터 가상화를 통해 모든 데이터를 논리적으로 통합해 사일로를 방지하고, 데이터 이동 등으로 인한 관리 비용을 절감한다.

IBM은 오토AI, 오토프라이버시, 오토카탈로그, 오토SQL등 데이터 패브릭을 위한 자동화 기능도 추가했다. 메터데이터 자동 분류, 품질 등을 자동 관리하는 데이터 옵스와 간단하게 AI 솔루션을 만들고 배포할 수 있는 ML옵스 등도 선보인다.

최석재 실장은 “기존에 복잡했던 메타데이터 전환이나 보안처리 등을 최대한 자동화할 수 있도록 지원했다”라며 “이를 통해 데이터 및 AI로부터 인사이트를 얻는 주기를 12개월에서 6주까지 단축할 수 있었다고 밝혔다.

■ 코딩 없이 머신러닝 데이터 분석하기

한승범 클라이언트 센터 소프트웨어 개발자는 클라우드팩포데이터를 이용해 카탈로그 구성, AI 모델 및 활용, 앱 개발까지 머신러닝(ML) 오퍼레이션 전과정을 소개했다.

카탈로그는 데이터소비자가 활용할 수 있는 모든 데이터를 직접 검색해서 사용할 수 있도록 비즈니스 용어, 태그, 평점, 최신 데이터 및 추천데이터 등 다양한 검색 수단을 제공한다.

데이터 카탈로그를 구축하기 위해서는 데이터 클래스, 비즈니스 용어를 정의하는 등 거버넌스 체계를 우선 정의해야 한다. 주민등록번호나 신용카드번호 같은 개인정보는 정보보호를 위한 룰의 적용이 필요하다.

이어서 사내 직원이 활용할 수 있도록 고객과 마케팅 캠페인 데이터를 카탈로그에 등록한다. 고객정보는 나이, 결혼여부, 가족 수 등 신상정보와 연수입 등 재산 정보가 있다. 마케팅 캠페인 데이터에는 계약정보, 고객관리정보, 오퍼된 상품정보, 오퍼수락 정보 등이 포함된다. 데이터를 모두 입력한 후 공개할 정보를 설정하면 데이터셋이 완성된다.

완성된 데이터셋을 이용해 보험상품 구매비율 등 AI 분석을 하거나 예측 모델을 개발할 수도 있다. 카탈로그에서 원하는 데이터들을 선택해 상관관계를 확인할 수도 있고, 오토AI를 이용하면 AI관련 전문지식 없이도 AI모델을 직접 만들어 적용하는 것도 가능하다.

또한 만들어진 모델은 별도 작업 없이 자동으로 API가 생성되며, 이를 활용해 애플리케이션 개발도 가능하다.

한승범 개발자는 “많은 기업에서 AI를 도입하려 하고 있지만 확산에 어려움을 겪고 있는데 그 이유는 결국 데이터”라며 “이를 극복하기 위해선 데이터를 쉽게 활용할 수 있는 데이터 카탈로그 같은 체제를 갖추고, 모델 정확성을 높이기 위한 모니터링 시스템과 개선이 지속적으로 이뤄져야 한다”고 강조했다.

■ 산업별 데이터&AI 운영전략

김지관 데이터&AI 사업부장은 국내외 산업별 IBM 고객사의 데이터 및 AI 솔루션 적용 성공 사례를 소개했다.

각 사례는 사용된 기술에 따라 데이터거버넌스, 비정형분석, ML/DL 플랫폼, 신뢰가능한 AI 등 4개 유형으로 나누어 소개했다.

B2B 구매 솔루션 컨설팅 기업인 서브원은 수십만 개의 상품을 자동분류하기 위해 개발한 딥러닝 기반 텍스트 분류 플랫폼에 클라우드팩포데이터 ML옵스를 도입했다.

김지관 부장은 “모델 배포 운영자동화 및 간소화를 통한 업무 생산성을 개선하고, 데이터 과학 협업 생산성을 제고하고 있다”며 “온프레미스 환경에서 ML옵스 환경을 구현할 수 있고, 기본 제공하는 AI유즈케이스 템플릿을 활용해 향후 AI적용 업무를 확산할 수 있을 것으로 기대되는 점이 호평 받았다”고 설명했다.