[기고] 새로운 데이터 패러다임 '데이터옵스'

원활한 데이터 운영을 위한 데이터옵스(DataOps)는 인공지능(AI) 시대에 부응하는 데이터 관리 실행 방안으로 직무 간 협업, 통합, 거버넌스, 자동화를 높여 데이터의 신속성을 보장하고, 이를 기반으로 적시적소에 가장 적합한 데이터를 제공한다. 최적의 데이터 운영과 자동화를 무기로 데이터옵스가 새로운 데이터 패러다임으로 부상하고 있다.

■ 데이터옵스, 업무 분산 환경에 최적화된 데이터 관리법

데이터옵스는 인텔리전스, 자동화, 분석 기법을 이용해 가장 필요한 사람들에게 데이터 통찰력을 제공한다. 특히 데이터 전달 과정을 간소화하고, 현재 비즈니스를 운영하기 위한 데이터를 제공함으로써 시장과 소비자의 변화에 민첩하게 대응할 수 있다.

데이터옵스는 분산 환경에서 데이터 관리 업무를 간소화 및 자동화 해주고 여러 클라우드 환경에서 데이터 통합, 메타데이터 관리 및 거버넌스를 지원한다. 데이터 분석 기능에 대한 셀프서비스를 제공해 거버넌스 및 협업을 지원함으로써 비즈니스 각 부문의 역량을 강화할 수 있다. 뿐만 아니라 데이터옵스를 활용하면 코로나19 팬데믹으로 점점 더 분산되고 있는 원격 업무 환경에서도 용이한 데이터 관리가 가능해진다.

■ 데이터옵스의 새로운 트렌드

데이터 관리자의 가장 중요한 역할은 원활한 데이터 운영이다. 일관된 경험 창출과 적시적소에 데이터를 제공해 비즈니스 역량을 강화하고, 높은 신뢰도의 데이터로 애플리케이션 프로세스 및 사용자 간 연계를 지원해야 한다. 동시에 비용 절감이 가능하도록 데이터를 최적화하고, 민감 데이터에 대한 보호 장치도 마련해야 한다. 데이터옵스의 새로운 트렌드와 활용 사례를 살펴본다.

1. 하이브리드 클라우드와 멀티 클라우드의 부상

기업은 클라우드를 통해 IT 비용을 최적화하고 원격근무자의 편의와 보안을 지원한다. 기업은 민첩성과 융통성을 제공하기 위한 최고의 방안을 모색하는 동시에 멀티 클라우드 및 하이브리드 클라우드의 가능성을 염두에 둬야 한다. IDC는 2022년까지 전 세계 기업의 90% 이상이 인프라 수요를 맞추기 위해 온프레미스, 전용 프라이빗 클라우드, 여러 퍼블릭 클라우드 그리고 기존 플랫폼을 혼합한 형태를 사용할 것으로 전망하고 있다.

2. 현대적 아키텍처에 좌우되는 빅데이터 확장성

방대한 하둡(Hadoop) 기반 데이터 레이크에서 오브젝트 스토리지 기반의 분산형 데이터 레이크로 이동하면서 기업들은 빅데이터 활용 방안을 고심하고 있다. 요즘은 하나의 데이터 패브릭에 여러 개 엔진 및 소비자가 연계된 형태를 많이 볼 수 있다. 이 같은 접근법은 컴퓨팅과 스토리지가 별도 운영되고 다양한 기술을 통해 데이터에 접근 가능해 최종 사용자는 데이터에 쉽고 안전하고 저렴한 비용으로 액세스할 수 있다.

3. 데이터 통찰력의 초점 변화

현재 기업들은 정형, 비정형, 반정형 데이터 등 방대한 규모의 데이터를 활용하고 있다. 이런 데이터는 사람, 머신, 애플리케이션에 의해 생성된다. 기업이 보유한 데이터가 무엇인지 먼저 파악하는 것이 데이터 활용에서 가장 중요하다. 그 다음, 비즈니스 사용자가 통찰력을 더 빠르게 생성하고 의사결정을 내릴 수 있도록 ‘다양한 데이터를 취합하는 방법’을 파악해야 한다.

4. 주목받는 하이브리드 솔루션

인더스트리 4.0, 스마트시티, 헬스케어, IoT와 연관된 엣지 부문에서 높은 인텔리전스에 대한 수요가 늘고 있다. 엣지 인텔리전스는 하이브리드 컴퓨팅의 일종이다. IDC는 2024년까지 기업의 약 25%가 클라우드 및 통신사업자 간 파트너십을 통해 클라우드 플랫폼에 구축된 애플리케이션과 엣지 데이터를 통합함으로써 비즈니스 민첩성을 향상시킬 것으로 전망했다.

5. AI와 ML의 급성장

혁신적인 조직들은 머신러닝(ML)에서 최대 가치를 끌어내기 위해 ‘어떻게 할 수 있는가’에 초점을 맞추고 있다. AI와 ML은 더 이상 학계 용어가 아니라 기업의 실제 생산 프로세스에 적용되면서 놀라운 변화를 가져오고 있다. 그러나 현재 AI와 ML을 프로덕션에 적용하는 데 발생하는 어려움을 해소할 툴은 충분치 않다. 기존 툴은 프로덕션 라이프사이클 대신 개발 라이프사이클에 초점을 맞추고 있기 때문이다.

6. 더욱 복잡해지는 리스크와 컴플라이언스 준수

데이터와 관련된 리스크와 컴플라이언스 준수는 기업의 영원한 도전과제다. 특히 지금과 같이 방대한 데이터가 생성되는 시대에 GDPR(일반개인정보보호법) 같은 규정은 더욱 대응이 어렵다. 기업은 수동적 방법만으로는 데이터의 방대한 규모, 생산 시간, 정확성 요구 사항 등의 기대를 만족시킬 수 없다. 따라서 조직은 AI 기반 자동화를 통해 문제를 극복해야 한다.

■ 차세대 데이터 관리에 최적화된 데이터옵스 솔루션

효성인포메이션시스템의 ‘루마다 데이터옵스 스위트’는 지능형 데이터 관리의 잠재력을 충분히 발휘할 수 있도록 지원한다. 루마다 데이터 스위트는 데이터 통합 및 분석 플랫폼인 펜타호, 루마다 데이터 카탈로그, 루마다 엣지 인텔리전스, 루마다 데이터 옵티마이저 등 기존에 솔루션 별로 관리 운영되던 환경을 하나의 통합 포탈처럼 운영할 수 있어 편의성을 높여준다.

기업들이 데이터에서 인사이트를 얻는 프로세스를 가속화하기 위해서는 데이터센터와 클라우드에 분산되어 있는 데이터 스프롤(sprawl, 무질서한 확산)과 사용하지 않는 다크 데이터를 효과적으로 관리하고 데이터를 단일한 파이프라인에서 지능적으로 통합할 수 있는 방안이 필요하다. 루마다 데이터옵스 스위트를 활용하면 기업은 데이터 복잡성을 해결하고 데이터 분석가, 현업 사용자, 비즈니스 리더에게 신뢰할 수 있는 데이터를 신속하게 제공함으로써, 인사이트 확보에 소요되는 시간을 줄이고 운영 비용도 절감할 수 있다.

■ 데이터옵스 글로벌 활용사례

데이터옵스는 조직이 IT와 OT(운영 기술)을 함께 사용하여 데이터 작업방식을 간소화하고, 뛰어난 통찰력과 현명한 비즈니스 의사결정을 지원하며 비용 절감 효과도 제공한다. 글로벌 혁신 기업들은 데이터옵스 접근방식을 통해 의미 있는 결과를 도출하고 있다.

한 대형 금융 서비스 기관은 내부 고객을 지원하기 위해 서비스형 데이터 플랫폼’을 루마다 데이터옵스 스위트로 표준화했다. 이 플랫폼은 유연하고 확장 가능한 솔루션을 통해 은행의 다양한 고객을 지원하고, 광범위한 데이터 통합 문제를 해결하며 기업 서비스의 확장성을 향상시켰다.

글로벌 부동산 담보 대출 업체는 데이터옵스 접근법을 적용해 데이터 카탈로그 문제를 해결하고 있다. 이 기업은 매일 다양한 소스에서 정기적으로 데이터를 수집하는데, API에 기반한 자동화를 통해 필요한 데이터셋의 특징을 갖추고 처리 효율성을 높이는 것이 목적이었다. 루마다 데이터 카탈로그는 이 기업이 매일 1천만 개 이상의 파일을 수집·분류·카탈로그화 할 수 있도록 하고, 완벽한 사용자 지정과 검색 가능한 사용자 인터페이스를 제공했다. 자동화된 솔루션은 데이터베이스, 데이터 웨어하우스, 데이터 레이크 내 각 칼럼에 비즈니스와 연관성이 높고 표준화된 태그를 적용함으로써 사용자들은 수작업을 거치지 않고도 손쉽게 조회하고 통찰력을 얻을 수 있도록 한다.