하둡-컨테이너-쿠버네티스 접목 시도 본격화

빅데이터 기술은 인공지능(AI)과 만나며 더 큰 힘을 발휘하고 있다. 동시에 컴퓨팅 아키텍처의 변화가 빅데이터 분야에도 불어오고 있다.

최근 미국 지디넷의 빅데이터 전문 칼럼니스트 앤드류 브루스트는 새해 데이터 산업을 전망하면서 규제 확산과, AI와 빅데이터 기술의 혁신 흐름을 분석했다.

그에 따르면, AI 기술은 로보틱프로세스오토메이션(RPA)을 비롯한 여러 분야에 접목되며 생산성을 높여줄 것으로 기대되고 있다. 개인의 일과 생활을 돕는 비서로서 사람의 창조성 발현을 더 촉진할 것이란 기대다.

한편으로 AI를 인간이 어떻게 통제할 것인가도 주요 화두로 떠올랐다. AI 윤리는 새해 전세계적 화두로 예고되고 있다. AI의 결정을 인간이 이해하고 해석할 수 있어야 한다는 주장이 힘을 얻고 있다. 이같은 AI 통제 시도가 기술 혁신의 속도를 다소 늦출 것이란 반발도 나온다.

느릴지언정 AI 혁신이 엔터프라이즈 영역에 더 넓고 깊이 스며들 것이란 게 대체적 전망이다. 머신러닝은 실험 단계에서 운영 단계로 접어들었고, 기업의 주요 애플리케이션과 맞물려 실질적인 성과를 만들어낼 것으로 보인다.

각종 분석도구와 애플리케이션은 다소 차이를 갖더라도 AI를 일정 수준 이상으로 활용하기 시작했다. 일반인을 위한 AI 기술 기반 서비스도 빠르게 증가하고 있다.

AI 윤리, 혁신 등 어찌보면 정반대의 성격으로 보이는 화두지만, 모두 양질의 데이터를 필수조건으로 한다는 공통점을 갖는다.

AI의 예측을 통제하려면 데이터 품질과 내용을 통제하는 게 필요하다. 예측 성능을 높이려면 많은 데이터뿐 아니라 기계학습에 도움되는 고품질 데이터가 필요하다. 이에 데이터 거버넌스와 관리에 대한 프레임워크 마련 논의가 본격적으로 이뤄질 전망이다.

데이터를 더 많이 필요로 한다는 점에서 개인정보보호와 사생활 보호 측면의 규제는 올해부터 본격 시행되고 있다. 유럽연합(EU)의 GDPR을 시발점으로 미국도 더 강도높은 개인정보보호 규제를 도입하려는 움직임을 보이고 있다. 국가별, 지역별로 각자 이뤄지던 정보보호 규제를 범세계적으로 표준화하는 협업 프로젝트가 새해부터 본궤도에 오를 전망이다.

규제 움직임 속에 많은 기업은 데이터 주도형 비즈니스로 변신하려 노력하고 있다. 데이터 가치 사슬과 비즈니스를 효과적으로 통합하려는 시도가 활발하다. 각 기업에서 급증하는 최고데이터책임자(CDO)가 그 중책을 맡고 있다. CDO는 기업의 데이터 기반 의사결정 플랫폼을 구축하면서, 규제 준수란 두마리 토끼를 모두 잡아야 하는 책임을 떠안았다.

데이터와 AI 활용 측면 외에도 기반 기술의 변화 흐름도 엿보인다. 빅데이터의 전성기를 열었던 아파치 하둡(Hadoop) 기술은 점차 더디게 발전하고 있다. 하둡 기술이 안정기에 접어들었다고 보는 입장도 있다. 그러나 컨테이너, 쿠버네티스 같은 새 컴퓨팅 기술의 유행을 하둡에 접목하려는 시도도 나온다.

맵알의 잭 노리스 수석부사장은 "2019년 컨테이너 기술과 AI의 만남이 주류를 이룰 것"이라고 전망했다.

컨테이너는 운영체제 커널을 공유하는 경량의 가상화 환경이다. 수많은 컨테이너를 묶어 거대한 시스템을 만들어내는 게 현대 IT 아키텍처의 주류를 형성하고 있다. 하둡 클러스터 역시 분산 아키텍처에 기반하는데 컨테이너 환경으로 전환할 수 있을 지 주목된다. 컨테이너 클러스터 생성과 운영을 자동화하는 오케스트레이션 플랫폼인 쿠버네티스 도 컨테이너에 담긴 하둡을 관리하는데 필요해질 것이다.

뉴타닉스의 비제이 라야파티 제너럴매니저는 "엔터프라이즈의 디지털화는 클라우드와 컨테이너, 마이크로서비스 기반의 모던 IT 아키텍처 주도로 이뤄진다"며 "모니터링, 매니지먼트, 거버넌스 등은 엔터프라이즈에 새로운 어려움"이라고 지적했다.

하둡, 도커, 쿠버네티스 등의 접목은 모두 오픈소스 소프트웨어로 이뤄진다. 하둡 개발을 주도해온 두 세력인 클라우데라와 호튼웍스는 올해 합병에 동의했다. 이에 오픈소스 진영은 하둡 생태계를 떠받치는 개발력의 저변이 축소될 것으로 보기도 한다.

두 회사는 합병 후 차세대 성장동력으로 AI를 꼽는다. 클라우드 기반 빅데이터 서비스도 중요 요소로 보고 있다. AI와 클라우드에 집중하기로 한 두 회사가 하둡 아키텍처에 대한 개선, 변화 시도에 얼마나 집중할 지 관심의 대상이다.

하둡 클러스터가 컨테이너에 온전히 담길 수 있느냐는 엣지 컴퓨팅과 연관된다는 점에서 또 중요하다. AI와 분석을 엣지 환경에서 구동하려는 시도가 활발한데, 하둡 같은 빅데이터 기술이 엣지에 담기기엔 너무 크다. 현재는 스트리밍 프로세싱이 엣지 컴퓨팅에서 효과적인 해법으로 제시되고 있다.

엣지 컴퓨팅은 대규모 데이터를 클라우드로 전송하는데 따른 네트워크 비용 및 대역폭 소모, 투자 압박, 보안 우려 등의 이유로 각광받는다. 엣지 컴퓨팅의 성능 개선 노력이 다방면으로 이뤄지고 있는데 하둡도 그 일면일 것으로 전망된다.