개발자들을 위한 인공지능 기술시대

인공 지능열풍이 거세다. 최근 정부는 주요 IT 기업과 함께 인공 지능 연구소를 만들고, AI 인력 양성을 위해 학교마다 인공 지능 관련 교과를 늘리는 등 높은 관심에 힘입어 한동안 침체였던 인공 지능 연구자들은 때아닌 호황(?)을 맞이하고 있다.

하지만, 지난 칼럼 클라우드가 선사한 인공지능 기술의 자유와 기회에서 보았듯이, 작금의 인공 지능 기술의 변화는 과거의 인공 지능 기술 패러다임과 완전히 다르다.

10년전 있었던 빅데이터 열풍을 다시 생각해보자. 과거 대용량 데이터 분석은 고성능 서버에 고가의 데이터웨어하우스(DW)용 상용 소프트웨어를 구매해야만 가능했다. 일반적인 DW구축은 매우 길고 오랜 기간이 필요한 구축 프로젝트를 데이터 전문가들에게 맡겨야 했고, 결과는 고객의 입맛에 잘 맞지 않는 경우가 많았다.

하지만 야후에서 일하던 더그 커팅(Doug Cutting)이 하둡(Hadoop)이라는 오픈 소스 기반의 대용량 데이터 분산 처리 소프트웨어를 내 놓고 난 뒤, 상황은 180도 달라졌다. DW 업체와 전문가의 손을 거치지 않고도, 일반 개발자들이 저가의 장비를 분산화 하여 손쉽게 빅데이터 분석을 할 수 있게 되었다. 그 이후, 하둡 생태계는 과거와 비교할 수 없을 만큼 다양해졌으며, 수 많은 오픈 소스 소프트웨어와 지원 벤더들이 비지니스 이용에 대한 간극을 메우고 있다.

빅데이터와 AI를 일으킨 오픈 소스 주역 (좌) 더그 커팅 출처: 클라우데라 (우) 제프 딘 출처: 구글

특히 클라우드 서비스가 확산되면서, 페타바이트 규모의 완전 관리형 데이터 웨어하우스인 아마존 레드시프트(Amazon Redshift), 기존 비즈니스 인텔리전스(BI) 솔루션 대비 1/10의 비용으로 비데이터 전문가라도 손쉽게 분석할 수 있는 플랫폼이 등장하기도 했다. 그렇게 빅데이터 처리 및 분석 기술은 한없이 높았던 진입 장벽을 크게 낮추었다.

■ 진입 장벽이 확 낮아진 인공 지능 기술

소위 딥러닝(Deep Learning)으로 알려진 인공 지능 기술 역시, 아마존,구글, 페이스북, 바이두 등 다양한 글로벌 인터넷 기업이 주도하고 있다. 이들은 자사의 검색, 소셜네트워크, 음성 인식 서비스에 녹일 목적으로 투자를 지속하고 있다.

특히, 딥러닝 분야에서도 많은 오픈 소스 도구들이 활발하게 나오고 있는데, 그 중에 구글에서 공개한 텐서플로(TensorFlow)가 인기다. 3월에 시작된 텐서플로 한국 커뮤니티는 3개월만에 현재 3천명이 넘는 회원을 가지고 있고, 지난 6월 첫 오프라인 모임은 신청한지 10분에 마감되고, 200여명이 참여했다고 한다.

텐서플로를 개발한 구글의제프 딘(Jeff Dean)은 원래 인공 지능 전문가가 아니었다. Quora에 올라온 “제프딘은 어떻게 그렇게 빨리 인프라와 시스템 엔지니어링에서 딥러닝 분야 전문가가 된 건가요?”라는 질문에는 한 학생이 제프 딘에게 직접 들은 답변이 올라와 있다.

“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”(출처: 텐서플로우 코리아)

텐서플로와 같은 오픈 소스뿐만 아니라 클라우드 역시 진입 장벽을 낮추고 있다. 머신러닝 알고리즘에 익숙하지 않은 소프트웨어 개발자들도 아마존이 제공하는 머신러닝서비스를 이용하면 손쉽게 데이터를 통한 학습, 모델 생성 및 추론을 해 볼 수 있다. 특히, AWS에는 대용량 스토리지, 하둡 클러스터 운영, NoSQL및 DW등 다양한 빅데이터 처리를 위한 빌딩 블록이 있어 데이터 수집, 저장과 분석을 바로 해 볼 수 있는 장점이 있다.

■ 클라우드로 들어온 머신러닝 서비스

클라우드 서비스는 사용한 만큼만 비용을 지불하게 되므로 하루당 소량의 예측에서 초당 수백 개의 예측 생성까지, 쉽고 비용 효과적으로 확장이 가능하다. 예측 모델 구축에 사용된 컴퓨팅 시간은 시간당 요금으로만 청구되며, 배치 예측과 실시간 예측은 예측 건당 요금으로 매우 비용 효율적이다.

또한 웹 기반 콘솔에서 복잡한 기계 학습 알고리즘과 기술을 배우지 않고도 기계 학습(ML) 모델 생성 프로세스를 단계별로 사용할 수 있도록 시각화 도구와 마법사를 활용할 수 있다. 이를 위해 대화형 차트를 통해 입력 데이터 세트를 시각화 및 탐색하도록 지원함으로써, 데이터 콘텐츠와 배포를 이해하고 누락되거나 잘못된 데이터 속성을 발견할 수 있다.

뿐만 아니라, 개발자를 위한 모델링과 관리용 API를 제공하여 데이터 소스, 모델, 평가를 생성하고 검토하며 삭제할 수 있도록 해준다. 이를 통해 향후 새로운 데이터가 올라오면 신규 모델을 생성하도록 자동화할 수 있다. 또한, API를 사용하여 이전 모델, 데이터 소스, 평가 및 배치 예측의 반복성과 추적 사항을 점검할 수 있다.

특히 아마존머신러닝을이용한게임개발에이용하는방법에 대한 동영상을 보면, 기계 학습이 어떻게 실제 문제를 풀 수 있는지에 대한 답을 얻을 수 있다.

■ 딥러닝 학습을 위한 길잡이

어떻게 하면 개발자가 인공 지능에 입문해 볼 수 있을까? 홍콩과학기술대학 김성훈 교수가 국내 개발자를 위해 만든 모두를위한머신러닝/딥러닝강의는 개발자들 사이에서입소문을 타고 인기를 얻고 있다. 동영상과 소스 코드를 통한 실습 자료를 제공해, 쉽게 배울 수 있다.

본 강좌의 마지막에는 Amazon EC2(Elastic Compute Cloud) 중 GPU 사용이 가능한 G2 인스턴스 타입을 활용하는 보너스강의가 나온다. 김교수는 “GPU를 사용하는 경우, 기존 데스크톱에서 데이터를 훈련할 때 보다 25배의 속도가 높아지며, 스팟 인스턴스를 사용하면 비용도 저렴하며 필요할 때만 이용할 수 있다”고 장점을 말하고 있다.

텐서플로를 Amazon EC2에서 활용하는 방법은 John Ramey가만든공개 AMI(아마존머신이미지) 사용방법이나 “BitFusion의 AWS 마켓플레이스솔루션을 참고하면 좋다.

지난 5월 아마존에서도 DSSTNE(Deep Scalable Sparse Tensor Network Engine)라 는 딥러닝 라이브러리를 오픈 소스로 공개하였다. DSSTNE는 GPU를 활용하는 데이터 훈련 및 딥러닝애플리케이션에 사용하기 위한 것으로, 아마존 규모의 데이터를 처리하기 위해 만들어진 것이라는 점에서 실제 문제를 해결하는데 도움을 줄 수 있다.

아마존 딥러닝 오픈 소스 라이브러리: DSSTNE ? 출처: Github

이를 위해 다중 GPU를 사용한 데이터 훈련 및 예측 및 병렬 모델을 수행하는 더 큰 뉴럴네트웍을 지원하는 등 더 빠른 컴퓨팅 성능에 최적화 되어 있다. C++로 개발된 본 라이브러리는 뉴럴 네트워크 구성을 JSON 포맷으로 정의할 수 있으며, GPU가 가능한 자신의 PC 뿐만 아니라 AWS의 G2 인스턴스 및 도커(Docker) 콘테이너로 구성할 수 있다.

Scott Le Grand는 자신의 블로그 글에서, “Amazon DSSTNE가 벤치마크 결과 텐서플로에 비해 15배높은성능이라는결과“를 제시하기도 했다.