아마존닷컴 추천의 비밀, AWS가 풀었다

개인화 추천, 비즈니스 예측 등 API 서비스 공개

[라스베이거스(미국)=김우용 기자] 아마존닷컴에서 사용하는 인공지능(AI) 기술의 비밀을 아마존웹서비스(AWS)가 서비스로 풀었다.

AWS는 28일(현지시간) 미국 라스베이거스에서 개최한 'AWS 리인벤트 2018'에서 아마존닷컴에 사용되는 AI 서비스 2종을 발표했다.

이날 공개된 '아마존 퍼스널라이즈'는 실시간 개인화 추천 서비스를 구축할 수 있는 API 서비스다. 머신러닝으로 비즈니스를 예측할 수 있는 '아마존 포캐스트'도 공개됐다. 두 서비스 모두 현재 아마존닷컴에서 사용하는 것과 동일한 기술이다.

두 서비스는 머신러닝 모델 관련 지식 없이 개인화 추천과 예측 시스템을 구축하도록 해준다.

앤디 재시 AWS CEO가 아마존 퍼스널라이즈를 소개하고 있다.

아마존 퍼스널라이즈는 최종사용자에게 음악, 영화, 기사, 상품 등을 추천할 수 있게 한다. 아마존은 유통업에 적합한 6개 알고리즘을 선정해 데이터를 학습시킨다.

AWS 고객이 사용하는 아마존 퍼스널라이즈는 완전히 격리되고, 외부의 접근을 차단한다. 세이지메이커와 유사하게 완전한 매니지드형 머신러닝 서비스로, 고객은 데이터 입력만 등록하면 된다.

아마존 포캐스트는 시계열 데이터를 예측하게 한다. 다양한 데이터 지점을 활용할 수 있다. 유통업에서 사용되는 데이터 지점은 내부 회계문서뿐 아니라 날씨, 배송시간, 고객 리뷰 등 수백종이다. 다양한 측면으로 미래를 예측하고 SAP, 오라클의 SCM 소프트웨어에 통합시킬 수 있다.

앤디 재시 아마존웹서비스(AWS) 최고경영자(CEO)는 "지난 20년간 아마존에서 축적해온 기술을 모두가 활용하게 됐다"며 "AWS의 새로운 AI 서비스는 효율적으로 일상 업무를 수행할 수 있게 해준다"고 강조했다.

아마존 퍼스널라이즈나 아마존 포캐스트를 이용한다고 해서 즉시 아마존닷컴 수준의 추천, 예측을 할 수 있는 건 아니다. 당연히 데이터가 중요하다.

올리비에 클라인 AWS APJ 신기술 담당은 "아마존의 추천 엔진은 막대한 투자를 해야 만들 수 있는 기능이고, 이를 모두에게 제공하자는 취지로 공개한 게 아마존 퍼스널라이즈 서비스"라며 "개인화 제안 역량을 제공하긴 해도 우수한 결과를 내기 위한 출발점은 좋은 데이터세트를 확보하는 것"이라고 설명했다.

AWS는 OCR++ 서비스인 '아마존 텍스트랙트'도 선보였다. 카메라로 찍은 문서에서 원하는 정보를 식별해 추출해준다. 다단 편집된 문서, 복잡한 표로 구성된 문서양식 등에서 데이터 맥락을 이해한다.

머신러닝의 추론을 가속하는 기술도 공개됐다.

앤디 재시 CEO는 "머신러닝에서 추론에 투입되는 비용이 매우 크다"며 "이 문제를 해결하기 위한 새 프로세서와 서비스를 만들었다"고 밝혔다.

공개된 '아마존 엘라스틱 인퍼런스'는 GPU 가속기를 일반 EC2 인스턴스에 자유롭게 붙였다 떼었다 할 수 있게 해준다. GPU 전용 인스턴스를 항상 구비할 경우보다 75% 비용을 절감할 수 있다. 엘라스틱 인퍼런스를 활용하면 순식간에 1~32 테라플롭스 연산성능을 이용할 수 있다.

자체적으로 개발한 추론 전용 프로세서 'AWS 인퍼렌시아'도 공개됐다. 머신러닝 추론을 위해 개발된 것으로 구글 TPU와 유사한 역할을 한다.

AWS 인퍼렌시아는 텐서플로뿐 아니라 카페, MXNET, 파이토치 등 대중적 머신러닝 프레임워크를 모두 지원한다. 모든 형태의 EC2 인스턴스에서 사용가능하다.

지도학습 머신러닝 개발의 주된 고민거리인 데이터 라벨링 작업도 쉬워졌다. 'AWS 세이지메이커 그라운드트루스'를 이용하면 오브젝트 라벨링 비용을 70%까지 줄일 수 있다.

강화학습(Reinforce Learning)을 아마존 세이지메이커에서 이용할 수 있게 됐다. '아마존 세이지메이커 RL'을 이용해 적은 데이터로도 높은 수준의 AI를 만들 수 있게 된다.

AWS는 세이지메이커에 100여개의 머신러닝 알고리즘을 제공하고 있다. 학계서 새로 만들어지는 알고리즘이 세이지메이커에 새로 추가되기까지 시간이 걸린다. 이 문제를 해결하기 위해 새롭게 개발된 머신러닝 알고리즘을 판매, 구매할 수 있는 장터를 열었다. AWS 머신러닝용 마켓플레이스는 한번의 클릭으로 알고리즘을 구매해 바로 세이지메이커에서 사용할 수 있게 한다.

앤디 재시 CEO는 "말은 줄이고 액션을 할 수 있게 다양한 서비스를 출시했다"며 "여러 계층에서 출시된 서비스는 비용 효율적인 방식으로 빌더가 머신러닝 모델을 개발하고 운영하게 도와줄 것"이라고 강조했다.