야후, 플리커에 쓰는 딥러닝SW 공개

야후가 플리커 이미지처리에 사용되는 딥러닝 소프트웨어를 오픈소스로 공유했다.

26일(현지시간) 미국 지디넷에 따르면, 야후는 딥러닝 소프트웨어 ‘카페온스파크(CaffeOnSpark)를 오픈소스로 공개했다.

카페온스파크는 아파치 스파크 프레임워크에 기반을 뒀다. 아파치 스파크는 머신러닝 라이브러리인 ‘스파크 MLib을 갖고 있지만, 이 라이브러리는 딥러닝 알고리즘은 아니다.

카페온스파크는 스파크 애플리케이션에 사용자 생성 데이터의 수집에 기반한 예측 및 모델을 뽑아내기 위해 데이터프레임을 사용하게 해준다.

야후 빅ML팀의 엔디 펭은 “카페온스파크를 스파크 애플리케이션에 임베드해 딥러닝 훈련과 실험을 하게 만들었다”고 설명했다.

야후는 카페온스파크가 원하지 않는 데이터 이동을 제거하고, 빅데이터 클러스터에서 직접 운영될 수 있다고 강조했다. 이를 통해 특정 업무의 속도의 효율성을 개선할 수 있다고 덧붙였다.

카페온스파크는 야후 플리커에 사용됐다. 하둡 클러스터와 함께 활용돼 이미지 식별 성능을 개선했다.

카페온스파크 딥러닝 시스템은 깃허브에 올라와있으며 아파치v2 라이선스로 사용가능하다.[☞카페온스파크 깃허브 바로가기]