링크드인, 자바용 기계학습 라이브러리 ‘달리’ 출시

링크드인이 자바로 개발된 환경에서 기술 부채 없이 기계학습(ML)을 진행할 수 있도록 전용 라이브러리를 공개했다.

링크드인은 자바 및 기타 JVM언어용 오픈소스 기계학습 라이브러리 달리(Dagli)를 출시했다고 공식 블로그를 통해 최근 밝혔다.

달리는 기계학습에 익숙하지 않은 소프트웨어 엔지니어를 위해 개발됐다. 또한 기존 업무에 주로 사용하던 자바를 활용해 기존 앱과의 적용 및 유지관리를 간소화해 장기적인 기술 부채를 줄이는 것을 목표로 한다.

링크드인의 제프 파스터넥 리서치 과학자는 “우수한 기계학습도구가 많이 나오고 있지만, 기계학습 구성, 교육 및 배포 작업은 여전히 번거롭고 중복되거나 비효율적인 작업이 필요한 경우가 많다”며 “이러한 문제는 유지관리를 복잡하게 만들고 장기적인 기술부채를 발생시키는 코드를 생성한다”고 말했다.

그는 또 “달리는 기술부채를 발생시키지 않고 버그 방지, 읽기, 수정, 유지 관리 및 쉽게 배포가능한 모델 파이프라인을 작성할 수 있다”며 “또한 멀티코어 CPU와 강력한 GPU에 효과적인 단일 기계훈련을 지원한다”고 설명했다.

달리는 전체 모델 파이프라인은 광범위 최적화 기회를 지원하는 방향성 비순환 그래프(DAG)로 정의된다. 훈련과 추론을 위하 파이프라인을 별도로 구현할 필요가 없다.

읽기 쉬운 파이브라인 정의, 유비쿼터스 정적 타이핑 등의 설계를 통해 잠재적인 논리 오류를 방지한다.

달리는 서버, 하둡, 명령줄인터페이스(CLI), IDE 등 일반적인 JVM컨텍스트에서 작동한다. 전체 파이프라인이 단일 객체로 직렬화 및 역직렬화 되어 배포가 간단하다.

신경망, 로지스틱 회귀, 패스트텍스트, 교차검증, 데이터판독기 등 다양한 파이프라인 구성 요소를 내장하고 있어 필요시에 즉시 사용할 수 있다. 또한 자바로 개발된 만큼 JVM언어의 기존 IDE의 코드완성, 인라인 문서, 디버거 등을 적용가능하다.

제프 파스터넥는 “우리는 효율적이고 생산준비가 완료된 모델을 보다 쉽게 작성하고 수정 및 배포해 기술적 부채와 장기 유지 관리 문제를 피하려 한다”며 “지속해서 이 프로젝트를 발전 시켜 나갈 것”이라고 밝혔다.

달리는 깃허브에 오픈소스로 공개돼 있다. 사용자는 주석이 포함된 예제와 함께 무료로 다운받아 사용할 수 있다.