페이스북, ZIP 대체할 압축기술 소스코드 공개

페이스북이 Z스탠더드(Zstandard)라 명명한 새 압축 알고리즘의 소스코드를 공개했다.

미국 지디넷은 31일(현지시각) 페이스북이 Zip 파일 포맷의 기반이 되는 범용 압축기술을 대체하기 위해 Z스탠더드를 선보였다고 보도했다.

[☞참조링크: Facebook open sources Zstandard data compression algorithm, aims to replace technology behind Zip]

가장 대중적인 Zip파일용 압축기술은 '디플레이트(Deflate)'라 불리는 알고리즘이다. 페이스북은 '앳스케일(@Scale) 컨퍼런스'에서, 그것보다 자신들이 선보인 Z스탠더드의 범용 데이터압축 효율이 5~10% 우수하고 처리속도 역시 2~3배에 달한다고 주장했다.

Z스탠더드 알고리즘이 디플레이트를 대체할 수 있을지는 지켜볼 일이다. 페이스북은 공식 블로그를 통해 디플레이트 알고리즘과 그걸 활용한 Zip, Gzip, zlib같은 압축 파일 포맷이 근 20년간 쓰여 왔다고 지적했다. 거의 모든 컴퓨터 기기에 이 파일 포맷을 처리하기 위한 툴이 탑재돼 있다. 페이스북의 설명 일부다.

"현재 데이터압축 세계의 표준은 디플레이트라고 하는, Zip, gzip, zlib 포맷의 핵심 알고리즘이다. 이게 20년동안 속도와 여유공간의 인상적인 균형을 제공해 왔고 그 결과 거의 모든 전자기기에서 쓰이고 있다. 몇년간 더 나은 압축률이나 속도를 갖춘 다른 알고리즘이 나왔지만 둘 다 갖춘 경우를 찾긴 어려웠다."

[☞참조링크: Smaller and faster data compression with Zstandard]

페이스북이 공개한 새 압축알고리즘 Z스탠더드의 압축효율을 기존 업계표준처럼 쓰이는 디플레이트와 비교한 그래프.[자료=페이스북]

페이스북이 공개한 Z스탠더드 1.0 버전은 기존 압축도구에 통합될 수 있다. 그리고 페이스북이 쓰면서 만들어낸 다른 오픈소스 기술과 마찬가지로 Z스탠더드 역시 대규모 확장 환경을 염두에 두고 만들어졌다. 이에 대해 이어지는 페이스북의 관련 설명이다.

[☞참조링크: GitHub - facebook/zstd: Zstandard - Fast real-time compression algorithm]

"Z스탠더드는 현재 환경을 빠르게 만들고 미래에도 확장을 할 수 있도록 설계됐다. 많은 알고리즘은 시간과 공간의 맞교환을 요하는 '압축수준'을 설정할 수 있는데, 높은 수준의 압축을 적용하면 뛰어난 압축률을 보이지만 속도를 희생하게 된다. Zlib 파일 형식은 9단계 압축수준을 지원한다. Z스탠더드는 현재 22단계를 지원해, 미래 데이터에 알맞게 유연하고 세분화한 교환조건을 정할 수 있다. 예를 들어 속도가 최우선이면 1단계, 용량이 최우선이면 22단계다."

페이스북은 Z스탠더드뿐아니라 마이록스(MyRocks)라 부르는 차세대 마이SQL(MySQL) 스토리지엔진을 배포하며 그 소스코드도 공개한다고 밝혔다. 페이스북은 마이록스를 통해 회사의 마이SQL 데이터베이스를 호스팅하기 위한 서버를 절반으로 줄였다고 설명했다.

[☞참조링크: MyRocks: A space- and write-optimized MySQL database]