이베이, 3년 걸린 IT 인프라 개편 여정 마무리

자체 디자인한 서버, 4분기 오픈소스로 공개

이베이가 자사의 비즈니스 변화에 맞춰 직접 디자인한 서버를 완성했다. 4분기에 오픈소스로 서버 디자인을 공개할 예정이다.

최근 이베이는 3년에 걸친 인프라 플랫폼 전면 개편을 마무리하고, 자체 개발한 서버를 완성했다고 발표했다. 이베이의 새로운 서버 디자인은 올해 4분기에 오픈소스로 일반에 공개될 예정이다.

이베이의 인프라 개편 작업은 약 3년 전 시작됐다.

이베이의 자체 하드웨어와 인공지능(AI) 엔진을 개발했고, 데이터센터 클러스터를 탈중앙화하는 작업을 진행했다. 엣지 컴퓨팅 아키텍처를 도입하고, 오픈소스 기술 기반의 새 배포 환경을 접목하는 작업도 이뤄졌다.

이베이는 1억7천500만명의 활동 사용자를 보유한 전자상거래 기업이다.

11억개 이상의 실시간 목록과 매일 3천억건의 데이터 쿼리 처리, 500페타바이트 이상 규모의 데이터 풋프린트를 운영한다. 500페타바이트는 디지털음원 1조 곡, 영화 250만 편의 용량이다.

이베이가 3년에 걸친 인프라 개편 작업을 마무리했다.

이베이는 새 인프라를 도입해 신기술의 이점을 취하고, 효율성, 유연성, 확장성을 추가로 개선할 것으로 기대하고 있다. 신기술 적용을 쉽게 하면서도 운영 안정성을 확보한다는 기본 목표도 갖고 있다.

이베이 서버는 써드파티 공급사 의존성을 줄이도록 회사 내부에서 직접 디자인됐다.

이베이는 9개월동안 맞춤형 하드웨어 시제품을 개발해 현업에 배치했다고 밝혔다. 새로 고안된 하드웨어는 쿠버네티스, 엔보이, 몽고DB, 도커, 아파치 카프카 등 최신 기술을 지원한다.

마젠 라와시데 이베이 플랫폼엔지니어링 부사장은 "기술 스택 각 계층을 체계적으로 검토했고, 효율성, 가용성, 그리고 현존 솔루션을 개선할 기회를 실험했다"며 "이와 같은 개편 노력을 회사들이 감내할 때 그 막대한 시간을 눈여겨볼 가치가 있다"고 강조했다.

그는 "기업은 예산을 늘려야 하고, 종종 수년을 기다려야 한다"며 "그러나 이베이는 비용 급증 없이 공격적인 일정으로 개편을 할 수 있었고, 절감한 비용을 사업에 재투자했다"고 덧붙였다.

이베이는 인터넷접속거점(POP) 전략과 미국 내 클러스터 탈 중앙화 등을 취하고 엣지 컴퓨팅 아키텍처를 활용했다. 이를 통해 600~800밀리초의 로딩시간을 단축할 수 있었다고 마젠 라와시데 부사장은 밝혔다.

이베이 서버 인프라 후면

데이터 계층은 여러 오픈소스 기술을 이용해 이베이에 맞춤화된 모델을 만들었다. 지리적으로 분산된 오브젝트와 데이터 저장소를 만들었고 장애복구성을 갖췄다.

이베이 AI 엔진은 컴퓨터 비전, 이미지 검색, 소셜 공유 등 실제 서비스에 적용됐다. 이를 통해 서비스 개발 시간을 수주에서 수시간으로 줄일 수 있다고 한다.

마젠 라와시데 부사장은 "우리는 이베이의 혁신과 기술적 경험을 더 넓은 엔지니어링 커뮤니티에 오픈소스로 되돌려주려 한다"며 "이베이는 하드웨어뿐 아니라 API 제공을 통한 소프트웨어 개발 노력에도 오픈소스 철학을 받아들였고, 이베이의 미래 초석으로 개발자 프로그램에도 투자하고 있다"고 밝혔다.

그는 최신 기술로 인프라를 전면 개편하는 작업에서 문화의 중요성을 강조했다.

그는 "인프라 개편을 성공적으로 할 수 있었던 핵심은 당연히 사람"이라며 "올바른 문화를 구축하고, 최고의 분위기를 조성하는 것은 신중하고 섬세한 작업"이라고 적었다. 이어 "올바른 문화가 자리잡아야 기술과 혁신이 따라올 것"이라고 덧붙였다.[이베이 마젠 라와시데 부사장 블로그 글 바로가기]