리벨리온 NPU, SKT 4대 상용 AI 서비스에 채택…'하루 40억 토큰' 처리

에이닷·AICC·스캠뱅가드 확대 적용…GPU 의존 낮추고 운영 효율 극대화

국내 인공지능(AI) 반도체 스타트업 리벨리온의 신경망처리장치(NPU)가 SK텔레콤의 주요 상용 AI 서비스 4종의 핵심 엔진으로 전면 확대 적용됐다. 국산 AI 반도체가 대규모 트래픽을 실시간으로 감당하는 주류 인프라로 자리 잡았다는 평가가 나온다.

리벨리온은 자사 AI 반도체가 SK텔레콤 대표 서비스 4개의 핵심 기능에 확대 탑재됐다고 21일 밝혔다. 지난해 12월 ‘에이닷 통화요약’ 관계추정 기능에 자체 NPU 서버 ‘아톰맥스(ATOM-Max)’를 최초 상용 적용한 이후 반년 만에 음성합성, 인공지능 고객센터, 피싱 문자 차단 등으로 적용 범위를 넓혔다.

리벨리온, SKT AI 서비스 지원 확대.(사진=리벨리온)

구체적으로는 지난 6월부터 순차적으로 ▲에이닷 통화요약 ‘한 줄 요약’ ▲에이닷 ‘스트리밍 음성합성(TTS)’ ▲AI 고객센터(AICC) ‘상담 후처리 및 검색 시스템’ ▲스캠뱅가드 ‘미끼문자 탐지’ 등 4대 서비스에 리벨리온 NPU가 도입됐다. 현재 리벨리온 인프라가 처리하는 트래픽은 하루 약 1,400만 건, AI 모델이 연산하는 최소 단위인 토큰 기준으로는 일 40억 개를 웃돈다. 이는 글로벌 빅테크의 대규모 상용 서비스에 버금가는 수준이다.

특히 저지연·고성능 연산력을 기반으로 텍스트 생성과 동시에 문장 단위로 음성을 즉시 합성하는 에이닷 스트리밍 TTS를 지연 없이 구동해 매끄러운 대화 경험을 제공한다. 또 글로벌 표준 배포 환경을 지원해 스캠뱅가드가 서비스 중단 없이 신종·변종 사기 탐지 모델을 즉시 업데이트할 수 있도록 뒷받침한다.

SK텔레콤은 NPU 수십 대와 가속 카드 수백 장을 연동한 ‘NPU 팜(Farm)’을 구축하고 사내 여러 서비스가 자원을 공유하는 풀(Pool) 방식을 도입했다. 서비스 워크로드에 맞춰 GPU와 NPU를 유연하게 재배치함으로써 전사 컴퓨팅 인프라 비용을 대폭 낮췄다.

박성현 리벨리온 대표는 “국민이 매일 쓰는 대규모 서비스 4개가 리벨리온 인프라 위에서 원활하게 가동되며 국산 NPU의 신뢰성을 입증했다”며 “상용 운영 실적을 발판 삼아 금융·통신·공공 등 국내외 AI 시장 공략을 가속화하겠다”고 말했다.

박병관 SK텔레콤 코어플랫폼담당은 "AI 컴퓨팅 수요가 증가함에 따라 GPU뿐만 아니라 리벨리온의 NPU를 적극 도입하여 활용하고 있다. AI 서비스 태스크별 특성에 맞춰 GPU와 NPU를 선별적으로 활용 및 재배치해 전사 AI 자원 활용의 효율성을 높였다”며, “앞으로도 NPU팜을 확대하여 국산 NPU 반도체 활용 시너지를 극대화하고, 사내외 AI 컴퓨팅 수요에 기민하게 대응할 예정이다”라고 전했다.