마키나락스, '런웨이'서 AI 성능·자원·비용 한눈에 보여준다

AI OS 업데이트…LLM 토큰 사용량부터 데이터 드리프트·인프라 자원까지 관측 기능 강화

마키나락스가 기업이 인공지능(AI)의 성능과 자원, 비용을 직접 파악하고 통제할 수 있도록 AI 운영체제(OS)를 고도화했다. AI 운영 전반에 대한 기업의 자율적인 통제권을 높여 '기업 AI 주권'을 강화한다는 취지다.

마키나락스는 AI OS '런웨이' 2.4.0 업데이트를 통해 새로운 기능을 추가했다고 30일 밝혔다. 런웨이는 데이터와 모델, 현장 시스템을 연결하고 AI 개발부터 배포와 재학습까지 전 과정을 통합 관리하는 플랫폼으로 폐쇄망을 포함한 보안 환경에서도 운영할 수 있다.

이번 업데이트는 기업이 AI의 성능과 자원, 비용을 직접 파악하고 통제할 수 있도록 거버넌스 기능을 강화하는 데 초점을 맞췄다. 주요 기능에는 ▲토큰 사용량 통합 대시보드 ▲입력 데이터 드리프트 감지 ▲추론 요청·응답 로깅 ▲추론 성능 모니터링 ▲워크로드 파드(Pod) 단위 자원 모니터링 ▲계층별 자원 사용 통계 ▲스토리지 브라우저 업로드·다운로드 등이 추가됐다.

(사진=마키나락스)

가장 눈에 띄는 기능은 '토큰 사용량 통합 대시보드'다. 대규모언어모델(LLM) 사용이 확대되면서 기업의 토큰 사용량과 비용 관리 필요성이 커진 가운데 조직·프로젝트·모델별 토큰 소비 현황을 한 화면에서 확인할 수 있도록 했다.

온프레미스와 클라우드 등 배포 환경과 관계없이 사용량을 집계할 수 있는 것도 특징이다. 인프라가 혼재된 환경에서도 토큰 사용 현황을 통합적으로 파악해 비용을 관리할 수 있도록 지원한다.

AI 모델의 배포 이후 성능 변화를 관측하는 기능도 강화했다. '입력 데이터 드리프트 감지'는 모델에 입력되는 데이터 분포가 학습 당시 데이터 등 기준 데이터와 얼마나 달라졌는지를 자동으로 비교해 변화 여부를 감지한다.

정답 데이터가 확보되기 전에도 입력 데이터의 분포 변화를 포착할 수 있어 모델 성능 저하 가능성을 사전에 파악할 수 있다. 설정한 이상 조건에 도달하면 사용자에게 자동으로 알림을 제공하며 추론 요청·응답 로깅과 추론 성능 모니터링을 통해 재검증이나 재학습 시점을 판단할 수 있도록 지원한다.

인프라 자원에 대한 가시성도 높였다. '워크로드 파드 단위 자원 모니터링'을 통해 그래픽처리장치(GPU)·중앙처리장치(CPU)·메모리·스토리지 사용량과 재시작 횟수 등을 개별 파드 단위로 확인할 수 있으며 '계층별 자원 사용 통계'에서는 워크스페이스·프로젝트·생성자·워크로드별 자원 현황을 확인할 수 있다.

웹에서 파일을 직접 올리고 내려받을 수 있는 '스토리지 브라우저 업로드·다운로드' 기능도 추가됐다. 이를 통해 AI 운영 과정에서 필요한 데이터 관리 편의성도 높였다.

런웨이는 올해 초 2.0 버전을 통해 개방형 아키텍처 재편과 보안 정책 강화, 권한 기반 거버넌스 확립 등을 추진했다. 이후 국방과학연구소, 한국수자원공사, 보험개발원 등에 적용되며 제조·국방·금융·공공 등 고보안·고규제 환경으로 활용 범위를 넓히고 있다.

심상우 마키나락스 최고기술책임자(CTO)는 "이번 업데이트로 고객은 AI 도입 이후의 성능 저하 여부는 물론, 자원과 비용이 효율적으로 쓰이고 있는지까지 투명하게 들여다보고 문제가 생기기 전에 대응할 수 있게 됐다"며 "성능·자원·비용에 대한 자율적 통제권 확보는 자사 AI를 주도적으로 운영하는 '기업 AI 주권' 실현의 핵심"이라고 말했다.