아마존 세이지메이커, ML 거버넌스 등 관리 기능 강화

[라스베이거스(미국)=김우용 기자] 아마존웹서비스(AWS)가 머신러닝 개발 및 운영도구 ‘아마존 세이지메이커’의 새로운 기능 8종을 공개했다. 사용자를 겨냥한 기능보다 운영책임자의 관리 역량 개선에 초점을 맞췄다.

AWS는 30일(현지시간) 미국 라스베이거스에서 개최한 ‘AWS 리인벤트2022’ 컨퍼런스에서 아마존 세이지메이커의 8가지 신규 기능을 발표했다.

아마존 세이지메이커는 개발자, 데이터 과학자, 비즈니스 분석가에게 머신러닝 모델 개발 및 운영을 위한 완전 관리형 인프라, 도구, 워크플로우 등을 제공하는 서비스다. 아마존 세이지메이커를 사용해 빠르고 쉽게 ML 모델을 구축, 훈련, 배포할 수 있다. 국내에서도 삼성전자, 현대자동차 등 대기업을 비롯해 중견기업과 스타트업에 이르기까지 폭넓은 인기를 끌고 있다. 올해 행사에서 현대자동차가 세이지메이커를 활용해 머신러닝 모델의 성능을 모니터링하고 추적 분석해 모델 트레이닝 시간을 10배로 단축시켰다는 내용이 기조연설에 소개되기도 했다.

ML 개발이 활발해지면 조직에서 배포, 운영하는 모델이 빠르게 늘어난다. ML 모델 개발을 시도하는 사용자의 수가 늘어나고, 더 많고 데이터 원천을 확보하려는 시도도 늘어난다. 만들어진 ML 모델을 또 다른 사용처에서 재사용하게 하고, 지속적으로 발전시킬 수 있게 모델을 찾기도 쉬워야 한다. ML모델을 효율적으로 관리할 수 있는 고급 기능이 필요해지는 이유다.

AWS에 따르면, 현재 업계 규모와 업종에 관계없이 수만 명의 고객이 아마존 세이지메이커를 활용하고 있다. 매달 수백만 개의 모델이 구축되고, 수십억 개의 패러미터로 모델을 훈련하며, 수조 건의 예측을 생성하고 있다.

올해 AWS 리인벤트에서 공개된 업데이트로 아마존 세이지메이커에 ML 전용 거버넌스 도구, 차세대 노트북, 간소화된 모델 테스트, 지리공간 데이터 지원 등이 새롭게 추가됐다.

아마존 세이지메이커 ML 거버넌스 기능

■ 머신러닝 전용 거버넌스 기능 탑재

우선 ML 수명 주기 전체에서 모델 성능에 대한 가시성을 제공하는 새로운 아마존 세이지메이커 거버넌스 기능이 추가됐다.

새로운 아마존 세이지메이커 스튜디오 노트북 기능은 몇 번의 클릭으로 데이터 품질 문제를 검사 및 해결하게 돕는다. 데이터 사이언스 팀 간의 실시간 협업을 촉진하고, 노트북 코드를 자동화 작업으로 변환해 실험에서 프로덕션으로 이동하는 프로세스를 가속할 수 있다.

아마존 세이지메이커는 이와 함께 모델 검증을 자동화하고 지리공간 데이터 작업을 더 쉽게 수행하게 개선됐다.

아마존 세이지메이커의 신규 ML 거버넌스 기능은 세가지로 구성된다. 아마존 세이지메이커 ML 거버넌스 기능들은 ML 모델 수명 주기 전반에서 거버넌스를 보다 쉽게 확장할 수 있도록 지원하는 새로운 기능을 제공한다. 조직 내에서 모델과 사용자 수가 늘어남에 따라 최소 권한 액세스 제어를 설정하고 모델 정보(입력 데이터 세트, 훈련 환경 정보, 모델 사용 설명, 위험 등급 등)를 문서화하기 위한 거버넌스 프로세스를 설정하기가 더 어려워졌다. 모델이 배포되면 고객은 편향과 피쳐 드리프트를 모니터링하여 모델이 예상대로 실행되는지 확인해야 한다.

‘아마존 세이지메이커 롤 매니저(Role Manager)’는 접근과 권한을 쉽게 제어할 수 있다. 적절한 사용자 적븐 제어는 거버넌스의 기본이다. 데이터 프라이버시를 지원하고 정보 유출을 방지하며 실무자가 업무를 수행하는 데 필요한 도구에 접근할 수 있도록 한다.

데이터 사이언스 팀이 수십 또는 수백 명으로 늘어남에 따라 이러한 제어를 구현하는 것이 점점 더 복잡해지고 있다. 조직의 ML 시스템을 만들고 모니터링하는 ML 관리자는 ML 워크플로우 내에서 작업, 리소스, 데이터에 대한 액세스를 제어하면서 개발을 간소화하기 위한 노력의 균형을 맞춰야 한다. 오늘날 관리자는 스프레드시트를 만들거나 임시 목록을 사용해 데이터 준비, 훈련 등 수십 가지 활동을 해야 하며, ML 엔지니어, 데이터 사이언티스트 등 역할마다 필요한 접근 정책을 탐색한다. 이러한 도구는 수동으로 유지되며 새로운 사용자가 작업을 효과적으로 수행하는 데 필요한 특정 작업을 정하는 데 몇 주가 걸릴 수 있다.

아마존 세이지메이커 롤 매니저를 사용하면 관리자는 더 쉽게 접근를 제어하고, 사용자 권한을 정의할 수 있다. 관리자는 다양한 사용자 역할과 책임에 따라 사전 구축된 템플릿을 선택하고 편집할 수 있다. 그런 다음 이 도구는 몇 분 안에 필요한 권한이 있는 액세스 정책을 자동으로 생성해 사용자를 온보딩하고 관리하는 데 드는 시간과 노력을 지속적으로 줄여 준다.

‘아마존 세이지메이커 모델 카드(Model Cards)’는 모델 정보 수집을 단순화하는 기능이다.

오늘날 대부분의 실무자는 모델 개발과 평가 중에 비즈니스 요구 사항, 주요 결정, 관찰 결과를 문서화하기 위해 이메일, 스프레드시트, 텍스트 파일 등에 의존한다. 실무자는 승인 절차, 등록, 감사, 고객 문의, 모니터링을 지원하기 위해 이러한 정보가 필요하지만, 각 모델에 대한 세부 정보를 수집하는 데 몇 달이 걸릴 수 있다. 일부 실무자는 수동적이고 시간이 오래 걸리며 오류가 발생하기 쉬운 복잡한 기록 관리 시스템을 구축해 이 문제를 해결하려 시도한다.

아마존 세이지메이커 모델 카드는 모델 정보를 AWS 콘솔에 저장할 수 있는 단일 위치를 제공하여 모델 수명 주기 동안 문서 작업을 간소화한다. 새로운 기능은 입력 데이터 세트, 훈련 환경, 훈련 결과와 같은 훈련 세부 정보를 아마존 세이지메이커 모델 카드에 직접 자동으로 채운다. 실무자는 성능 목표, 위험 등급 등 모델 정보, 편향 또는 정확도 등 훈련 및 평가 결과를 문서화하기 위해 셀프 가이드 질문지를 사용해 추가 정보를 포함하고, 향후 참조를 위해 관찰 결과를 기록해 거버넌스를 개선하고 책임 있는 ML 사용을 지원할 수 있다.

‘아마존 세이지메이커 모델 대시보드(Model Dashboard)’는 ML 모델을 추적하기 위한 중앙 인터페이스를 제공한다.

ML 모델이 프로덕션에 배포되면 실무자는 모델의 성능을 이해하고 잠재적인 문제를 포착하기 위해 시간 경과에 따라 모델을 추적하기를 원한다. 이 작업은 일반적으로 각 모델에 대해 개별적으로 수행되지만 조직이 수천 개의 모델을 배포하기 시작함에 따라 점점 더 복잡해지고 더 많은 시간과 리소스를 필요로 한다.

아마존 세이지메이커 모델 대시보드는 배포된 모델과 엔드포인트에 대한 포괄적인 개요를 제공하고, 실무자가 한 곳에서 리소스와 모델 동작을 추적할 수 있도록 한다. 고객은 대시보드에서 AWS의 모델 및 데이터 드리프트 모니터링 기능인 아마존 세이지메이커 모델 모니터와 AWS의 ML 편향 감지 기능인 아마존 세이지메이커 클래리파이와 기본 통합을 사용할 수도 있다. 모델 동작과 성능에 대한 엔드투엔드 가시성은 ML 거버넌스 프로세스를 간소화하고 모델 문제를 신속하게 해결하는 데 필요한 정보를 제공한다.

■ 머신러닝 협업 개발과 데이터 준비 간소화하는 '세이지메이커 노트북'

아마존 세이지메이커 스튜디오 노트북은 실무자에게 데이터 탐색에서 배포까지 완전관리형 노트북 경험을 제공한다. 팀의 규모와 복잡성 등이 증가하면서 수십 명의 실무자가 주피터 노트북 같은 도구를 사용해 공동으로 모델을 개발하는 상황이 빈번해졌다. AWS는 높은 수준의 노트북 경험을 계속 제공하기 위해 고객이 노트북 코드를 조정하고 자동화하는 데 도움되는 세 가지 신규 기능을 출시했다.

아마존 세이지메이커 스튜디오 노트북은 데이터 준비 간소화 기능을 제공한다. 실무자는 훈련을 위해 데이터를 준비할 때 정보 누락, 극단값, 왜곡된 데이터 세트, 편향 등의 잠재적인 데이터 품질 문제를 찾아 수정하기 위해 노트북에서 직접 데이터 세트를 탐색하기를 원한다. 실무자가 문제를 식별하고 수정하기 위해서 데이터 세트의 여러 부분을 시각화하고 검사하기 위한 보일러 플레이트 코드를 작성하는 데 몇 달이 소요될 수 있다.

아마존 세이지메이커 스튜디오 노트북은 몇 번의 클릭만으로 노트북 환경에서 직접 데이터 특성을 시각적으로 검토하고 데이터 품질 문제를 해결할 수 있는 데이터 준비 기능을 기본 제공한다. 사용자가 노트북에 데이터 프레임을 표시하면, 아마존 세이지메이커 스튜디오 노트북은 사용자의 데이터 품질 문제 식별에 도움을 주는 차트를 자동으로 생성하고, 일반적인 문제를 해결하는 데 도움되는 데이터 변환을 제안한다. 실무자가 데이터 변환을 선택하면, 아마존 세이지메이커 스튜디오 노트북은 노트북이 실행될 때마다 반복적으로 적용될 수 있도록 노트북 내에 해당 코드를 생성한다.

데이터 준비 완료 후 실무자는 팀원끼리 단일 노트북 내에서 협업해야 할 수도 있는 반복 프로세스를 포함한 모델 개발을 시작할 수 있다. 그동안 팀들은 노트북에서 실시간으로 함께 작업하기 위해 이메일이나 채팅 애플리케이션을 통해 노트북과 모델, 데이터 세트 등을 포함한 기타 자산을 교환해야 했고, 이는 커뮤니케이션 피로, 지연된 피드백 루프, 버전 제어 문제로 이어졌다.

아마존 세이지메이커 스튜디오 노트북을 이용하면 여러 팀이 실시간으로 함께 노트북을 읽고, 편집하며, 실행할 수 있다. 노트북에 마련된 공동 작업 공간에서 협업과 커뮤니케이션을 간소화할 수 있다. 팀원은 노트북 결과를 함께 검토해 정보를 주고받을 필요 없이 모델의 성능을 즉시 이해할 수 있다. 비트버킷, AWS 코드커밋 같은 서비스에 대한 기본 지원을 통해 팀은 다양한 노트북 버전을 쉽게 관리하고 시간 경과에 따른 변경 사항을 비교할 수 있다. 실험과 ML 모델과 같은 관련 리소스도 자동으로 저장되어 팀 업무가 체계적으로 유지되도록 돕는다.

세이지메이커 스튜디오 노트북은 ‘노트북 코드’를 프로덕션 준비 작업으로 자동 변환한다. 완성된 ML 모델을 프로덕션으로 이동하려는 경우, 실무자는 일반적으로 노트북에서 코드 스니펫을 스크립트로 복사하고 스크립트를 모든 종속 항목과 함께 컨테이너로 패키징한 다음 실행할 컨테이너 일정을 예약한다.  이 작업을 일정에 따라 반복적으로 실행하려면 CI/CD 파이프라인을 설정, 구성, 관리해 배포를 자동화해야 한다. 필요한 모든 인프라를 설정하는 데 몇 주일씩 걸릴 수 있다.

실무자는 아마존 세이지메이커 스튜디오 노트북을 통해 노트북을 선택하고 프로덕션 환경에서 실행할 수 있는 작업으로 자동화할 수 있다. 노트북을 선택하면 아마존 세이지메이커 스튜디오 노트북은 전체 노트북의 스냅샷을 만들고, 컨테이너에 종속 항목을 패키징하고, 인프라를 구축하고, 실무자가 설정한 일정에 따라 노트북을 자동화된 작업으로 실행하고, 작업 완료시 인프라 프로비저닝을 해제함으로써, 노트북을 프로덕션으로 이동하는 데 걸리는 시간을 몇 주에서 몇 시간으로 단축한다.

‘아마존 세이지메이커 인퍼런스’는 실무자가 동일한 실제 추론 요청 데이터를 실시간으로 사용해 새 모델의 성능을 프로덕션 모델과 쉽게 비교할 수 있는 기능을 제공한다.

■ 쉬워진 신규 ML 모델 테스트

실무자는 프로덕션에 배포하기 전에 모든 모델을 테스트하고 검증해 성능을 확인하고 비즈니스에 부정적인 영향을 미칠 수 있는 오류를 식별한다. 일반적으로 과거 추론 요청 데이터를 사용하여 새 모델의 성능을 테스트하지만 과거 데이터는 현재의 실제 추론 요청을 설명하지 못하는 경우가 있다. 예를 들어 가장 빠른 경로를 계획하기 위한 ML 모델의 과거 데이터는 교통 흐름을 크게 바꾸는 사고나 갑작스러운 도로 폐쇄를 설명하지 못할 수 있다.

이 문제를 해결하기 위해 실무자는 프로덕션 모델로 가는 추론 요청의 복사본을 테스트하려는 새 모델로 라우팅한다. 이 경우, 테스트 인프라를 구축하고, 추론 요청을 미러링하고, 지연 시간, 처리량 등 주요 지표에서 모델의 성능을 비교하는 데 수 주일 걸릴 수 있다. 이를 통해 실무자는 모델의 성능에 대해 더 큰 확신을 가질 수 있지만, 수백 또는 수천 개의 모델에 대해 이러한 솔루션을 구현하려면 비용과 복잡성으로 인해 확장이 불가능하다.

세이지메이커 인퍼런스를 통해 실무자는 자체 테스트 인프라를 구축하지 않고도 동시에 수천 개의 새로운 모델로 테스트를 쉽게 확장할 수 있다. 고객이 테스트하려는 프로덕션 모델을 선택하면 아마존 세이지메이커 인퍼런스는 완전히 동일한 조건으로 호스팅 환경에 새 모델을 배포한다. 아마존 세이지메이커는 프로덕션 모델에서 수신한 추론 요청의 복사본을 새 모델로 라우팅하고 대시보드를 생성하여 주요 메트릭 간의 성능 차이를 표시하므로, 고객은 각 모델이 어떻게 다른지 실시간으로 확인할 수 있다. 고객은 새 모델의 성능을 검증하고 잠재적인 오류가 없다고 확신한 후 안전하게 배포할 수 있다.

■ 지리공간 데이터 지원 강화

아마존 세이지메이커는 지리공간 정보(지오스페이셜 데이터)를 쉽게 활용할 수 있는 기능을 제공한다. 오늘날 포착된 대부분의 데이터는 위치 좌표, 날씨 지도, 교통 데이터 등 지리공간 정보를 갖는데, 지리공간 데이터 세트는 작업하기 어렵고 보통 페타바이트 규모에 도시 전체 또는 수백 에이커의 땅에 걸쳐 있다. 이에 극히 일부만 ML 목적으로 사용된다.

지리공간 모델 구축을 시작하기 위해 세이지메이커 사용자는  일반적으로 위성 이미지나 지도 데이터와 같은 서드파티 데이터 소스를 조달해 자체 데이터를 보강한다. 실무자는 이러한 데이터를 결합하고 훈련을 위해 준비한 다음, 엄청난 크기의 지리공간 데이터로 인해 데이터 세트를 관리 가능한 하위 집합으로 나누는 코드를 작성해야 한다. 고객은 훈련된 모델을 배포할 준비가 되면 데이터와 ML 모델 예측을 상호 연관시키기 위해 여러 데이터 세트를 재결합하기 위해 더 많은 코드를 작성해야 한다. 완성된 모델에서 예측을 도출하려면, 실무자는 오픈소스 시각화 도구를 사용하여 지도에 렌더링하는 데 며칠을 소비해야 한다. 데이터 보강에서 시각화까지의 전체 프로세스는 몇 달이 걸릴 수 있으므로, 고객이 지리공간 데이터를 활용하고 적시에 ML 예측을 생성하기가 어렵다.

아마존 세이지메이커는 데이터 세트를 보강하고, 지리공간 모델을 훈련하고, 몇 달이 아닌 몇 시간 만에 결과를 시각화할 수 있도록 해 지리공간 ML 예측 생성을 가속화하고 단순화한다. 고객은 몇 번의 클릭만으로 또는 API를 사용해, 아마존 세이지메이커를 통해 아마존 로케이션 서비스, 플래닛랩스 같은 신뢰할 수 있는 서드파티 공급자, 아마존 오픈 데이터 같은 오픈소스 데이터 세트의 다양한 지리공간 데이터 소스에 접근할 수 있다.

실무자가 사용하고자 하는 데이터 세트를 선택하면 내장 연산자를 활용해 이러한 데이터 세트를 자체 데이터와 결합할 수 있다. 모델 개발 속도를 높이기 위해, 아마존 세이지메이커는 정밀 농업으로 작물 수확량 증가, 자연재해 피해 지역 모니터링, 도시 계획 개선과 같은 사용 사례를 위해 사전 훈련된 딥 러닝 모델에 대한 액세스를 자동으로 제공한다. 훈련 후 내장된 시각화 도구는 지도에 데이터를 표시해 새로운 예측을 발견한다.