MS가 추천하는 생성형AI 선택 방법은

마이크로소프트가 고객사의 인공지능(AI) 확산을 위해 직접 생성형AI 도입 방법을 제시했다.

25일 마이크로소프트의 루카 스타마테스쿠 AI 테크 스페셜리스트는 웨비나 애저 부트 캠프에서 '업무에 적합한 생성형 AI를 선택하는 방법'을 소개했다.

AI의 발전과 함께 오픈AI의 GPT, 메타의 라마, 미스트랄AI 등 AI모델의 종류도 급격하게 늘어나고 있다. 또한 GPT만 해도 GPT-3.5에서 최근 공개한 GPT-o1까지 다양한 버전을 지원한다.

루카 스타마테스쿠 AI테크 스페셜리스트가 소개한 애저AI 스튜디오의 AI 카탈로그(이미지=마이크로소프트)

그만큼 각 기업이나 조직은 개발 중인 앱이나 서비스와 연계하기에 가장 적합하고 비용 효율적인 AI를 선택하기에 많은 어려움을 겪고 있다.

루카 스타마테스쿠는 이런 어려움을 해결하기 위한 방안으로 애저AI 스튜디오의 카달로그 서비스를 소개했다. 이를 통해 다양한 AI모델을 한 번에 확인할 수 있을 뿐 아니라 매개변수 양, 한 번에 처리할 수 있는 최대 단어 수를 비롯해 비용과 함께 사용방법 등을 제공한다.

더불어 각 조직이나 업무에서 진행하는 업무에 어떤 AI가 적합한지 비교 테스트도 가능하다. 예를 들어 2개의 모델에 같은 질문을 했을 때 얻어지는 결과를 확인해 보다 만족스러운 결과를 제공하는 AI 모델을 선택할 수 있는 것이다.

이후 클라우드 환경에서 개발 중인 기업 앱이나 서비스에 바로 연계하거나 각 조직의 업무나 산업 특성에 따라 모델을 추가로 훈련시키고 관리하는 것도 가능하다.

루카 스타마테스쿠는 애저AI 스튜디오에서 지원하는 다양한 AI 모델 중 기업에 적합한 AI모델을 선정하는 방법으로 벤치마크를 강조했다.

AI 벤치마크는 AI 모델의 성능을 정량적으로 평가위한 방법의 일환이다. 주로 공개된 데이터셋을 활용해 얼마나 정확한 답변을 제공할 수 있는지 역량을 평가한다.

애저AI 스튜디오는 모델별 다양한 벤치마크 평가 점수를 제공하며 이를 기준으로 산업이나 분야별 정확성 등을 고려해 AI를 선정할 수 있다.

루카 스타마테스쿠는 "벤치마크의 경우 공개 데이터를 기반으로 하는 만큼 사전에 데이터를 확인하고 의도적으로 정확성을 높일 수 있는 답안을 활용할 가능성이 있어 주의가 요구된다"며 "기업에서 실제로 사용하려는 분야가 어딘지 어떻게 AI를 활용할 것인지와 벤치마크 성과를 주의 깊게 비교하고 애저AI 스튜디오의 자동 평가 시스템을 이용해 지속해서 정확성을 확인할 필요가 있다"고 설명했다.

이어서 AI를 선택한 후 기업에 맞춰 최적화하는 방법을 소개했다. 그는 우선 프롬프트 엔지니어링으로 기본적인 가이드라인을 만들어 업무 환경에 AI를 연계할 것을 권했다.

만약, AI모델만으로 기능이 부족할 경우 검색 증강 생성(RAG)을 도입해 외부 웹사이트 등의 데이터를 추가로 도입하는 방안을 제시했다.

이 방법만으로도 AI를 활용해 효율적으로 업무를 수행하기 어려울 경우 AI 모델에 추가 학습을 더하는 미세조정을 시도할 것을 권했다.