지금까지 16회에 걸쳐 AI시스템의 프로젝트 관리에 대해 알아봤다. 이번 회부터는 발주자인 유저 입장에서 AI 시스템의 개발 프로젝트에 착수하기 전에 알아 둬야 할 부분을 설명한다. 중요한 것은 ‘무엇을 위해 왜?와 AI 시스템을 도입하는 이유는?과 같은 목적과 목표를 놓치지 않는 것이다.
AI시스템 프로젝트 개시때 기억해야 할 중요 사항은 ▲업무과제 정리 ▲PoC 스케쥴 작성 ▲예산 ▲프로젝트 체제 ▲계약 등 5가지다. 하나하나씩 살펴보자.
▲포인트1(업무 과제 정리): AI 시스템 구축 프로젝트를 시작하기 전에 준비해 둘 것이 있다. 업무 과제 정리와 AI 시스템의 도입 범위 검증이다. 이들 정보가 PoC(Proof of Concept, 개념 실증)나 본 가동 도입의 첫걸음이 된다. 업무 과제를 정리함으로써 시스템 개발 범위를 정의할 수 있게 되어 개발 목표를 정량적으로 파악할 수 있다. 이 목표는 PoC에서 목표로 하는 정확도를 검토할 때 필요하다. 사전 준비 시 ‘PoC에서 모델을 개발하기 쉽기 때문에’ 등의 이유로 분석 방법이나 알고리즘을 우선해 검토하지 않도록 주의해야 한다. 업무 과제와 시스템 도입 범위를 명확히 한 후 AI시스템 도입 프로젝트 기간이나 예산을 검토해야 한다.
일반적으로 프로젝트 기간이나 예산을 검토할 때 전제가 되는 것은 시스템 개발 대상의 전체상(모습)이다. 그런데 AI 시스템의 경우 프로젝트 발족 시 대상 시스템의 전체상이 명확하지 않은 경우가 많다. AI 시스템의 코어가 되는 모델이 어느 정도 정확(Accuracy)한지 당시 시점에서 명확하지 않기 때문이다. 그러므로 시스템 개발 대상의 검토와 PoC를 병행해 실시한다.
AI 시스템 개발의 PoC라고 하면 학습 데이터나 알고리즘 선정, 데이터 변환을 중시하는 경향이 있다. 그러나 PoC의 본래 목적은 모델 개발이 아니라 AI를 이용한 업무 과제 해결의 어프로치를 검증하는 것이다. PoC 결과에 따라 실제로 구축하는 AI 시스템의 기능, 아키텍처는 크게 영향을 준다. 그래서 AI시스템 개발에서 프로젝트 기간이나 예산을 정할 때에는 PoC를 기점으로서 생각한다. PoC까지의 프로젝트 스케줄이나 예산과 PoC 후에 착수하는 본 가동 시스템의 스케줄이나 예산을 분할하는 것이 중요하다. 만약 프로젝트 개시 시점에서 AI시스템의 본 가동 시기가 설정되어 있는 경우에는 ‘AI를 위한 AI’ 프로젝트가 될 우려가 있으므로 주의가 필요하다.
▲포인트2(PoC 스케줄 설정): 그럼 구체적으로 PoC를 포함한 스케줄 설정을 어떻게 해야 할까. PoC는 AI 시스템 개발에 거의 필수적인 프로세스다. 이 때 AI 시스템의 구축 목표 없이 PoC를 실행한 경우 업무 과제를 해결하기 위한 어프로치를 검증하는 관점이 부족해 프로젝트가 실패할 리스크가 있다. PoC 목표나 스케줄을 적절히 설정해 프로젝트를 진행하는 것은 개발 전체의 진행방식을 좌우하는 중요한 항목이다.
PoC 장기화와 실패 요인으로서 발생하기 쉬운 사하은 첫째, 어프로치 검증 둘째, 모델의 목표 정확도(Accuracy) 설정 셋째, 모델에 관한 합의 등 세 가지다. 이들 세가지 뿐 아니라 PoC 장기화를 방지하기 위해서는 PoC를 컨트롤 가능한 범위로 정리하는 것, 즉 소규모 시작(스몰 스타트)이 중요하다. 복잡한 아키텍처가 필요한 고도의 모델을 채용할 것이 아니라 업무 과제에 대응할 수 있는 범위에서 가장 간단한 모델을 사용하거나 복잡해지는 경우에는 모델화의 대상을 축소하는 등의 방법을 생각할 수 있다. 또 소규모에서 시작해 단계적으로 고도화함으로써 데이터 정비나 모델 구축 노하우를 축적하거나 모델 정확도에 대해 요구 수준을 적정화 할 수 있다.
PoC에서 중요한 것은 모델을 구축하기 위한 개발 기간보다도 시스템화에 적합한 어프로치를 검토하기 위한 기간을 충분히 확보하는 것이다. 덧붙이자면 1개의 어프로치가 아니라 복수의 어프로치를 비교하는 것이 바람직하다. 어프로치가 1개뿐인 경우, 목표 정확도를 달성하기 위해 알고리즘의 비교만을 실시하게 된다. 그러면 PoC 기간이 예상보다 길어질 뿐 아니라 구현 노드가 확립되지 않는 사태가 일어난다. 이러한 사태가 일어나지 않도록 데이터 상황이나 정확도 목표 등을 확실히 검토해 무리 없는 PoC 기간을 설정하도록 한다.
▲포인트3(예산): 시스템 도입 프로젝트 실시 여부를 검토하는 데 유용한 지표로서 투자 대비 효과(ROI)가 있다. 시스템의 ROI는 도입 대상이 되는 업무의 과제에 따라 설정된다. 예를 들면 AI에서 업무를 자동화할 때 투자비용이 문제가 되는 경우에는 AI시스템 도입에 따라 어느 정도의 인력을 대체할 수 있는가 라는 인건비 삭감량이 효과가 된다. AI 시스템 개발에 있어 ROI를 생각하는 경우, 기계학습 모델의 고도성과 도입 효과가 비례 관계에 있다고 생각하기 쉽다. 고도의 기계학습 모델을 도입하면 큰 효과를 얻을 수 있다는 생각이다. 그러나 AI 시스템 전체에서 본 경우, 모델의 고도성과 업무 과제의 해결 정도는 반드시 일치하지 않는다.
고도의 기계학습 모델을 개발할 때에는 PoC 기간이 연장되거나 대응 벤더가 한정되는 등의 원인으로 개발 비용이 커지는 경우가 종종 있다. AI 시스템의 ROI를 산출하기 위해서는 PoC의 공수(Man-hours)를 검증할 때와 동일하게 업무 과제부터 수치를 도출할 필요가 있다. 투자액에 포함되는 것은 개발 시의 코스트만은 아니다. 일반적인 업무 시스템과 동일하게 AI 시스템의 운용 체제 유지에 드는 코스트도 감안할 필요가 있다. 특히 AI 시스템을 계속적으로 운용하기 위해서는 통상의 업무 시스템에 수반되는 사용 기기의 리스 계약 경신(Update) 등의 정기적인 비용과 달리 AI 시스템 데이터의 변화에 따라 실행하는 모델의 개발 비용 등이 포함된다. 이와 같은 운용 후의 비용 부담도 감당할 수 있는지를 검토한다.
▲포인트4(프로젝트 체제): AI 시스템 개발의 프로젝트 체제가 통상의 시스템 개발과 다른 점은 AI 시스템에서 이용하는 기계학습 모델의 개발이 현시점에서는 고도의 첨단분야라는 것이다. 자사 자체로 개발할 수 있는 인재를 확보하고 있는 기업은 드물기 때문에 사외에서 개발 요원을 조달하거나 사외에 개발을 위탁할 필요가 생긴다. AI 시스템 개발을 위탁할 외부 개발 회사는 다양하므로 프로젝트에 따라 최적의 체제를 구축할 필요가 있다. 프로젝트를 유지할 때 중요한 포지션은 프로젝트 책임자, 프로젝트 리더, PMO(프로젝트 매니지먼트 오피스) 등 3명이다. 각 담당자나 조직이 수행할 역할은 통상적인 시스템 개발과 같지만 AI 시스템에 의해 업무 과제를 해결한다라는 관점에서 특히 유의해야 할 포인트가 있다. 그것은 프로젝트 리더가 비즈니스와 아키텍처를 연결하기 위해 쌍방향의 관점을 가지고 의사결정을 하는 포지션이 된다는 점이다. AI 시스템 개발 체제에는 기존 시스템 개발 멤버 뿐 아니라 그림3처럼 각 태스크에 관련된 역할을 완수할 담당자가 필요하다.
AI시스템 개발은 IT벤더 등 외부에 위탁해 사외에서 요원을 조달하는 것이 일반적이다. 이 때, 업무 과제 공유라는 관점에서, 역할별로 자사 멤버를 포함시킨 체제를 구축하는 것이 중요하다. 이것은 또한 기술 이전 (skill transfer) 관점에서도 필요하므로 외부 지식을 적극적으로 사내에 도입하고 프로젝트 멤버를 교육함으로써 사내의 AI 인재 육성 효과도 얻을 수 있다.
또, AI시스템 개발 단계별로 사외 벤더를 바꾸는 것은 프로젝트 목적이나 방침의 일관성을 잃을 우려가 있으므로 바람직하지 않다. 단, PoC 실시와 본 가동 시스템 개발을 담당하는 기업이 다른 경우가 많다. 이것은 PoC의 어프로치 검토 단계와 본 가동 시스템 개발에 수반되는 대규모 개발이 요구되는 단계에서는 그에 필요한 스킬이 다르기 때문이다. PoC 단계 만을 전문적으로 다루고 후속 단계인 시스템 설계는 전혀 할 수 없는 벤더에게 의뢰한 경우, 시스템 가동 후의 운용 윤곽을 예상할 수 없는 문제가 발생한다. 일부 단계에 특화한 벤더에게 의뢰할 때에는 프로젝트 단계 전체를 볼 수 있는 서포트 IT 벤더를 동시에 의뢰함으로써 이런 리스크를 없애야 한다.
▲포인트5(계약 관련): 회사 내부의 인적자원을 활용할 때 중요한 것이 개발 계약 체결이다. 계약 형태나 계약상의 성과물에는 AI 특유의 포인트가 있다. 통상 시스템 개발 계약은 준위임 계약 또는 도급 계약으로 실행된다. AI 시스템의 경우, 계약 형태는 개발 단계별로 적절히 설정할 필요가 있다. AI 시스템의 개발에서는, PoC나 요건정의 단계까지는 성과물의 요건을 그다지 명확히 할 수 없기 때문에 준위임 계약에서 시행한다. 또 설계 단계, 구현 및 테스트 단계는 도급계약으로 한다.
단, AI 시스템 내의 기계학습 모델 구현은 상황에 따라 체결되는 계약이 다르다. AI 시스템 구현을 시스템 개발 일환으로 청부 계약에 포함하는 경우도 있다. 한편 설계 단계 이후도 계속해 검토나 모델을 고도화하면서 구현을 목표로 하는 경우에는 준위임 계약을 체결하는 경우도 있다. 운용 단계도 여러 가지 계약 형태를 생각할 수 있다. 정확도 유지를 목적으로 감시나 원인 검증 등을 실시하고 필요에 따라 최신 데이터를 재학습해 모델을 경신(Update)하는 통상의 모델 관리 업무에 대해서는 준위임 계약이 적합하다. 한편, 환경의 큰 변화 등에 의해 정확도(Accuracy)가 대폭 낮아진 경우에는 학습 데이터나 알고리즘을 다시 검토하는 등 PoC와 동등한 대응이 필요하므로 통상의 운용 업무와는 다른 계약을 시행하는 경우도 있다.
AI 시스템 개발에 있어 성과물도 계약 시 합의할 필요가 있다. 준위임 계약의 경우 성과물 요건을 특정할 수 없지만, 작성해야 할 성과물 종류는 사전에 정해둬야 한다. 프로그램 코드, 개발 환경 보존이라는 성과물 만이 아니라 PoC 종료시나 시스템 개발 완료 시는 다음 단계에서 이용할 검토 자료도 확보해야 한다. PoC 완료 시점에서는 개발 단계에서 이용하기 위한 데이터의 전(Pre)처리나 알고리즘의 검증 과정, 평가 결과, 구현에 적용된 과제 정리 및 결과라는 자료가 성과물이 된다. 본 가동 시스템의 개발 완료 후에는 운용시의 모델 검증에서 사용하는 모델에 관한 데이터 플로우나 데이터의 학습 프로세스에 관한 설명 자료가 성과물이 된다.
그 외 개발 및 구축한 모델에 관한 권리 관계도 사전에 합의함으로써 나중의 문제(트러블)를 방지한다. 여러 가지 업무 과제에 대한 해결 방법 검토 경위나 알고리즘 튜닝 방법은 각 기업의 중요한 노하우다. 개발 계약에서 이러한 제공을 의뢰한 경우, 개발 벤더와의 사이에서 저작권이나 특허권 등 문제가 발생할 가능성이 있다. 또, 벤더가 제공하는 학습된 모델을 이용하는 경우 특허 신청 등에서 업무 프로세스와 관련된 내용이 제3자에게 공개될 수 있는 가능성도 있다.
AI 시스템과 관련된 계약 절차, 권리 관계에 대해서는 ‘AI 및 데이터의 이용에 관한 계약 가이드라인’을 만들어 놓을 필요가 있다. 개발자 측, 수주자 측 모두에게 가이드라인을 이해시켜 프로젝트의 계약 내용은 성과물의 권리도 포함해 합의한 후 진행한다.
AI 시스템 개발에서 방법론과 프로젝트 관리 방법에 대해 정해진 해법이 없어 많은 기업이 경험에 근거해 시행하고 있는 경우가 많다. 이에 AI 시스템 개발에서 기술 선행 검토가 빠지기 쉽다. 그러나 타사의 성공사례가 자사에는 유효할 지의 여부는 가동 후까지 알 수 없는 것이 AI시스템이다. 기술 선행인 AI 시스템의 검토 및 개발은 건전한 AI 투자는 되지 않는다. 반대로 대상 업무나 실현하고 싶은 목표를 명확화할 수만 있다면 필요한 기술 요건을 도출할 수 있다. AI 시스템 도입은 방법이 아니라 업무 과제의 해결이라는 시스템화의 대상에 포커스를 맞춰야 한다.
■필자 심기보는...
관련기사
- "AI시스템 가동후 모델의 추론 정확도 유지해야"2021.11.07
- 'AI 시대' HBM 이을 주자는 QLC 낸드…삼성·SK·엔비디아도 주목2024.06.25
- '코GPT' 개발 주역 떠나고 '칼로'도 접는 카카오…"AI 재정비"2024.06.24
- 'IPO 흥행' 자신감 드러낸 시프트업…"스텔라 블레이드, 누적 판매 100만장 추산"2024.06.25
1976년부터 한전에서 SW개발자로 전산업무를 시작했다. 30여년간 정보화 사업 기획, 개발, 운영업무를 수행하면서 SI사업 등 발주관리 전문가로 일했다.
국내 최초로 FP(기능점수)법에 의한 SW사업대가 기준연구 및 보급으로 SW사업 선진화에 기여했다. SEC 정책자문위원과 SW사업분쟁조정위원회위원, 정보통신기술사협회장, KAIST 전산학부 겸직교수, SW정책연구소 초빙연구원 등을 지냈다. 숭실대 대학원에서 'FP법을 이용한 다중회귀 분석적 SW사업대가 산정모델 연구'로 박사 학위를 받았다. 현재는 심기보기술사설계사무소를 설립해 SW설계‧견적‧감정 일을 하고 있다. 특히 SW사업 분쟁방지를 위한 SW사업 요건정의 및 기본설계 전문가로 활동하고 있다.
*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.
