'전북AI'로 대통령상 받은 윤성호 주무관 "1년간 새벽 2시까지 작업"

예산 3억원으로 수십억원 규모 업무용 AI 플랫폼 직접 구축…"비용 절감만큼 전담 인력 고려해야"

정부가 현장 공무원이 주도하는 공공부문 인공지능(AI) 전환(AX)에 힘을 싣는 가운데 윤성호 전북특별자치도 행정정보과 주무관이 직접 구축을 이끈 업무용 AI 플랫폼 '전북AI'로 대통령상을 받아 주목받고 있다.

전북AI는 외주 시 수십억 원이 드는 AI 플랫폼을 직접 개발해 도청 내부 서버에서 운영한다. 119 구급과 재난 대응 등 행정 현장에 맞춘 기능을 대거 갖춰 서울, 충남, 경북 등 다른 지자체의 벤치마킹도 잇따르고 있다.

윤 주무관은 2일 지디넷코리아와의 인터뷰에서 "거의 1년 동안 새벽 2시까지 작업했다"며, AI 도입을 고민하는 지자체에 전담 인력과 예산을 함께 마련해야 한다고 조언했다.

제43회 지역정보화 우수사례 발표대회에서 대통령상을 수상한 윤성호 주무관(왼쪽에서 네번째)(이미지=행정안전부)

직원 64% 상용 AI 사용…보안·비용 고민에 직접 개발

전북AI는 오픈소스 기반 대형 모델을 도청 내부 서버에서 운영하는 업무용 생성형 AI 플랫폼이다. 문서 작성·검색, 회의 요약, 언론 분석 등을 지원하며 8월 말 기준 기능은 99종이다. 전북도는 예산 약 3억 원을 들여 플랫폼을 구축했다.

윤 주무관은 AI 플랫폼을 개발하게 된 이유로 직원들의 AI 사용 실태를 꼽았다. 그는 "2025년 6월 전북연구원과 함께 진행했었던 설문에서 응답자 412명 가운데 64.3%가 이미 개인 계정으로 상용 인공지능을 업무에 쓰고 있다고 답했었다"며 "내부자료의 유출 문제 해결이 필요했다"고 설명했다.

비용과 성능도 직접 구축을 택한 이유였다. 전북도가 검토한 민간 구축 제안은 12억~50억 원에 달했지만 제안된 모델은 규모가 작았다. 윤 주무관은 "작은 모델은 연구용역 보고서나 언론보도를 깊이 있게 이해하지 못하는 것으로 보여 차라리 서버만 사서 대형 모델을 직접 돌리는 게 낫겠다고 생각했다"고 밝혔다.

더불어 윤 주무관은 2001년부터 중소기업에서 웹 개발 업무를 했고 2018년 전북대 인공지능 대학원에서 석사 과정을 밟았다. 현재 도청에서 클라우드 업무를 맡고 있었던 만큼  오픈웨이트 AI 모델을 활용하면 직접 구축도 가능하다고 판단했다.

그는 "메타의 오픈웨이트 모델인 라마3 70B가 당시 최상위 모델이었던 GPT-4o에 비견되는 성능으로 나타나서, 이 모델을 로컬에서 돌리면 챗GPT 구독료도 절감하고 자료유출도 막을 수 있겠다고 생각했다"고 설명했다.

1년간 새벽 2시까지 개발…잇따른 시행착오

AI 플랫폼 개발은 윤 주무관이 대부분 주도하고 전북대 학생 12명이 1년 반 동안 지원했다. 예상치 못한 난관도 이어졌다. 첫 과제는 GPU 서버 선택이었다. 엔비디아 B200 4장을 구매하려던 계획이 판매 단위 문제로 어려워지자 전북도는 같은 예산으로 메모리 용량이 2.7배 큰 AMD MI300X 서버를 선택했다. 공공기관 첫 도입이었던 만큼 참고할 자료가 많지 않았다.

윤 주무관은 "예상치 못한 문제는 오픈소스 생태계가 엔비디아 중심으로 만들어져 있다는 점이었다"며 "엔비디아라면 쉽게 할 수 있었을 작업을 저희는 매번 힘들게 적용해야 했다"고 말했다.

전북특별자치도 생성형 AI 시스템 '전북AI'(이미지=전북도청)

시행착오도 잇따랐다. 시스템이 로그를 남기지 않은 채 멈춰 원인을 추적해 보니 운영체제가 설치된 300GB 디스크가 꽉 차 있었다. 한글 문서 검색이 되지 않았을 때는 문서 유사도 점수를 직접 측정해 영어 중심 모델이 원인임을 찾아냈다.

올해 2월 도입한 AI 코딩 도구 클로드 코드가 업무시간에 시스템을 중단시키는 일도 있었다. 윤 주무관은 컨테이너를 4중화하고 사용자 요청 처리가 끝난 뒤 하나씩 재시작하는 체계를 마련해 장애를 줄였다.

그는 "거의 1년 동안 새벽 2시까지 작업을 했고 주말도 없었다"며 "그럼에도 불구하고 잘 되지 않았을 때 이게 제 능력으로 가능한 것인지 의문이 들기도 했고, 왜 직접 구축한다고 했을까 후회하기도 했다"고 회고했다.

구축 이후가 더 큰 과제…업데이트·현장 활용과의 씨름

전북AI는 지난해 12월 정식 운영을 시작했다. 그러나 모델과 기능을 지속해서 점검·업데이트해야 해 운영 부담이 이어지고 있다. 윤 주무관은 AI 플랫폼이 다른 시스템처럼 한 번 구축한 뒤 몇 년간 유지·보수만 하면 되는 시스템이 아니라며, 해마다 계속 업데이트해야 하는 어려움을 밖에서는 잘 모른다고 말했다.

직원 활용을 넓히는 것도 과제였다. 6천 명에 가까운 직원 가운데 4726명(79.5%)이 한 번 이상 사용했지만 매달 꾸준히 사용하는 직원은 절반 안팎에 그쳤기 때문이다. 이에 윤 주무관은 직접 직원을 만나 업무상 어려움을 듣고 필요한 기능을 구현하며 활용을 독려했다. 그렇게 늘어난 전북AI의 기능은 현재 99종에 이른다.

전북도 AI 행정 혁신 연구회에서 만든 119 업무관리 (이미지=전북도청)

현장에 특화된 다양한  지원 기능도 제공한다. 구급대원의 환자 중증도 분류와 병원 이송을 돕는 '나만의 구급', 65종의 매뉴얼을 바탕으로 재난 현장 대응을 지원하는 '사회재난 도우미'가 있다. 전북소방본부 119종합상황실은 전북AI로 신고자 위치를 파악해 심장 이상을 호소한 30대를 40분 만에 구조하기도 했다.

윤 주무관은 "이제 직원 상당수가 전북AI를 과업지시서·보고서 초안 작성, 법령 검토, 보도자료 작성 등에 활용한다"며 "이용량은 대화 기능이 85%로 가장 많고 이미지 생성 8.8%, 한글 문서 생성 1.7% 순으로 회의 녹음·요약을 바탕으로 결과보고서를 작성하거나 이미지로 보고서를 꾸미는 기능도 반응이 좋다"고 설명했다.

AI 전환, 구호보다 전담 인력·예산이 먼저

대통령상 수상 이후 다른 지자체의 벤치마킹 문의가 이어지는 가운데 윤 주무관은 AI 인프라와 전담 인력 확보를 지속 가능한 AI 전환의 조건으로 꼽았다.

윤 주무관은 "국가정보자원관리원 대구센터의 민관협력 클라우드에서 엔비디아 H200 8장을 빌리면 월 1억 6천만 원가량이 든다"고 설명했다.

이어 "전북도는 이러한 비용 부담을 해결하기 위해 자체 서버를 약 2억 3천만원에 구매한 것"이라며 "지자체가 감당하기 인프라 비용은 GPU 국비 지원이 필요하다"고 강조했다.

이와 함께 AI 행정 혁신을 위해서는 기관별로 AI 혁신 팀을 만들어야 하며, 기관 내 AI 서비스를 돌릴 공통기반 GPU 서버도 조속히 확충해야 된다고 말했다.

전북도 AI 행정 혁신 연구회에서 개발한 전북 해역 인공어초 설치현황(이미지=전북도청)

윤 주무관은 무엇보다 담당자 한 명에게 기존 업무와 AI 업무를 모두 맡기는 구조는 지속되기 어렵다고 지적했다. 그 역시 본업인 클라우드 업무와 전북AI 개발·운영을 함께 맡고 있지만 공무원 순환 근무 원칙상 담당자가 다른 부서로 옮기면 시스템을 이어받을 사람이 마땅치 않기 때문이다.

그래서 그는 도청 내 'AI 행정 혁신 연구회'를 꾸려 직원 13명이 업무용 AI 시스템 13종을 직접 만드는 등 교육 업무도 진행하고 있다.

더불어 다른 기관에는 성능과 접근성을 확보하고 부서별 사용량을 살피며, 홍보보다 실습 중심 교육을 하고, 직접 업무용 AI를 만들어 보는 직원을 늘리라고 조언했다.

윤성호 주무관은 "직접 구축하면 소프트웨어 도입 비용을 줄일 수 있지만, 이를 운영할 전담 인력은 반드시 필요하다"며 "도입을 검토하는 기관은 예산과 함께 전담 인력도 계획해야 한다”고 강조했다.

이어 대통령상 시상식에서 가장 인상 깊었던 말로 대회 심사위원장의 총평을 꼽았다. 그는 “"개인의 성과를 제도와 조직문화로 이어가는 것이 앞으로의 과제’라는 말이 기억에 남는다"며 "그분의 말처럼 성과가 한 사람의 노력에 그치지 않고 조직에 뿌리내리도록 하는 것이 중요하다"고 말했다.