[황승진의 AI칼럼] LLM 연결성···기업IT를 삼킨 LLM

MCP가 LLM 허브 역할...새 수요 예측과 공급망 관리 창출할 듯

 이런 가상 회사를 생각해보자. 아시아의 한 광업 회사다. 이 회사는 17개 광산을 운영하며, 각 광산에는 50개 제조업체가 만든 굴삭기, 드릴, 컨베이어, 환기 시스템, 엘리베이터, 안전 장비 등 수백 개의 장비가 있다. 이 회사는 현장에 투입한 각 장비의 상태를 한 스크린에 보여주는 대시보드를 만들고 싶어 한다. 기계가 지하 깊은 곳에서 작동하기 때문에 고장이 나면 수리가 어렵다. 그들은 단일 대시보드에서 모든 기계의 상태를 모니터링하다가, 필요한 경우 고장 전에 조치를 취할 것이다.

그러나 문제는 각 장비제조업체가 호환성 없는 자체 소프트웨어를 가지고 있다는 것이다. 표준화 시도는 수차례 실패했다. 특히 대기업이 문제였다. “좋습니다. 우리 다 표준화합시다, 우리 식으로 말입니다.” 이래서, 단일 대시보드는 여전히 꿈이었다.

이제 LLM 시대가 도래했다. 호환성 없는 기계로부터 데이터를 통합하는 간단한 방법은 각 기계로 하여금 보고서를 PDF 형식으로 제출하도록 하는 것이다. 그러면 RAG 기반 LLM은 업로드된 모든 PDF 파일을 수집해 자신이 읽을 수 있는 텍스트로 변환시킬 수 있다. 그 다음에 청킹, 토큰화, 임베딩, 그리고 벡터 저장 등 여러 단계를 거친다. 주기적으로 이 데이터를 읽고 내용별로 정리해 대시보드를 만든다.

‘LLM의 연결성’에 대해 더 생각해 보자. 전술한 'PDF-RAG-LLM 연결'에 그치지 않고, LLM ‘에이전트’ 시스템은 모든 파일과 시스템을 연결하는 허브 앤 스포크(hub and spoke, 마차 바퀴) 구조를 만든다. 예를 들어, WWW, ERP, MES, CRM, HRM, PDM, Weblog, 물류추적과 같은 독립된 분야별 시스템이 각자 스포크가 되어 LLM이라는 중앙 허브에 API로 연결할 수 있다. 이러한 연결성은 LLM 혼자가 아니라, 그의 일당 즉 에이젠트 프레임워크(혹은 LLM 메쉬)에 비롯한다.

황승진 스탠퍼드경영대학원 잭디프 로시니 싱 석좌명예교수.

 최근에는 MCP(Model Context Protocol)라는 통신 방식이 나와 LLM과 외부 데이터를 연결한다. LLM이 아무리 똑똑해도 혼자서 세상 모든 API나 파일을 상대해 데이터를 주고받기에는 힘이 벅차다. 이를 오픈 표준화해, LLM은 MCP 클라이언트를 상대하고, MCP 클라이언트는 MCP 서버를 상대하고, 이 서버는 API나 파일을 상대한다. 이렇게 1대 N으로 연결하는 MCP는 LLM이 허브 역할을 할 수 있게 도와준다.

이렇게 통합한 기업 시스템은 기업의 대시보드를 만든다. 연결의 단위는 ‘파일’이 아니라 ‘내용’이다. 그래서 MCP의 C는 context (문맥)다. 더욱이, 자연어로 프롬프트를 내고 답을 받는다. 어찌 보면, LLM이 기업 IT를 삼켜버린 것 같다.

구태여 이런 LLM 중심적인 네트워크 연결 구조가 아니더라도, LLM은 기존의 IoT에서 하나의 노드가 되어 다른 기계(device) 노드와 연결할 수 있다. 기계 신호를 LLM에 보내 해석을 요청할 수 있다. 이상 징후를 미리 감지하고 인간에게 상황을 설명할 수 있다. 혹은 인간의 궁금점을 자연어로 답할 수 있다. 이 경우, LLM의 API는 클라우드에서 호스트가 돼 인터넷 통신 프로토콜 HTTP로 다른 기계와 연결된다. 만약 LLM이 로컬이라면, LAN으로도 연결이 가능하다.

LLM의 연결성 즉 'LLM이 내부 외부 데이터, 기계나 시스템을 내용상으로 연결하는 능력'은 지금까지 IT 세계에 없었던 신기한 기능이다. 이는 기업내 ‘기능’의 연결성으로 이어져, 여러 분야에 새로운 응용을 예고한다. 예로, 공급망 핵심은 수요와 공급을 잘 맞추는 것이다. 이에는 훌륭한 수요 예측이 필요한데, 지금까지는 지수 평활법(exponential smoothing)에 의존했다. 이는 과거의 자기 판매량만으로 내일의 판매량을 예측하는데, 성능은 만족스럽지 않았다.

내일의 수요는 날씨, 요일 같은 많은 외부 변수에도 달렸기 때문이다. 또한 판매 파이프라인이나 웹 사이트 방문자수는 내일 수요에 관한 귀중한 정보를 지니고 있다. 기업도 이를 알지만 어떤 데이터를 잡아서 어떤 수학 공식에 넣느냐가 관건이었다.

이제, LLM 기술이 걱정을 해소해준다. 데이터 위주 기계학습은 수학공식에 대한 걱정을 완화시킨다. 신경망은 세상 모든 수학함수를 대신할 수 있다. 또한 LLM의 연결성 덕택에, 여러 변수 데이터를 용이하게 융합할 수 있다.

현재 AI에 기반한 수요예측에 대해 많은 연구와 개발이 진행되고 있다. 그 중 하나는 구글이 개발한 TFT(Temporal Fusion Transformer)라는 기법이다. 이는 여러 변수 시계열(time series)을 입력하여 그들의 숨겨진 상관관계를 이용하는 수요예측 기법이다. 판매량 뿐 아니라, 광고, 날씨, 판매 파이프라인, 웹 사이트 방문자수, 신제품 출시 등 수요 예측과 관계된 변수를 일별로 입력한다. 게다가, 요일, 날짜나 계절 등 예측 가능한 변수까지 시계열로 입력한다. 여기에 트랜스포머의 어텐션을 적용해 변수의 시간적 상관성을 예측한다. 어텐션은 서로 떨어져 있는 ‘단어와 단어’ 뿐 아니라 ‘변수와 변수’의 상관성을 잡아 낸다. 게다가 LSTM이란 기법으로 단기적 상관성을 일종의 공분산(covariance)으로 잡는다.

여러 변수 들을 중요성에 따라 가중평균으로 통합한다. 때로는 입력 변수가 수백 개일 수도 있다. 그 중에 무엇이 유효할 지를 TFT가 알아서 챙기니 부담 없이 많은 변수를 사용한다. 게다가, 이 중에 어떤 데이터가 예측을 이끄는 지, 그 근거를 볼 수 있다. 이렇게 출력된 수요예측은 메트로놈처럼 전 공급망을 움직일 것이다. LLM의 유연성과 연결성은 이 과정을 자동화하는데 큰 도움을 줘 새로운 시대의 수요예측과 공급망 관리를 창출할 것이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.