[기고] 'AI 칩의 미래는 SW가 8할'…HW·SW 공동설계 필요한 이유

지난 몇 년간 인공지능(AI)과 머신러닝 연구에 특화된 프로세서 수요가 폭발적으로 증가했다. 고도의 컴퓨팅을 요구하는 AI와 머신러닝 분야 잠재력을 고려했을 때 이러한 수요 증가는 충분히 예견된 상황이다. 다만, 지금 이 혁신의 바람이 어디로 향할지는 다시 한번 고민해볼 필요가 있다.

최고의 성능을 갖춘 차세대 AI 칩을 상상했을 때, 그 효과와 성능에 가장 크게 작용하는 부분은 바로 소프트웨어(SW) 스택이다. 좋은 SW는 개발자가 훨씬 더 편리하게 AI 프로세서를 사용할 수 있도록 도울 뿐만 아니라 하드웨어(HW) 성능을 최대치로 끌어올린다.

머신 인텔리전스가 능률을 얻으려면 SW 역할이 중요하다. AI와 머신러닝에서 컴퓨팅은 기존 기술과는 근본적으로 다르다.

지금의 AI와 머신러닝은 확실하지 않은 정보를 처리한다. 모델에 내재하는 변수는 불확실, 즉, 확률 분포다. 이는 칩이 처리하는 일의 종류에 큰 영향을 미치게 된다. 발생할 수 있는 다양한 가능성 범위를 포괄하려면 소수점 단위 상세 정밀도와 넓고 동적인 가능성 범위가 모두 필요하다. SW 측면에서는 다양한 부동 소수점 기술과 확률론적 방법으로 조작하는 알고리즘을 필요로 한다.

여기서 다루는 데이터는 확률론 적인 것과 동시에 이미지·문장·비디오, 심지어 추상적인 개념과 같은 고차원적인 공간에서 발생한다. 이러한 정보는 그래픽 처리와 같은 직선형 벡터 데이터가 아니다. 데이터 차원이 고도화할수록 데이터 액세스는 더욱 불규칙적이고 희소성을 띤다. 즉, 버퍼링·캐싱·벡터화(vectorization) 등 HW와 SW에 흔히 사용하는 기술을 적용할 수 없게 된다.

여기에 머신 인텔리전스 컴퓨팅이 대규모 데이터(학습에 필요한 거대한 데이터세트)와 대규모 컴퓨팅(각 데이터를 처리할 때 필요한 아이템 별 대규모 컴퓨팅 작업)을 필요로 한다는 것까지 감안했을 때 확연한 차이를 느낄 수 있다.

이런 점들이 SW 측면에서는 무엇을 의미할까.

머신 인텔리전스 컴퓨팅은 기존 컴퓨팅과 너무나 다르다. AI와 머신러닝 SW는 다른 분야보다 더욱 성능이 중요하게 작용한다. AI SW 스택은 스케일링 효율성을 위해 개발자 생산성, 쉬운 사용법과 유연성을 모두 제공할 수 있어야 한다.

효율성 문제를 해결하기 위해 AI SW는 더 낮은 레벨에서 HW와 통신해야 한다. 이는 HW 런타임 중 의사결정이 늦어지는 것을 방지하고 효율을 끌어올릴 수 있다. AI 알고리즘의 확률적이고 고차원적인 데이터 구조는 런타임 중 어떤 일이 발생할지 예측하기 어렵게 만든다. SW는 실행 중인 알고리즘과 머신러닝 모델 구조와 관련해 더 많은 정보를 제공할 수 있어야 한다.

머신 인텔리전스 분야에서 효율성을 최적화하려면 SW가 특정 AI 알고리즘에 특화한 숫자 표현(number representation)과 명시적 메모리 이동(explicit memory movement) 등을 제어할 수 있도록 프로그래밍 돼야 한다. 물론, HW 역시 이러한 최적화를 수용할 수 있어야 한다.

여기서 SW·HW 공동 설계 이점이 확인된다. SW·HW 공동 설계는 둘 사이에 더욱 심도 있는 공동작업을 가능하게 한다. 개발자가 메모리 위치나 스레드 스케줄링(thread scheduling) 등의 작업을 더욱 효과적으로 분류하는 것을 도울 수 있다. SW 제어 기능을 확대함으로써 다양한 머신 인텔리전스 모델에 대한 HW 처리 방식에도 주목할 수 있게 된다. 희소성과 같은 고급 기술을 활용해 본질적으로 더 나은 성능을 발휘하는 새로운 AI 모델을 개발할 수도 있을 것으로 예상된다.