[기고] ADAS용 도메인 컨트롤러 위한 '다중 카메라' 비전 인식 구현하기

동네에서 차를 운전할 때, 혹은 아이들이 걷거나 자전거를 타는 것을 볼 때 우리는 안전의 중요성을 다시 한번 상기한다. 미국 도로교통안전국(NHTSA)의 2021년 연구에 따르면 미국에서는 평균 20명의 보행자가 매일 71분마다 한 명씩 교통 사고로 사망했다.

또한 세계보건기구(WHO)는 2022년에 발표한 연구에서 매년 130만 명이 도로 교통 사고로 사망한다고 밝혔다. 해당 사망자의 절반 이상은 보행자, 자전거 타는 사람 및 오토바이 운전자 중 하나로 나타났다. 불행히도 이러한 사고의 가장 큰 원인은 운전자의 주의 산만이며, 이러한 추세는 매년 증가하는 것으로 보인다.

첨단 운전자 지원 시스템(ADAS)은 운전자와 보행자 및 취약한 도로 사용자를 보호하기 위해 주의를 산만하게 할 수 있는 요소들의 영향력을 최소화한다. 또한 많은 제조업체들은 5성급 안전 등급을 획득하고 규제 기한을 준수하기 위해 백업 카메라, 전면 카메라 및 운전자 모니터링 시스템을 추가하고 있다.

이러한 상황에 대응하기 위해서는 ADAS 도메인 컨트롤러에 능동적인 안전 기능을 통합할 필요가 있다. 통상적으로 요구되는 사항은 여러 센서와 인터페이스 할 수 있는 능력 ▲인식·주행·주차 애플리케이션을 위한 비전 및 인공지능(AI)·범용 프로세싱 ▲저대역폭 및 고속 차량 네트워크에 대한 연결성 ▲중요한 작업의 손상을 방지하는 기능적 안전성과 보안 등이다.

ADAS 도메인 컨트롤러의 처리 및 시스템 요구 사항

시스템 메모리, 컴퓨팅 성능 및 I/O(입출력) 대역폭에 대한 수요가 증가함에 따라 시스템 설계가 복잡해지고 시스템 비용이 증가하고 있다. 오늘날의 첨단 ADAS 시스템은 다양한 해상도의 여러 카메라를 사용하며, 차량 주변에 다양한 레이더 센서가 장착되어 주행 환경을 완벽하게 파악할 수 있다.

AI 및 컴퓨터 시각 지원 감지 및 분류 알고리즘은 센서에서 수집된 각 이미지 세트를 정확하게 해석하기 위해 초당 높은 프레임 속도로 실행돼야 한다. 이는 시스템 및 소프트웨어 설계자에게 이러한 센서를 처리 시스템에 인터페이스하고, 콘텐츠를 메모리로 전송하고, 분류 알고리즘이 실시간으로 처리할 수 있도록 데이터를 동기화하는 등의 과제를 안겨준다.

멀티카메라 비전 인식 구현

위 그림에서 보여주는 텍사스인스트루먼트(TI)의 'TDA4VH-Q1' 시스템온칩(SoC)은 비전 전처리, 깊이 및 모션 가속, AI 네트워크 처리, 자동차 네트워크 인터페이스 및 안전 마이크로 컨트롤러(MCU)와 같은 기능을 통합한다.

ASIL(Automotive Safety Integrity Level) D를 충족해야 하는 응용 분야에서 TDA4VH-Q1에 전력을 공급하도록 최적화된 TPS6594-Q1 전원 관리 집적 회로에는 전압 모니터링, TDA4VH-Q1 SoC용 하드웨어 오류 감지, 잠금을 유발하는 소프트웨어 오류에 대해 SoC의 MCU를 모니터링하는 Q&A 감시장치가 있다.

멀티카메라 비전 인식 구현향상된 프로세서 성능이 필요한 ADAS 애플리케이션의 대표적인 예시는 바로 멀티 카메라 비전 인식이다. 차량 전방위에 카메라를 배치하면 360도 시야를 확보하여 정면 충돌을 방지할 수 있을 뿐 아니라, 사각 지대 및 인접 차선에서 운전자가 교통 및 보행자 활동에 대한 경계심을 유지할 수 있게 한다.

팬텀 AI(Phantom AI)는 TI의 'J784S4' 프로세서 오픈소스 소프트웨어 개발 키트(SDK)를 사용해 TDA4VH-Q1을 위한 멀티카메라 비전 인식 시스템을 개발했다. 팬텀 AI의 팬텀비전(PhantomVision) 시스템은 TDA4VH-Q1 프로세서를 위한 다양한 ADAS 기능들을 제공한다.

여기에는 EU의 GSR(General Safety Regulation) 준수부터 SAE(Society of Automotive Engineers) 레벨 L2 및 레벨 L2+에 이르는 다양한 기능이 포함된다. 팬텀비전은 차량, 취약한 도로 사용자, 여유 공간, 교통 표지 및 신호등 등 기본적인 기능들 외에도 공사현장, 방향 지시등 및 테일 램프 감지 및 AI기반 자율 경로 예측 등의 추가 기능도 함께 제공한다. 또한 팬텀 AI의 멀티카메라 인식 시스템은 전방, 측면 및 후방 시야 카메라를 조합해 차량에서 360도 시야를 확보하고 사각 지대를 제거하는 데 도움을 준다.

팬텀 AI가 제시하는 360도 뷰를 위한 카메라 배치(사진=텍사스인스트루먼트)

팬텀 AI는 고성능 컴퓨팅, 딥 러닝 엔진, 신호 및 이미지 사전 처리를 위한 전용 가속기가 결합된 TDA4VH-Q1를 통해 실시간 작동을 구현한다. 전용 비전 전처리 가속기는 이미지 캡처, 색상 공간 변환 및 다중 스케일 이미지 피라미드 구축을 포함한 카메라 파이프라인을 처리한다.

TI의 딥 러닝 라이브러리와 함께 TDA4VH-Q1의 초당 테라오퍼레이션(teraoperations per second)에 이르는 멀티코어 디지털 신호 프로세서와 매트릭스 멀티플라이 어시스트 엔진은 빠른 알고리즘과 최소한의 I/O 작동 스케줄링으로 효율적인 신경망을 지원하여 높은 정확도와 낮은 지연 시간을 제공한다. 이는 아래 그림을 통해 참조할 수 있다.