KAIST, 악천후에서 객체인식 가능한 자율주행 4D레이더 AI 기술 개발

자율주행 학습용 데이터셋과 인공지능 신경망 등 공개

KAIST(총장 이광형)는 조천식모빌리티대학원 공승현 교수 연구팀이 악천후 상황에서도 안정적 자율주행을 가능하게 하는 4D 레이더를 위한 주변 객체 인지 인공지능 기술을 개발했다고 20일 밝혔다. 

연구팀은 자율주행 연구 활성화를 위해 인공지능 학습 데이터셋 'KAIST-레이더(K-레이더)'와 인공지능 신경망(RTN4D), 4D 레이더 인공지능 개발 플랫폼과 관련 벤치마크 등 이번 연구 성과를 모두 공개한다.

K-레이더 구축을 위한 자율주행 센서 수트; 자동차 지붕에 설치한 외부 라이다(LiDAR)와 카메라, 그리고 전방 범퍼 위에 설치한 4D 레이더와 실내 카메라 등으로 구성되어 있다. 측정치를 보면 레이더는 차량 외부에 장착되는 센서 중에서 악천후 상황과 흙먼지에 가장 강인한 센서임을 확인할 수 있다. (자료=KAIST)

자율주행 자동차는 주로 카메라와 라이다(LiDAR)에서 출력되는 이미지와 포인트 클라우드 데이터를 적절한 인공지능 신경망으로 처리해 주변 객체들을 인식한다. 그러나 가시광선과 적외선을 사용하는 카메라와 라이다는 눈비가 오거나 안개가 낀 상황에서 측정 성능이 떨어져 주변 객체를 인식하기 어렵다. 

반면 77㎓ 대역의 자동차 레이더는 눈, 비, 안개 등의 악천후 상황에서 안정적으로 쓸 수 있다. 웨이모와 모빌아이도 4D 레이더를 자율주행 주요 인지 센서로 활용할 계획을 밝혔다. 이에 따라 4D 레이더에 인공지능을 이용한 주변 인지 기술 연구가 시작되고 있지만, 고성능 인공지능 개발에 필수적인 데이터셋이 충분히 구축되지 못한 상황이다. 

이번에 공개하는 K-레이더는 13테라바이트 용량의 세계 최초 4D 레이더 데이터셋이라고 연구진은 밝혔다. 악천후를 포함한 다양한 날씨 및 교통 상황에서 수집된 다양성 높은 데이터셋으로, 정확히 동기된 카메라와 라이다 측정 데이터와 함께 구축됐다. 텐서 형태의 데이터셋이며, 일반적인 레이더의 잡음 제거 방식을 사용하지 않아 잡음 수준의 미약한 미세 측정치를 온전히 담고 있다.

연구팀은 K-레이더로 학습시켜 4D 레이더 인공지능 신경망(RTN4D)도 개발했다. 다양한 날씨와 도로 상황에서 70m 이내의 객체에 대해 객체 판별, 위치 추정 및 주행 방향 추정 등 3가지 추정을 정확히 수행하는 경우가 62.5%에 이른다. 세계 연구자들이 자체적으로 데이터를 추가 구축하고 신경망 기술을 개발하며 성능을 자체 평가할 수 있도록 레이더용 인공지능 신경망 개발 플랫폼과 벤치마크도 공개 제공한다.

4D 레이더 인공지능 신경망 및 인공지능 신경망 차량 인식 결과 비교; 위 그림은 동일한 위치에서 4D 레이더 인공지능 신경망과 라이다 인공지능 신경망의 차량 인식 결과(추론: 빨간색 실선 사각형으로 표시)와 도로상의 실제 차량(정답: 노란색 실선 사각형으로 표시)을 표시한 그림이다. 또한, 인공지능 신경망이 인식하지 못하고 놓친 차량은 보라색 바탕에 점선 박스로 표시하고 잘 못 인식하여 존재하지 않는 차량을 추론한 경우에는 해당 위치에 옅은 녹색 바탕에 점선 박스를 표시하였다. (자료=KAIST)

공승현 교수는 "눈이나 비가 오는 날씨에서 4D 레이더 인공지능 신경망은 기존 라이다 인공지능 신경망보다 훨씬 더 안정적인 주변 객체 인지 성능을 갖는다"라며 "공개한 K-레이더와 4D 레이더 인공지능 개발 플랫폼 및 벤치마크를 통해 향후 4D 레이더에 관한 인공지능 연구가 더욱 활발히 진행될 것으로 기대한다"라고 말했다

K-레이더, 4D 레이더 인공지능 신경망(RTN4D), 4D 레이더 인공지능 개발 플랫폼과 벤치마크는 연구실 홈페이지와 깃허브를 통해서 배포될 예정이다. 

이번 연구는 한국연구재단(NRF) 및 정보통신기획평가원(IITP)의 지원과 스마트레이더시스템의 협력으로 수행됐다. 연구 성과는 12월 열리는 인공지능 컨퍼런스 '뉴립스(NeurIPS) 2022'에서 발표될 예정이다.