- DGIST 임성훈 교수팀, 신경망 구조와 자율주행 거리 센싱 사이의 관계를 분석하여 다양한 환경에서 신뢰할 수 있는 깊이 센싱 기술 개발

- 다양한 도시, 날씨의 조건에서 안전하게 수행되어야 하는 자율 주행 등의 광범위한 AI 분야 발전에 활용 기대돼

▲(왼쪽부터) 임성훈 교수, 배진우 연구원, 황규민 박사과정생

DGIST(총장 이건우) 전기전자컴퓨터공학과 임성훈 교수팀이 장소, 날씨에 구애받지 않고 다양한 환경에서 안전하게 자율주행 할 수 있는 깊이 추정 딥러닝 기술을 개발했다고 12일(화) 밝혔다. 향후 깊이 센싱 기술을 필수적으로 탑재하는 실내·외 로봇 비전, 3차원 객체 검출 등의 많은 분야에 적용될 것으로 기대된다.

자율주행 운전 시에는 주위의 거리를 감지해 주변 환경을 정확하게 인식할 수 있는 깊이 센싱 기술이 중요하다. 이 때문에 국내외에서는 자율주행을 위한 딥러닝 기반의 깊이 센싱 기술들을 활발히 연구하고 있다. 기존에 사용된 기술들은 특정한 조건을 갖춘 실험용 데이터에서는 준수한 성능을 달성하였으나, 안개가 있거나 비가 오는 등의 변수가 있을 시에는 오탐지 및 낮은 품질의 성능을 보여 실사용에는 한계가 있었다.

이에 임 교수팀은 어떤 조건에서도 동일하게 작동할 수 있도록 일반화 하는 것에 집중했다. 다양한 신경망 구조와 깊이 센싱 문제 사이의 관계를 분석했다. 이를 통해 입력 영상 전체에 대한 집중적인 특징 추출과 효과적인 특징 정합을 통해 높은 정확도와 신뢰성을 갖춘 깊이 센싱 기술을 개발했다. 또한, 장소와 날씨 등 다양한 환경에서의 자율주행 데이터에 대한 선행 연구와 제안한 기술을 평가하여 일반화 성능을 분석했다.

나아가 연구팀은 다양한 환경과 깊이 센싱 벤치마크에 대해 선행 연구들과 제안한 기술을 평가하여, 신경망 구조에 따른 깊이 센싱 기술들의 일반화 성능에 대해 분석했다. 이를 통해 일반화 성능을 향상시키기 위한 신경망의 구조 및 평가 지표를 제안했다. 

DGIST 전기전자컴퓨터공학과 임성훈 교수는 “본 연구를 통해 제안한 단안 카메라 깊이 센싱에 대한 일반화 연구는 기존의 편향된 자율주행 인공지능에서 벗어나, 사람들이 믿고 이용할 수 있는 자율주행 인공지능에 한 걸음 더 다가갈 수 있도록 하는 기술”이라며 “향후 관련 기술의 다양한 분야의 적용을 통해, 신뢰할 수 있는 인공지능 기술 개발에 큰 영향을 미칠 것으로 기대된다.”고 말했다.

한편, 이번 연구 결과는 EE 및 CS/AI분야 상위 1% 국제저명전문학술지 ‘IEEE Transactions on Pattern Analysis and Machine Intelligence’에 2023년도 11월에 게재되었다.

[그림 1] 고안한 학습기반 단안 카메라 깊이 추정 기술

(그림설명) 제안한 단안 카메라 깊이 추정 기술의 도식화. 제안한 방법은 트랜스포머(Transformer)의 형상(Shape) 편향 특징과 합성곱 신경망(CNN)의 질감(Texture) 편향 특징을 융합할 수 있도록 하는 하이브리드 네트워크이다. 제안된 방법은 합성곱 신경망을 통해 추출된 입력 영상의 특징들을 트랜스포머 인코더를 통해 다양한 해상도의 특징 지도로 변환시킨다. 이때, 기존 합성곱 신경망과 달리 트랜스포머의 전역적 자기-집중 방법을 통해 영상 내의 전체적인 문맥을 추출할 수 있었으며, 집중 연결 모듈(Attention Connection Module)을 통해 채널과 공간에 따른 집중도를 적절히 연결할 수 있도록 하였다. 이후, 특징 융합 디코더(Feature Fusion Decoder)를 통해, 다양한 해상도의 특징 지도를 효과적으로 융합함으로써, 전체적인 문맥과 영상 내의 엣지와 같은 세부적인 디테일을 보존한 깊이 추정 결과를 얻을 수 있도록 설계하였다.

[그림 2] 신경망 구조와 깊이 추정 문제 간의 관계에 따른 일반화 성능의 예시

(그림설명) 신경망 구조와 깊이 추정 문제 간의 관계에 따른 일반화 성능의 예시. 상단의 도표는 최근 새롭게 제안된 신경망의 구조에 대한 개요도이며, 하단의 도표는 학습 시 보지 못한 분포(Out-Of-Distribution)에 대한 깊이 추정 기술들의 성능 평가이다.