구글 웨이모는 2009년 자율주행차 프로젝트를 시작으로, 2018년 애리조나 피닉스에서 세계 최초의 상업용 자율주행 택시 서비스인 Waymo One을 출시하며 자율주행 기술 발전의 중요한 이정표를 세웠다. 테슬라 역시 FSD(Full Self-Driving) 베타 프로그램을 통해 완전자율주행 상용화를 목표로 하고 있다.
그러나 상용화 과정에서 기술적 한계와 안전 문제로 인해 일부 기업들이 사업 축소나 철수를 결정하는 사례도 있어, 자율주행 기술은 여전히 안전성과 신뢰성 확보라는 과제를 안고 있다. 그럼에도 불구하고, 웨이모와 테슬라를 비롯한 주요 기업들은 딥러닝, 강화학습, 모듈러 End-to-End와 같은 혁신적 접근법을 통해 기술 발전을 이어가고 있으며, 이를 지원하기 위한 데이터셋과 시뮬레이션 환경 구축에 집중하고 있다.
주요 학술대회에서도 관련 연구가 활발히 발표되며, 자율주행 기술은 지속적으로 진화하고 있다. 이런 가운데 민경욱 한국전자통신연구원 실장이 작성한 『자율주행 인공지능 기술 동향』이라는 기고문을 담은 보고서가 정보통신기획평가원(IITP)에서 발간됐다. 본 블로그에서는 기고문 가운데 일부를 소개하고 보고서를 구할 수 있는 링크를 맨 아래에 공유한다.
 |
| (사진 출처: ww.morethanshipping.com) |
《자율주행 인공지능 기술 발전 방향》
자율주행차량이 전 세계적으로 상용화되고, 교통사고를 획기적으로 줄일 수 있을 것이라는 기대가 있었다. 그러나 현재 자율주행 기술은 여전히 운전자 수준의 일반화 성능에 도달하지 못한 상태이며, 안전성과 신뢰성을 확보하기 위한 추가적인 발전이 필요하다. 이러한 기술적 한계를 극복하고 자율주행의 성능을 한 단계 끌어올리기 위해서는 인공지능 기술이 핵심적인 역할을 한다.
이를 대변하듯이 최근 2~3년 동안 자율주행 인공지능의 새로운 기법에 대한 연구가 활발히 진행 중이다. 이러한 연구개발 내용에 근거하여 자율주행이 운전자 수준 또는 그 이상의 성능을 확보하기 위한 기술 발전 방향에 대해서 기술하고자 한다. [표 1]은 자율주행 컴퓨터 비전 및 인공지능 분야를 선도하는 학술대회인 CVPR (Conference on Computer Vision and Pattern Recognition) 공식 홈페이지의 자료를 바탕으로 자율주행 챌린지 대회 주요 변화를 분석하였다.
초기에는 자율주행 인지와 관련된 문제를 다루는 챌린지 대회가 주를 이루었다. 이후에는 End-to-End 기법, 판단 인공지능, 그리고 시뮬레이션 기술을 활용한 챌린지 대회로 초점이 옮겨지고 있다. 이는 자율주행 인공지능 기술의 연구개발 방향이 판단 인공지능을 포함한 모듈형 End-to-End 모델과, 다양한 주행 환경 데이터셋 및 시나리오를 생성할 수 있는 시뮬레이션 기술에 중점을 두고 있음을 보여준다.
이러한 한계를 극복하기 위해 End-to-End 학습의 이점을 유지하면서도 기존 모듈 구조를 활용한 ‘모듈러 End-to-End’ 접근법이 주목받고 있다. 이 구조는 기존의 고전적인 방식처럼 각 모듈의 결과값을 전달하는 대신, 모듈 간에 특징값(intermediate representations)을 전달하여 학습 과정에서 모듈 간의 상호작용과 최적화를 가능하게 한다. 이를 통해 전체 시스템의 통합 성능을 개선할 수 있다. 엔비디아는 2024년 CVPR 오토노머스 그랜드 챌린지에서 End-to-End 주행 부문 우승을 차지하며 Hydra-MDP 모델의 성능을 입증하였다.
한편, [그림 9]와 같이 테슬라는 FSD(Fully Self-Driving) v12에서 End-to-End 자율주행 기술을 도입하며 기존의 트리 검색 기반 플래너(planner) 구조를 뉴럴넷 기반 플래너로 전환, 약 30만 라인의 C코드를 대체하였다. 이는 자율주행 기술의 통합적 발전 방향을 보여주는 대표적 사례 중 하나다.
[그림 10]에서는 판단 인공지능인 모방학습, 강화학습, 모방+강화학습 융합형태의 자율주행 판단 성능을 나타내고 있으며, 성능이 가장 좋은 모방학습과 강화학습을 융합하는 방향으로 연구가 진행되고 있다. 모방학습은 롱테일 법칙과 같이 드문 주행 환경이나 경험하지 않은 상황에서 성능의 한계가 있는 것이 단점이다.
이를 극복하기 위해 강화학습이 활용되지만, 흔하지 않은 주행 환경이나 위험한 상황(예; 사고 상황)과 관련된 데이터셋을 실환경에서 수집하기는 어려운 과제가 있다. 대안으로 시뮬레이터를 활용한 데이터 생성이 제안되지만, 시뮬레이터 기반 학습은 Sim2Real(Simulation-to-Reality) 전이의 한계로 인해 실제 환경에서의 성능을 보장하기 어렵다.
웨이모는 이러한 Sim2Real 문제를 해결하기 위해 강화학습용 모션 데이터셋을 실환경에서 직접 수집하여 학습에 활용하고 있으며, 최적의 학습 성능을 제공할 수 있는 새로운 시뮬레이터인 SimAgent를 개발 중이다. 이는 시뮬레이터와 실환경 데이터를 결합해 판단 인공지능의 한계를 극복하려는 대표적인 노력으로 평가된다.
엔비디아는 End-to-End 자율주행 기술 개발을 위해 폐쇄 루프(closed-loop) 기반 End-to-End 시뮬레이션 기술을 개발하였으며, [그림 11]과 같이 2025년 CES 기조연설에서 발표하였다. 이 기술은 실제 주행 데이터를 가상환경으로 확장하는 과정에서 Omniverse와 Cosmos 플랫폼이 핵심적인 역할을 한다. Omniverse는 실주행 데이터를 바탕으로 물리적으로 정확한 3D 환경을 생성하며, Cosmos는 이 데이터를 활용해 자율주행 End-to-End 인공지능 모델을 학습하고 평가하는 기술이다.
Cosmos는 물리적으로 일관된 데이터를 생성하여 시뮬레이션을 통해 수십억 마일에 달하는 주행 데이터를 만들어 내며, 폐쇄 루프 구조를 통해 인공지능 모델이 학습한 결과를 다시 시뮬레이션에 반영함으로써 모델을 지속적으로 정교화한다. Cosmos를 활용하여 생성된 데이터는 실제 환경 데이터를 기반으로 다양한 환경 조건과 교통흐름을 변형하여 수백, 수천 배의 데이터를 증강할 수 있다. 이를 통해 현실에서 학습하기 어려운 드문 시나리오까지도 대응 가능해진다.
엔비디아의 이 혁신적인 기술은 시뮬레이션과 실제 환경 데이터(Sim2Real) 간의 물리적 일관성을 강화하여 기존 시뮬레이션의 한계를 극복하고, 희귀 상황 학습을 통해 자율주행 인공지능의 성능과 신뢰성을 크게 향상시키는 데 기여하고 있다.
첫 번째로 시각-언어 파운데이션 모델을 이용한 자율주행 학습 데이터 대규모 자동 생성 및 자동 학습이다. 이는 초기 개발 단계에서 데이터 부족 문제를 해결하고, 모델의 학습 성능을 크게 높일 수 있다.
두 번째로 자율주행차량이 승객과의 상호작용을 통해 투명성과 신뢰성을 높이고, 사용자의 피드백을 통해 성능을 개선하는 언어 기반 자율주행 학습 기술로 차량이 상용화 단계에서 사용자와의 상호작용을 강화하는 데 효과적이다. 인간 수준의 자율주행 일반화 성능을 달성하기 위해 기존의 개별적인 인지, 예측, 판단 기술 개발은 통합 학습이 가능한 모듈러 End-to-End 기술로 발전하고 있다.
또한, 기존 규칙 기반 판단 기술의 한계를 극복하기 위해 강화학습 기반 판단 기술이 도입되고 있다. 이러한 기술을 효과적으로 학습하기 위해 기존의 가상환경 시뮬레이션이 아닌, 실 주행 데이터를 확장하여 다양한 주행 환경과 주행 상황을 생성할 수 있는 시뮬레이션 기술이 개발되고 있다.
더 나아가, 언어모델과의 융합을 통한 자율주행 학습 데이터 자동 생성/학습, 자연어 기반으로 사용자 상호작용과 피드백을 통해 성능을 개선하는 연구가 활발히 진행되고 있다.
《결론》
《결론》
웨이모는 2024년 6월까지 2,200만 마일 이상의 자율주행 로보택시 운행 데이터를 공개하며, 에어백 전개가 필요한 충돌 84% 감소, 부상 발생 충돌 73% 감소, 경찰에 보고된 충돌 48% 감소라는 성과를 발표했다.
그러나 지나치게 높은 차량 가격과 운영 비용 등 경제적 문제로 인해, 지난 몇 년간 자율주행 산업에서는 사업 축소 또는 중단 사례가 속출했다. 우버는 2018년 사망사고 이후 2020년 자율주행 사업부를 오로라에 매각했으며, 아르고(ARGO)는 2022년에 폐업했다. 알리바바는 2023년 자율주행팀을 해체했고, 2024년 애플은 애플카 개발을 중단했다.
또한, GM은 2023년 약 34억 달러의 적자를 기록한 데 이어, 2024년 각종 사고 여파로 크루즈에 대한 지출을 10억 달러 삭감했다.이처럼 자율주행 산업이 직면한 어려운 현실은 기술의 진보를 통해 해결될 가능성이 있다. 웨이모, 테슬라, 엔비디아와 같은 주요 키 플레이어들의 혁신적인 기술 발전은 현재의 한계를 극복하는 데 중요한 열쇠가 될 뿐 아니라, 이들의 기술과 모토를 기반으로 학계, 연구계, 산업계가 협력하여 연구를 확장하고 기술을 발전시키는 선순환 구조를 형성할 수 있다.
이러한 동반 성장은 자율주행 산업의 새로운 도약과 활성화를 이끌며, 기술 혁신과 상용화의 가속화를 가능하게 할 것이다. 이를 위해 우리 정부와 업계는 적극적인 연구개발 투자와 규제 개선을 통해 혁신 환경을 조성하고, 글로벌 기업 및 연구기관과의 협력을 강화하여 기술 경쟁력을 확보하는 데 힘써야 할 것이다.
▶ 보고서 전문 보기: 여기를 클릭 (2163호)
