[제2회 HMG 개발자 컨퍼런스] 자율주행을 위한 딥러닝 기반 라이다 객체 인식 기술

https://www.youtube.com/watch?v=GChq9PVvAwE

이 영상은 현대자동차의 박종원 연구원이 '자율주행을 위한 딥러닝 기반 라이다 객체 인식 기술'이라는 주제로 발표하는 내용입니다.

발표에서는 라이다 기반 인식 기술과 딥러닝 기반 인식 기술에 대해 설명하며, 객체 검출 알고리즘과 성능 개선에 대한 이야기를 진행합니다.

또한, 데이터셋 구축과 하드웨어 적용에 대한 어려움과 해결책에 대해 언급합니다.

이 영상을 시청하면 자율주행 분야에서 딥러닝과 라이다를 결합한 객체 인식 기술의 중요성과 개발 방향에 대해 이해할 수 있습니다.

 

현대자동차 연구원이 발표한 내용은 무엇인가?

현대자동차 연구원은 라이다 기반 인식 기술에 대해 발표했어요.

이 기술은 라이다를 이용하여 주변 객체의 위치와 종류를 파악하는 기술입니다.

주로 오브젝트 디텍션 기술에 대해 소개하였고, 이는 우리가 관심 있는 객체의 위치, 자세, 종류를 파악하는 기술이에요.

이를 위해, 360도로 주변을 감지할 수 있는 현대자동차 로보라이드 차량을 이용하여 자율주행 인식 기술을 개발했어요.

다만, 도심과 같은 환경에서는 객체의 종류가 매우 다양하고, 객체 간 가려짐이 많아 인식 성능 확보가 어렵다는 제안을 했습니다.

신호처리와 딥러닝을 결합한 객체인식 기술 개발과정은?

신호처리와 딥러닝을 결합한 객체인식 기술 개발 결과를 발표하고 있어요.

이전부터 라이다를 통한 신호처리기반 객체인식 기술을 개발해왔다고 해요.

객체인식 과정은 포인트 제거, 세그멘테이션, 바운딩 박스, 클래식 피케이션, 오브젝트 트래킹순으로 진행되며, 각각 단계에서는 서로 다른 알고리즘을 사용할 수 있습니다.

바운딩 박스는 형상 코스트 기반의 최적화 알고리즘으로, 클래식케이션은 객체마다 다른 머신러닝 기법을 사용해요.

또한, 각 객체에 대해 다른 뉴럴 네트워크를 적용한다고 해요.

도시환경에서 로보라이드 차량 인식 알고리즘의 문제점은 무엇인가요?

로보라이드 차량을 이용해 도심 주행 시, 비교적 정돈된 환경에서 주변 인식 성능이 잘 보입니다.

그러나 위치, 크기 등의 경우에는 최적화하기 어렵고, 도시환경의 광범위한 주행 상황을 대응하기 위해서는 기술적인 한계가 있는 것으로 확인되었습니다.

인식의 문제 발생 시, 문제 해결을 위한 빠른 원인 분석과 해결방안이 나오는 것이 강점이지만, 일부 케이스에서는 작은 동적 객체와 같은 경우에는 최적화하기 어려운 점이 있습니다.

걱정하지 마시고, 지속적인 기술적인 발전으로 이러한 문제들이 해결될 것입니다.

도심에서 장애물을 인식하는 방법은?

 

도심에서는 주변 객체와 혼잡한 주행 시나리오가 많아 가려짐 현상이 심하죠.

신호처리 기반 알고리즘은 정보 손실 복구가 어렵지만, 주어진 시나리오에 맞는 최적화된 로직 설계가 가능해요.

딥러닝 기반 객체 검출 기술을 사용한 네트워크로 4단계 전부 처리 가능하며, 디텍션 결과의 3D 박스와 클래식 피케이션 결과가 동시에 출력됩니다.

네트워크 개발은 관측 데이터 수집 후 3D 박스와 클래스 레이블링, 어그멘테이션, 성능 검증 과정을 거쳐 실시간 인퍼런스가 가능해져요.

자율주행을 위한 어떤 기술과 데이터셋이 사용됐을까?

작은 객체를 인식할 수 있는 멀티 헤드 디텍터를 적용해 네트워크 크기를 줄이면서도 성능을 높인 경량화된 딥러닝 모델과, 도심과 자동차 전용도로에서 취득한 라이다 데이터를 기반으로 다양한 주행 환경을 반영한 최적화된 데이터셋으로 자율주행을 구현했어요.

승용차, 승합차, 이륜차, 버스, 보행자를 인식 타겟으로 설정하기 위해 데이터 취득도 필요했는데, 이 때 동적 객체인 차량과 보행자를 쉽게 구분할 수 있는 방법도 고민해봤어요.

개발된 모델은 최대한 가벼운 네트워크로 설계되었고, 연산 최적화를 수행하여 자율주행 구현에 적용할 수 있게 되었습니다.

어떤 데이터셋으로 객체 검출을 수행하고 있는지?

3D 박스와 클래스를 레이블링한 후, 객체 검출을 위한 데이터셋으로 사용하고 있어요.

차량과 보행자, 오토바이가 섞인 주행환경에서의 성능 예시를 보여줘요.

트래킹을 통한 필터링이 적용되지 않았기 때문에, 오클루전이 심하게 발생하는 상황을 제외하면 오브젝트 디텍션이 높은 정확도로 수행됩니다.

딥러닝 기반 객체 인식의 효과

딥러닝 기반 객체 인식은 작은 객체에서도 진행 방향을 비교적 정확하게 알아낼 수 있으며, 매우 근접한 상황에서도 실제 객체 단위로 분리되어 출력할 수 있습니다.

다양한 주행 상황을 모두 학습 데이터로 구축하여 보다 넓은 범위의 시나리오를 커버할 수 있고, 가려짐 현상이 있는 객체에 대해서도 강인한 성능을 보입니다.

또한, 풀박스 추론을 통해 실체 객체의 위치와 크기에 대한 인식 정확도가 높아지며, 딥 뉴럴 네트워크를 사용하면 클래식 피케이션 성능이 향상된다는 특징이 있습니다.

라이다 객체 검출의 단점과 개선방안은?

라이다 객체 검출 시 미탐지나 비정형 객체의 인식이 어렵다는 단점이 있어요.

이를 극복하기 위해서는 신호 처리 알고리즘을 적용하여 개발을 진행하고 있어요.

따라서, 미탐지 객체에 대해 신호 처리 알고리즘을 적용하여, 객체 검출 네트워크 타겟에 해당하지 않는 비정형 객체 검출과 미탐지 객체 인식 문제를 해결할 수 있게 됐어요.

이러한 융합 기술로 인해 미탐지 객체나 비정형 객체를 인식할 수 있게 되었고, 전반적인 도로 상황을 인식할 수 있게 됐어요.

어떤 기술 개발을 하고 그 기술은 어떤 이점을 가지나요?

신호 처리 및 딥러닝 기반의 객체 검출 기술 개발로 보행자나 차량 미탐지 시, 인식 부분을 보완했어요.

시맨틱 세그멘테이션 결과와 도메인 어댑테이션을 융합하면 정확한 인식 결과를 기대할 수 있어요.

신호처리 기반 알고리즘에 비해 포인트 Cloud를 이용해 정확한 주행 가능 영역 인식이 가능해졌죠.

각 로직의 장단점을 보완하여 보다 나은 인식 결과를 만들어낼 수 있을 거예요.

현대자동차 라이다 인식 차트 2팀은?

저희 팀은 현대자동차 자율주행 소프트웨어 개발 2팀 '라이다 인식 차트' 소속입니다.

자율주행 차량에서 라이다 센서는 인식 정보의 신뢰도 때문에 꼭 필요합니다.

라이다 센서를 통한 인식 소프트웨어 개발을 하면 객체 위치의 헤딩 정확도가 높아지는 장점이 있습니다.

하지만 일부 객체의 인식이 어려워 카메라와의 혼합 사용이 필요합니다.

라이다와 카메라 기반의 객체 인식에 대한 각각의 장단점 비교, 라이다 센서의 필요성, 그리고 혼합 사용에 대해 3가지 질문에 대한 답변을 제공합니다.

객체인식에서 신호처리와 딥러닝 융합의 성능은?

객체인식에서 신호 처리와 딥러닝의 융합 기술의 성능 지표를 공개하기 어렵다면서 차량에서 모두 영상으로 이루어지기 때문에 문제가 발생할 수 있기 때문이에요.

또한, 딥러닝 네트워크는 동적 객체 인식을 대상으로 학습되었기 때문에 차량, 보행자, 오토바이와 같은 대상만 인식할 수 있다는 이야기도 나와요.

그러므로 단일 지표로 나타내기 어렵다고 해요.

또한 펄스파시티브 케이스의 경우 더 필요한 최적화에 대한 지역적인 부분이 존재하지만 인식 실패할 경우를 대비한 네거티브 케이스가 대부분 커버한다는 내용이 있습니다.

어댑티브한 보완이 필요한 이유?

자체 데이터셋을 구축하여 사용하고 있어 비교가 어려워요.

또한, 개체의 크기가 다르면, 다른 객체와 라이다 객체 인식 헷갈리게 된답니다. 이를 해결하기 위해 효과적인 데이터셋 보완이 필요한데, 이 때 격자 세팅이 아닌, 어댑티브 한 접근이 필요해요.

예를 들어, 버스나 오토바이 같은 작은 객체가 부재할 때, 데이터셋 구축에도 노력해봐요.

데이터 어그멘테이션 기법과 클래스 인밸런스 문제 해결 필요

데이터 어그멘테이션 기법 개선이 필수적이며, 클래스 인밸런스 문제 해결을 위해 데이터 커뮤니케이션을 노력하고 있어요.

데이터셋 구축은 어려운 점이 많다고 하네요.

현대자동차에서는 구축 방법과 실제 구축한 방법을 설명하고 있어요.

더 나은 결과 를 위해 더욱 발전된 데이터셋 구축 방법 개발과 데이터 어그멘테이션이 필요하다고 생각합니다요.

딥러닝 네트워크에서 가장 중요한 것은?

딥러닝 네트워크에서는 학습 데이터가 가장 중요해요.

클래스 인밸런스 문제로 인해 데이터 어그멘테이션 기법을 사용하여 문제를 극복하곤 하고, 데이터 레이블링에는 전문 레이블링 인력을 사용해요.

네트워크 개발자들의 지속적인 피드백이 중요하며, 후처리 필터링 전에도 어떤 방식으로 데이터셋을 구축해야 하는 지 고려하는 것이 좋아요.

이미지 기반과 비자형 객체 인식 네트워크는 어떤 문제점을 가지고 있나요?

이미지 기반 기술의 경우, 라이다와 이미지의 대비된 스팟 등 학습 방식의 차이 때문에 성능을 개선하기 위해 어떻게 네트워크를 이식할 수 있는지가 고민거리이고, 비자형 객체 인식 네트워크의 경우에는 참 어렵고 성능적으로도 아쉬운 부분이 있어서 다양한 접근 방법을 시도하고 있는 상황입니다.

그래서 네트워크를 융합하는 것이 가능한 방안을 고민하고 있습니다.

AI 기술과 관련하여 계속해서 피드백을 받고 있으며, 일부 답변을 제공하고 있다고 합니다.

만약 추가적인 질문이 있다면 댓글로 남겨주세요.

카메라와 레이더 융합 연구는 왜 유망한가?

카메라와 레이더의 연구 주제는 여전히 성능상의 여지가 많은 주제이지만, 라이다 및 레이더를 처음부터 융합하고 이를 피쳐로 사용해 네트워크를 계속 개선하는 것은 유망하다고 생각합니다.

따라서 라이더 홀릭 카메라는 처음부터 확실하게 설치되고 잘 작동해야 하지만, 이를 위해 노력해야한다는 것입니다.

검은색 차량과 흰색 차량 라이다 센서 인식 성능 차이 해결 방안은?

라이다와 레이더를 활용해 검은색 차량과 흰색 차량 라이다 센서 인식 성능 차이를 조정했어요.

또한 딥러닝 기술을 이용해 각 차량마다 세팅을 했습니다.

이를 통해 높은 인식 신뢰도를 가진 센서를 개발하고자 했어요.

이를 해결하기 위해 의도된 학습을 통해 구현해 나갔습니다.

라이더에게 도움이 될 것입니다.