[제2회 HMG 개발자 컨퍼런스 Keynote] 자율주행 요약

https://youtu.be/rY9DAsmQMF8?si=GVmFHH35hRNLePM6

이 영상은 자율주행 기술에 대한 발표입니다.

발표자는 자율주행 사업부의 임직원들인 장홍준 전무와 서혜진 파트장입니다.

영상에서는 자율주행 소프트웨어와 관련된 기술 개발과 구현 방식에 대해 설명합니다.

자율주행 차량에서의 영상 인식 소프트웨어 개발에 대한 어려움과 그 해결 방안, 데이터의 수집과 저장, 그리고 데이터 클러스터링과 네트워크 학습에 대한 과정을 소개합니다.

또한, 클라우드 러닝 시스템을 통해 데이터 파이프라인과 모델 개발 및 업데이트가 어떻게 이뤄지는지에 대해 설명합니다.

이 영상은 자율주행 기술과 그에 따른 안전 및 편의 기능들에 대한 자세한 기술적인 설명을 포함하고 있습니다.

 

 

자율주행, 레벨 4, 5까지 협업

서울 삼성 강남에 위치한 자율주행 사업부에서 도심 주행, 고속도로 주행, 자율주차 및 운전자 보조 시스템을 개발하고 있어요.

자율주행은 완전 자율주행과 자율주행으로 구분하지만 바텀업 방식과 레벨 4, 5부터 탑다운 방식으로 개발하는 방법이 있고, 레벨 4, 5 탑다운 방식은 내구성과 안정성 등에서 어려움이 있다는데요, 이를 어려움을 극복하면서 자율주행 기술을 함께 개발할 것이라고 밝혔어요.

ADAS 자율주행사업부가 추구하는 개발 방향은?

ADAS 시장 크기와 성장성을 고려하여 자율주행사업부는 바텀 업 방식으로 ADAS부터 쌓아 올려가는 방식으로 하고 있어 원가 면에서 경쟁력과 더불어 안정성도 유지합니다.

레벨 4까지의 완성도를 더 올리기 위해서는 시간을 두고 멀리 내다보며 개발하는 방식을 취하고, 자율주행 뿐만 아니라 자동주차 기술도 개발하여 운전자의 불편을 해결하고자 합니다.

또한, 외부에서 사용하는 기술들뿐만 아니라 자체적으로 대부분의 것들을 개발하고 있습니다.

따라서 법규 준비와 상관 없이 기술 향상에 집중하여 차량이 주차장에서 주차하고 다시 픽업되는 그러한 기술 개발에 노력하고 있습니다

현재 어떤 차량 개발 중인가?

차량의 긴급 상황 대응을 위해 경찰차, 앰뷸런스, 소방차 등 다양한 긴급 차량도 인식할 수 있도록 개발 중이에요.

라이더 기술도 개발하고 있으며, 이미 저가형 라이더도 충분히 생산 가능한 수준이 되어, 라이더가 장착된 차량을 시장에 출시할 예정이에요.

취급 대상 오브젝트에 따라 세그멘테이션 기술을 이용해 자동차, 로드, 빌딩, 가로수 등을 구분하며, 추가적인 소프트웨어적인 처리도 자체 기술로 개발하고 있어요.

이러한 기술들을 토대로 현재 안전 시스템도 개발 중에 있어요.

어떤 자율 주행 차량 기능 개발?

자율 주행 차량이 보행자와 후진차량과 같은 상황에서도 반응할 수 있도록 다양한 안전 기능을 개발하였어요.

LFA(Lane Following Assist) 기능도 중앙 유지 기능을 높이고 차로 한계속도 3m^2에서 벗어나 국제 기준을 맞추어 문제 없이 사용가능한 수준으로 개발했어요.

샷시 센터와 협력하여 조작 성능을 높이고 생산성에 기여하였습니다.

대한민국에서는 3.0까지의 속도가 제한되어 있어, 미국에서는 테슬라 같은 기업에서 4.2을 사용하고 있는데, 2021년에 다양한 기능 개발을 맞이하여 새로운 세대의 차량이 출시될 것으로 예측됩니다.

주차 센서 개발의 현재와 미래

초음파 센서, 광각 카메라, 라이더 등 안전 기능이 적용된 주차 센서입니다.

더 정확한 주차를 위한 개발이 이루어졌으며, 충돌 방지 및 보행자 감지가 가능합니다.

또한 OSS(OTA)를 통해 보다 빠른 업그레이드가 가능해졌습니다.

현재 알파 기능 출시를 준비하고 있어, 미래에는 초음파 센서만을 사용하는 주차 센서를 기대할 수 있습니다.

테슬라 대비 아이오닉 5의 제어기 수와 OTA

아이오닉 5의 제어기 개수에 따라서 주행과 주차를 구분하고 있으며, 기능 특화를 위해 제어기를 추가하기도 해요.

설계나 기업의 특성 등에 따라 차량 제어기의 개수는 상이할 수 있지만, 테슬라에 비해 아이오닉 5의 제어기는 더 많은 문제점을 가지고 있었어요.

그러나 OTA (Over The Air)서비스를 통해 이미 2세대 생산까지 완료돼 국내외에서 사용할 수 있고, 이를 바탕으로 3세대를 개발 중이에요.

현재 클라우드 러닝 시스템의 파트장은 자율주행 소프트웨어 개발 1팀으로, 영상 이식 3파트를 담당하며 발표를 진행하고 있어요.

롱테일 프라블럼이란?

 

롱테일 프라블럼은 통계학이나 데이터 분석에서 사용하는 용어에요.

보통 다음과 같은 그래프로 설명돼요.

이 그래프는 헤드와 롱테일이라는 두 부분으로 이루어져 있어요.

헤드는 적은 종류의 데이터지만 구성 비율이 큰 부분을 차지하고, 롱테일은 다양한 종류의 데이터이지만 구성 비율이 작은 부분을 의미해요.

딥러닝 네트워크를 학습시킬 때는 데이터 구성이 매우 중요하며, 적은 양의 데이터로 학습시키면 좋은 성능을 기대하기 어려워요.

특히 자율주행 소프트웨어에서는 일반적인 경우에서는 잘 작동하지만, 인식 대상이 특이한 경우나 평소에 볼 수 없는 경우에는 사고를 일으키기도 해요.

자율주행차량 롱테일 케이스 방지를 위한 시스템은?

딥러닝 데이터를 통해 자율주행차량에서 롱테일 케이스 방지가 필요하다고 해요.

그러나 대상이 될 수 있는 데이터의 사이즈가 너무 크다는 문제점이 있어요.

이 때문에 데이터를 클라우드 러닝 시스템으로 전송하고 처리해, 모델 학습과 업데이트를 하여 해결합니다.

실제 차량에서 데이터를 수집해서 당사의 클라우드 서버로 전송하고 데이터를 선택적으로 당사의 학습서버로 옮긴 후, 엠버렙스를 통해 가공 및 학습을 한 다음, 7차에서 검증된 후, OTA를 통해 자율주행 차량을 업데이트합니다.

자율주행 서비스의 온라인 데이터 큐레이션 기법이란?

자율주행 양산차량에서는 이미지 데이터 처리를 위한 용량 제한이 크다고 해요.

그래서, 이를 보완하기 위해 ADAS VP 제어기로부터 출력되는 엔트로피 정보를 수집하여 네트워크에 필요한 실시간 영상 데이터만을 골라냈어요.

이른바 '온디바이스 / 오프 디바이스(On-device/Off-device) 알고리즘'을 자체 개발하여 자율주행 영상 이식을 향상하였는데, 이를 위해 '온라인 데이터 큐레이션' 기법을 사용하면 클라우드 서버로 데이터를 모아 안정적인 서비스 제공이 가능해요.

빅데이터 처리 기술에 대해

모은 데이터양이 어마어마해도 필요한 데이터만 선택하여 가공하기 위해 데이터 클러스터링 기법을 활용하며, 이를 통해 데이터 크로스 엔트로피, 위치와 시간정보 등을 바탕으로 차원 축소맵에 매칭하고, 이미지 데이터 군집화 특성을 분석하여 우선순위를 파악합니다.

데이터는 MRoX 시스템을 이용하여 가공, 네트워크 학습 및 평가에 사용됩니다.

오프라인 데이터 클러스터링 기법을 적용하여 막대한 양의 데이터를 모으지만, 효율적으로 데이터를 가공하여 효과적인 네트워크 학습 및 평가가 가능합니다.

mlops 시스템에 구현하지 못한 부분은?

mlops는 네트워크 개발자들의 명확한 노하우와 데이터 특성에 따라 다르게 개발되므로, 저희는 이 시스템 없이 개별적으로 딥러닝 네트워크 개발하는 워크플로우를 개발하고자 했어요.

요소 기술들로 이루어진 워크플로우들을 개발해, 어려운 태스크들을 자동화한 후, 이것들을 mlops 시스템에 연결했는데, 데이터 파이프라이닝과 모델 CICD로 구성된 mlops 시스템을 천천히 구축하고 있죠.

그러나 네트워크 데이터량이 무한히 증가할 때, 모든 학습 데이터를 학습하는 것은 현실적이지 않아서 continuous learning이 필요하죠.

모델 학습에 사용되는 전략과 검증 방법은?

트랜스퍼 러닝이나 액티블러닝 등을 사용해 모델 학습을 하고, 검증을 위해 레퍼런스 센서 기반의 실차 검증 시스템을 이용한다는군요.

특히 데이터의 종류, 크기 및 네트워크 특성에 따라 결과가 달라 일반화 할 수 없다고 판단하여, 롱-라이프 러닝이나 컨티뉴얼 러닝과 같은 새로운 전략을 연구하고 있습니다.

검증된 모델은 OTA를 통해 자율주행 차량에 업데이트되며, 서버를 통해 무선 데이터로 전송된 해당 모델은 CCU를 거쳐, ADAS VP의 업데이트를 진행합니다요.

어떤 방법을 사용한 연구 중인가?

콘티뉴어스 러닝에 기존 데이터의 일부를 버리는 문제의 해결책으로 트랜스퍼 러닝을 활용한 것을 연구 중이에요.

연구 방법은, 기본적인 학습이 완료된 데이터셋에서 특정 레이어들만 열어놓고, 새로운 데이터로 학습하는 것이에요.

현재는 액티블 러닝과 앙상블 러닝을 혼합하여 학습 전략을 검토 중이에요.

앙상블 러닝은 많은 머신러닝 알고리즘을 함께 사용해 전체적인 예측을 개선하는 방법이에요.

그 외에도 느릿느릿 디스트레이션 같은 방법도 검토 중인 것으로 밝혔다죠.

데이터에서 모호한 부분을 걸러내고 학습하기 위해 적용되는 기술은?

롱 라이프 러닝, 컨티뉴얼 러닝 관점에서의 다양한 연구가 진행 중이에요.

영상의 양상 인식 기능이 어려운 환경을 별도로 검출하는 비주얼 비전 technology로 이상한 데이터를 제거하고 있지만, 데이터의 모호한 부분을 지워버릴 필요가 없을 지 고민 중이에요.

시스템 자동화를 위해 신규 데이터 특성을 분석하여 학습하는 루프를 돌릴 필요가 있으며, 이를 위해 관련 제안 기법을 연구하고 있어요.

현재는 롱 라이프 러닝, 컨티뉴얼 러닝 관점에서의 다양한 연구 중 세미스퍼 바이즈, 델리버리즈 러닝 컨셉 등에 관심을 가지며 연구하고 있어요.

그리고 학습을 위한 데이터들 중 폴스 데이터, 잘못된 데이터들이 들어있을 수 있어요.

영상 인식 데이터 레이블링 방식에 대해 설명한다.

영상 인식 데이터 레이블링 방식은 2D, 3D, 픽셀바이픽셀 등 다양하지만, 정답은 없어요.

성능과 원가, 내구성 등을 고려한 트레이더프를 잘 선택해야 하며, 좀 더 안정적이고 경쟁력 있는 기술을 널리 보급하기도 해요.

그러나 영상 기술 개발 관점에서 보면 보다 고도화된 기술을 쓸 수 있는 경우도 있어요.

이에 따라 저희는 영상 이식 기술을 연구하고 있지만, 개발한 기술을 실제 차량에 적용하고 소비자들로부터 피드백을 받고 판매하는 것이 더 중요하다고 봐요.

따라서 영상 인식 기술을 더욱 안정적이고 경쟁력있게 개발하기 위해 많은 노력을 기울이고 있어요.

해당 내용은 영상 이식 쪽에서 이어지는 내용이며, 루프를 돌듯이 연구와 개발이 지속될 예정입니다.

자율주행 기술 개선에 어떤 과정이 포함되나요?

각각의 센서의 종류, 가격, 성능, 내구성, 원가, 장착 위치 등을 종합 고려해 자율주행 기술을 개선합니다.

이후 실제 도로에서 검증하는 이차선 변경, 장애물 회피 등 예기치 못한 상황에 대비하여 7차 검증 후, 필요한 수정이 있다면 시뮬레이션을 거쳐 개선된 것을 다시 배포합니다.

전략 러닝 방법을 구체화하는 것이 중요하다는 것을 인지하며, 이 부분에 대한 보완점을 개선하며 개발 프로세스를 진행합니다.

최종 제품을 배포할 때 검증 절차에 테스트 케이스를 포함시켜 좀 더 안정적 제품을 만들기 위해 노력합니다.

자율주행 RPP 기술에서의 허들 포인트와 안전성 확보 방안

 

자율주행 RPP 기술에서 자율주행과 관련한 허들 포인트가 존재하는지, 현대차는 이를 어떻게 접근할 예정인지에 대해 질문했어요.

RPP 기술의 안전성과 다양한 국가의 법규를 고려하고 있어요.

또한, 자율주차와 관련한 법규가 아직 명확하지 않아 인프라를 의존하는 방식, 차량의 자체 판단 방식 등 3가지 타입으로 나뉘어졌는데, 현대차도 이를 고민하고 있어요.

이미 일부 회사들이 RPP 기술을 활용해 특정 도시의 주차 타워 등에서 실증하고 있기 때문에, 당분간은 인프라 의존하는 방식도 활용하게 될 것 같아요.

SLAM 기술 개발의 추진 상황

중요한 작업을 자동화하는 방식에 대한 연구가 이루어지고 있어요.

이를 위해 전문가의 지도 없이도 자동적으로 처리될 수 있는 슬램 방식도 고려 중이에요.

법규 확정이 연기되어 인프라 의존 없는 기술 발전에 노력을 쏟고 있고, 정리지도에 대한 개발을 진행하고 있어요.

최종 양산성과 확산성을 높이기 위해 의존도를 낮추는 방식을 고려 중이죠.

시장 출시와 피드백 과정에서 개발이 동시에 진행되며, 이를 통해 개선 사이클을 구축할 예정이에요.

최종적으로는 인프라 의존을 하지 않는 인디펜던트한 기술의 개발이 목표로 삼고 있지만, 이를 위해서는 시간이 더 필요할 것으로 예상되고 있어요.

자율주행 레벨에서의 책임 소재 문제는?

자율주행 레벨 구분이 국가마다 다른 문제점이 있어요.

벤츠는 레벨3 출시 예정이고, 테슬라는 출시했지만 책임 소재 문제 해결 방법이 아직 불투명해요.

레벨3 이하에서 오류가 발생했을 때, 책임 소재를 각 OEM마다 판단해야 하죠.

이 기술의 완성도를 너무 높게 기대하는 것은 사고 발생 가능성을 높입니다.

자율주행 기술 도입으로 필요한 기술은?

원격 주차는 현재 나온 법규로 인해 여러 가지 제한 조건을 충족해야 하고, 아직은 레벨3 또는 레벨4로 볼 수 있지만, 주행 보조 시스템인 레벨2를 지원하는 것이 중요해요.

자율주행 기술이 도입되면, 더 많은 신호 처리와 소프트웨어 기술이 필요한데, 이를 위해 부품사에서 개별적인 제어 및 소프트웨어 기술이 개발될 것입니다.

하지만 이 부분들이 결과적으로는 4개의 메인 프로세스로 통합될 것으로 전망됩니다.

개발자 입장에서는 통합 리소스를 보유하면 더욱 복잡해질 것이며, 끊임없이 나오는 새로운 기술들에 대한 대처가 필요할 거에요.

현대차와 제네시스가 자율주행 개발에서 중간 단계를 나누는 이유는?

현대차‧제네시스에서는, 자율주행의 복잡성을 최대한 줄이기 위해, 조금 더 상위 단계마다 기술적인 요건과 상품성 요건 등을 고려하여 중간 단계를 나누어 운영해요.

복잡성을 최대한 줄여 시장에 대한 상품성 요건도 충분히 고려하며, 각 단계에서는 표준화시킨 인터페이스를 기반으로 자율주행 기업이 수월하게 고도화를 할 수 있도록 해요.

이를 위해 토탈 솔루션을 구축하는 것이 아닌, 기술적 관점과 상품성 요건별로 중간 단계를 나누는 '투트랙 방식'을 사용합니다.

그러나 oem, 협력업체별로 상황은 달라 단정할 수 없다는 문제점이 있어요.