인공지능과 자율주행자동차 강의 2강 내용 정리

Intro

• Waymo라는 자율주행택시가 소개되었다.

Self-driving, explained

Various Sensor data -> Deep Neural Net training

Assignment 예고: input data를 처리하는 DNN 모델 만들기 (for perception)

Autonomous Driving System: Modular Structure

• Perception

• Prediction

• Localization

• Planning

• Controls

Hardware of Self-driving Cars

• LiDAR: Light Detection and Ranging

  정확한 공간 정보 제공

  센서 데이터를 적절히 처리하는 과제가 나올 예정

• Camera

  다양한 Semantic 정보를 수집

• Radar: Radio Detection and Ranging

  즉각적인 속도 Estimation을 제공함

Software of Self-driving Cars

• Localization

  GPS, IMU, LiDAR, Camera 등을 활용하여 차량의 현재 위치를 추정

• Perception

  • Sensor data -> Object detection, tracking

  • Supervised learning, Self-supervised learning

  • 과제 출제 예정

• Prediction

  • 신호등, 센서 정보를 활용하여 다음 수 초 후의 Traffic flow를 예측함

  • Behavior Preiction(Pedestrians): 불규칙적이라서 예측이 어려움

• Localization

  • Map data -> Vehicle’s position

• Planning

  • Perception, Localization -> Path planning

  • 자율주행차가 다음에 향할 곳을 미리 결정

  • ChauffeurNet from Waymo

  • Attentional Bottleneck: 집중 관찰 영역 설정

    Attention을 이용해서 해석하고 싶은 추가적인 task information을 만들어 낸다.

  • Reinforcement learning

• Controls

  • Vehicle control (액셀, 브레이크 등)

Testing

1. Real-world testing: Expensive

2. Simulation testing: Cost-effective

   센서 데이터 로깅을 활용 -> 로그에 기록된 데이터로 시뮬레이션

Development Pipeline

로깅 -> Interesting Events 식별 -> 소프트웨어 작성, ML 모델 업데이트 -> 시뮬레이션 테스팅 -> 실제 테스팅 -> Test Fleet에 배포 -> Full Fleet에 배포 -> 반복

Challenges

• 날씨 예측: 정확하고 즉각적이며 Arbitrary location에 대응해야

• Data 의존성 강함: labeling 작업이 많이 필요

• Sensor-level challenges: 센서가 감지하지 못하는 경우, 사각지대 등 고려