10. 자율주행을 위한 기계학습 연구
기존 자율주행 연구에서 기계학습의 역할
- (영상)입력을 해석하는 제한된 용도로만 사용됨
영상 입력 제어 알고리듬 제어 명령인식 알고리듬
- 인식 알고리듬: 사물 인식, 추적, 차선 인식,…
- 제어 알고리듬: 차선 이탈 경고 (LDW), 전방 추돌 경고 (FCW), 앞차 추종 제어 (ACC)
11. 자율주행을 위한 기계학습 연구
기계학습을 활용한 자율주행 연구들
- (영상/주행기록) 입력 데이터로 부터 제어명령을 위한 로직을 직접 학습함
영상 입력 제어 명령
인식 알고리듬
+
제어 알고리듬
12. Pixels to Actuator
End-to-end learning for self-driving cars [Nvidia; Udacity]
- 입력 영상에 상응하는 조향값을 이용하여 CNN을 학습
- 72시간 분량의 주행영상을 사용
20. Generic Driving Model
Large-scale video datasets [Berkeley]
- 블랙박스 (dashcam) 영상을 활용하여
- 다양한 운전자의 주행기록과
- 다양한 도로 상황에 대한 데이터를 확보
- 일반적인 운전자 모델 학습을 목표
21. Generic Driving Model
접근방법
- N-gram 언어 모델에서 착안
- 주어진 히스토리를 이용하여 다음에 나올 단어(글자)가 나타날 확률을 통계적으로 계산
S T U D E N
…
P(Z |STUDEN ) = 0.002
P(T |STUDEN ) = 0.98
…
P(A|STUDEN ) = 0.001
22. Generic Driving Model
접근방법
- N-gram 언어 모델에서 착안
- 주어진 히스토리를 이용하여 다음에 나올 단어(글자)가 나타날 확률을 통계적으로 계산
S T U D E N T
…
P(Z |STUDEN ) = 0.002
P(T |STUDEN ) = 0.98
P(A|STUDEN ) = 0.001
…
23. Generic Driving Model
접근방법
- N-gram 언어 모델에서 착안
- 주어진 히스토리를 이용하여 다음에 나올 단어(글자)가 나타날 확률을 통계적으로 계산
- 과거의 주행기록/영상을 이용해서 다음 움직임을 예측
38. 이미지기반 차선변경 학습 알고리듬
데이터 취득과 태깅
- 실험차량을 고속화도로와 도심에서 운전하면서 총 50,044 장의 좌/우 측후방 영상을 취득
- 아래의 기준에 따라서 취득된 데이터를 분류
- BLOCKED: 차량이 물리적으로 해당 차선으로 이동(진입)이 불가능한 경우
- FREE: 차량이 이동하기에 충분한 공간이 확보된 경우
- UNDEFINED: 특수한 도로, 차량이 이미 차선변경에 진입한 상태의 경우
42. 학습
- VGG16을 이용해서 이진 분류기 (Binary classifier) 를 만듦
Conv FC{좌 영상 / 차선변경?}
Conv FC{우 영상 / 차선변경?}
{0/1}
{0/1}
43. 학습
- VGG16을 이용해서 이진 분류기 (Binary classifier) 를 만듦
- 오른쪽 영상을 좌/우반전 시켜 학습 데이터 양 증가
44. 학습
- VGG16을 이용해서 이진 분류기 (Binary classifier) 를 만듦
- 오른쪽 영상을 좌/우반전 시켜 학습 데이터 양 증가
Conv FC{영상 / 차선변경?} {0/1}
45. Class Activation Map [CVPR’16]
- 입력: {이미지, 클래스} -> 출력:{클래스, 위치}
- 네트워크가 결정을 할때 어느 영역의 영상 특징을 주로 사용하는지 알 수 있음
Mc(x, y) =
∑
k
wc
k fk(x, y)
Conv5.shape = (512, 7, 7)
Class Activation Map