Den senaste tidens framgång tyder på att djupa neurala kontrollnätverk sannolikt kommer att vara en viktig komponent i självkörande fordon. Dessa nätverk är utbildade på stora dataset för att imitera mänskliga handlingar, men de saknar semantisk förståelse av bildinnehåll. Detta gör dem sköra och potentiellt osäkra i situationer som inte matchar träningsdata. Här föreslår vi att vi tar itu med denna fråga genom att utöka utbildningsdata med rådgivning i naturligt språk från en människa. Råd inbegriper vägledning om vad du ska göra och var du ska vara. Vi presenterar ett första steg mot rådgivning, där vi utbildar en end-to-end vehicle controller som accepterar råd. Styrenheten anpassar sitt sätt att röra sig till scenen (visuell uppmärksamhet) och kontrollen (styrning och hastighet). Uppmärksamhetsmekanismer binder styrenhetens beteende till framträdande objekt i rådgivningen. Vi utvärderar vår modell på en ny lämplig kördatauppsättning med manuellt kommenterade human-to-vehikel rådgivning som heter Honda Research Institute-Advice Dataset (HAD). Vi visar att ta råd förbättrar prestandan för end-to-end nätverk, medan nätverket signalerar på en mängd olika visuella funktioner som tillhandahålls av rådgivning. Datasetet finns tillgängligt på https://usa.honda-ri.com/HAD.
Kim och Al. REF föreslår en end-to-end körmodell som tar råd i naturligt språk för att förutsäga styrkommandon för att navigera i stadsmiljön.
Grounding Human-To-Vehicle Advice for Self-Driving Vehicles
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}