Autonom körning är en multiagentisk miljö där värdfordonet måste tillämpa sofistikerade förhandlingskunskaper med andra trafikanter när omkörning, ge vika, sammanslagning, ta vänster och höger svängar och samtidigt driva framåt i ostrukturerade stadsvägar. Eftersom det finns många möjliga scenarier kommer en manuell hantering av alla möjliga fall sannolikt att leda till en alltför förenklad politik. Dessutom måste man balansera mellan andra förares och fotgängares oväntade beteende och samtidigt inte vara alltför defensiv så att det normala trafikflödet upprätthålls. I detta dokument tillämpar vi djupgående förstärkningslärande på problemet med att utforma långsiktiga körstrategier. Vi noterar att det finns två stora utmaningar som gör att autonom körning skiljer sig från andra robotiska uppgifter. För det första, är behovet av att säkerställa funktionell säkerhet - något som maskininlärning har svårt med med tanke på att prestanda optimeras i nivå med en förväntan över många fall. För det andra, Markov Decision Process-modellen som ofta används i robotik är problematisk i vårt fall på grund av oförutsägbara beteende hos andra agenter i detta multi-agent scenario. Vi bidrar med tre bidrag i vårt arbete. Först visar vi hur policy gradient iterationer kan användas, och variansen av gradientuppskattningen med hjälp av stokastisk gradient uppstigning kan minimeras, utan Markovian antaganden. För det andra bryter vi ner problemet i en sammansättning av en policy för önskningar (som ska läras) och bana planering med hårda begränsningar (som inte lärs). Målet med Desires är att möjliggöra komfort av körning, medan hårda begränsningar garanterar säkerheten för körning. För det tredje introducerar vi en hierarkisk temporal abstraktion som vi kallar en "Option Graph" med en gating mekanism som avsevärt minskar den effektiva horisonten och därigenom minskar variationen i gradientuppskattningen ytterligare. Alternativdiagrammet spelar en liknande roll som "strukturerad förutsägelse" vid övervakad inlärning, vilket minskar urvalets komplexitet, samtidigt som det spelar en liknande roll som LSTM-system som används i övervakade djupa nätverk.
Eftersom det kan vara problematiskt att modellera fleragentscenarier som en Markov Decision Process (MDP) på grund av oförutsägbara beteende andra agenter, en möjlighet är att bryta problemet till att lära sig en kostnadsfunktion för körning banor REF.
Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}