Abstract-Under de senaste åren har autonoma köralgoritmer med billiga fordonsmonterade kameror lockat till sig allt fler insatser från både akademi och industri. Det finns flera fronter till dessa ansträngningar, inklusive objektdetektering på vägar, 3-D rekonstruktion etc., men i detta arbete fokuserar vi på en visionsbaserad modell som direkt kartlägger råa ingångsbilder för att styra vinklar med hjälp av djupa nätverk. Detta representerar ett nytt forskningsämne i datorseende. De tekniska bidragen från detta arbete är trefaldiga. För det första är modellen inlärd och utvärderas på riktiga mänskliga körvideor som är tidssynkroniserade med andra fordonssensorer. Detta skiljer sig från många tidigare modeller utbildade från syntetiska data i racingspel. För det andra, state-of-the-art modeller, såsom PilotNet, mest förutsäga hjul vinklar oberoende på varje videoram, vilket motsäger gemensam förståelse av körning som en stateful process. Istället träffar vår föreslagna modell en kombination av rumsliga och timliga signaler och undersöker samtidigt ögonblickliga monokulära kameraobservationer och fordonets historiska tillstånd. Detta sker i praktiken genom att noggrant utformade återkommande enheter (t.ex. LSTM och Conv-LSTM) sätts in i rätt nätverkslager. För det tredje, för att underlätta tolkningen av den lärda modellen, använder vi ett visuellt back-förökningsschema för att upptäcka och visualisera bildregioner som på ett avgörande sätt påverkar den slutliga styrprognosen. Vår experimentella studie bygger på cirka 6 timmars mänsklig kördata från Udacity. Omfattande kvantitativa utvärderingar visar effektiviteten och robustheten i vår modell, även under scenarier som drastiska ljusförändringar och abrupt vridning. Jämförelsen med andra toppmoderna modeller avslöjar tydligt dess överlägsna prestanda när det gäller att förutsäga hjulvinkeln för en självkörande bil.
På samma sätt har Chi och Mu REF konstruerat ett konvolutionellt korttidsminne (Conv-LSTM) neuralt nätverk för att förutsäga hjulvinkeln för en AV.
Deep Steering: Learning End-to-End Driving Model from Spatial and Temporal Visual Cues
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}