: Illustration av personbana förutsägelse. (1) En person går mot en bil (data från VIRAT/ActEV-datasetet). Den gröna linjen är den faktiska framtida banan och de gulorange värmekartorna är exempel på framtida förutsägelser. Även om dessa förutsägelser nära bilarna är rimliga, skulle de anses fel i den verkliga video dataset. (2) För att bekämpa detta föreslår vi en ny datauppsättning kallad "Forking Paths", här illustrerar vi tre möjliga framtider skapade av mänskliga annoterare som kontrollerar agenter i en syntetisk värld som härrör från verkliga data. (3) Här visar vi semantisk segmentering av scenen. (4-6) Här visar vi samma scen som återges från olika synvinklar, där de röda cirklarna är framtida destinationer. I detta dokument studeras problemet med att förutsäga fördelningen över flera möjliga framtida vägar för människor när de rör sig genom olika visuella scener. Vi gör två huvudsakliga bidrag. Det första bidraget är en ny datauppsättning, skapad i en realistisk 3D simulator, som bygger på verkliga världen bana data, och sedan extrapoleras av mänskliga annoterare för att uppnå olika latenta mål. Detta ger det första riktmärket för kvantitativ utvärdering av modellerna för att förutsäga framtida banor. Det andra bidraget är en ny modell för att generera flera rimliga framtida banor, som innehåller nya konstruktioner av att använda flerskaliga platskodningar och konvolutionella RNN över grafer. Vi hänvisar till vår modell som Multiversum. Vi visar att vår modell uppnår de bästa resultaten på vårt dataset, samt på den verkliga VIRAT/ActEV-datasetet (som bara innehåller en möjlig framtid). Vi kommer att släppa våra data, modeller och kod.
ForkingPaths dataset REF föreslogs för utvärdering av multi-framtida bana förutsägelse.
The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}