Med tanke på en visuell historia, flera framtida resultat för en videoscen är lika sannolika, med andra ord, fördelningen av framtida resultat har flera lägen. Multimodalitet är notoriskt svårt att hantera med standard regressorer eller klassificeringsapparater: den tidigare regressionen till medelvärdet och den senare diskretisera en kontinuerlig högdimensionell utgångsyta. I detta arbete presenterar vi stokastiska neurala nätverk arkitekturer som hanterar sådan multimodalitet genom stokasticitet: framtida banor av objekt, kroppsleder eller ramar representeras som djupa, icke-linjära omvandlingar av slumpmässiga (i motsats till deterministiska) variabler. Sådana slumpmässiga variabler provtas från enkla Gaussiska fördelningar vars medel och varianser parametriseras av produktionen av konvolutionella kodare över den visuella historien. Vi introducerar nya konvolutionella arkitekturer för att förutsäga framtida organ gemensamma banor som överträffar fullt anslutna alternativ [29]. Vi introducerar stokastiska rumsliga transformatorer genom optisk flödesförvrängning för att förutsäga framtida ramar, som överträffar deras deterministiska motsvarigheter [17]. Utbildning stokastiska nätverk innebär en svårfångad marginalisering över stokastiska variabler. Vi jämför olika utbildningsprogram som hanterar sådan marginalisering genom a) enkel provtagning från föregående, b) villkorliga variations autoenkodrar [23, 29], och c) en föreslagen K-bästa-prov förlust som straffar den bästa förutsägelsen under en fast " förutsägelse budget". Vi visar experimentella resultat på objektbana förutsägelse, mänsklig kropp gemensam bana förutsägelse och video förutsägelse under varierande framtida osäkerhet, validera kvantitativt och kvalitativt våra arkitektoniska val och utbildningsprogram.
I REF jämfördes olika arkitekturer för multimodala rörelseprognoser och enramsvideoprognoser, inklusive olika slutsatser och enkel provtagning från föregående.
Motion Prediction Under Multimodality with Conditional Stochastic Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}