Vi föreslår en ny arkitektur för inlärning av prediktiva spatiotemporala rörelsemodeller enbart från data. Vår strategi, dubbade Dropout Autoencoder LSTM (DAE-LSTM), är kapabel att syntetisera naturliga ser rörelsesekvenser över långa horisonter 1 utan katastrofal drift eller rörelsenedbrytning. Modellen består av två komponenter, ett 3-lagers recidiverande neurala nätverk för att modellera temporala aspekter och en ny autoenkoder som tränas för att implicit återställa den rumsliga strukturen hos det mänskliga skelettet genom att slumpmässigt ta bort information om leder under träning. Denna Dropout Autoencoder (DAE) används sedan för att filtrera varje förutsagd pose av ett 3-lagers LSTM-nätverk, vilket minskar ansamling av korrelerat fel och därmed drift över tiden. Dessutom föreslår vi ett nytt utvärderingsprotokoll med hjälp av åtgärdsklassificeringar för att bedöma kvaliteten på syntetiska rörelsesekvenser. Det föreslagna protokollet kan användas för att bedöma kvaliteten på genererade sekvenser av godtycklig längd. Slutligen utvärderar vi vår föreslagna metod på två av de största tillgängliga motion-capture dataseten och visar att vår modell överträffar de state-of-the-art tekniker på en mängd olika åtgärder, inklusive cyklisk och acyklisk rörelse, och att det kan producera naturliga ser sekvenser över längre tidshorisonter än tidigare metoder.
Ghosh m.fl. REF kombinerade en autoencoder med en 3-lagers RNN för att modellera de tidsmässiga aspekterna och återställa den rumsliga strukturen hos den mänskliga pose.
Learning Human Motion Models for Long-Term Predictions
{'venue': '2017 International Conference on 3D Vision (3DV)', 'journal': '2017 International Conference on 3D Vision (3DV)', 'mag_field_of_study': ['Computer Science']}