Att koppla samman mänsklig helkroppsrörelse och naturligt språk är av stort intresse för generationen av semantiska representationer av observerade mänskliga beteenden samt för generationen av robotbeteenden baserade på naturligt språk. Även om det har funnits en stor mängd forskning inom detta område, kräver de flesta tillvägagångssätt som finns idag en symbolisk representation av rörelser (t.ex. i form av rörelseimperialer), som måste definieras a-prioriteras eller kräva komplexa segmenteringsalgoritmer. I kontrast, senaste framsteg inom området neurala nätverk och särskilt djupt lärande har visat att sub-symboliska representationer som kan läras end-to-end vanligtvis överträffa mer traditionella metoder, för tillämpningar som maskinöversättning. I detta dokument föreslår vi en generativ modell som lär sig en dubbelriktad kartläggning mellan mänsklig helkroppsrörelse och naturligt språk med hjälp av djupa återkommande neurala nätverk (RNNs) och sekvens-till-sekvens lärande. Vårt tillvägagångssätt kräver ingen segmentering eller manuell funktionsteknik och lär sig en distribuerad representation, som delas för alla rörelser och beskrivningar. Vi utvärderar vår strategi på 2 846 mänskliga helkroppsrörelser och 6 187 naturliga språkbeskrivningar därav från KIT Motion-Språk Dataset. Våra resultat visar tydligt hur effektiv den föreslagna modellen är: Vi visar att vår modell genererar ett brett utbud av realistiska rörelser endast genom beskrivningar av den i form av en enda mening. Omvänt är vår modell också kapabel att generera korrekta och detaljerade naturliga språkbeskrivningar från mänskliga rörelser.
Nyligen införde REF en metod för att lära sig dubbelriktad kartläggning mellan mänsklig rörelse och naturligt språk med RNN.
Learning a bidirectional mapping between human whole-body motion and natural language using deep recurrent neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}