Ett naturligt samtal innebär ett snabbt utbyte av svängar medan man pratar. Att turas om vid lämplig tidpunkt eller med lämpliga intervall är en nödvändig funktion för ett dialogsystem som samtalspartner. I detta dokument föreslås en modell som gör det möjligt att uppskatta tidpunkten för turn-taking under verbala interaktioner. Till skillnad från tidigare studier är vår föreslagna modell inte beroende av en tysthetsregion mellan meningar eftersom ett dialogsystem måste svara utan stora luckor eller överlappningar. Vi föreslår en Recurrent Neural Network (RNN)-baserad modell som tar den gemensamma inbäddningen av lexiskt och prosodiskt innehåll som sitt bidrag för att klassificera uttalanden till turn-taking relaterade klasser och uppskattar turn-taking timing. I detta syfte tränade vi ett neuralt nätverk för att bädda in det lexiska innehållet, de grundläggande frekvenserna och talkraften i ett gemensamt inbäddat utrymme. För att lära sig meningsfulla inbäddade utrymmen, är de prosodiska dragen från varje enskilt uttalande pretränade med hjälp av RNN och kombineras med uttalande lexical inbäddning som indata från vår föreslagna modell. Vi testade denna modell på en spontan konversation dataset och bekräftade att det överträffade användningen av ord inbäddning-baserade funktioner.
Liu m.fl. byggt ett Recurrent Neural Network (RNN) för att klassificera ett givet uttalande i fyra klasser som relaterar till svängande beteende med hjälp av gemensamma akustiska och lexiska inbäddningar REF.
Turn-Taking Estimation Model Based on Joint Embedding of Lexical and Prosodic Contents.
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}