Detta papper utvecklar en modell som behandlar mening inbäddning med hjälp av återkommande neurala nätverk (RNN) med Long Short Term Memory (LSTM) celler. Den föreslagna LSTM-RNN-modellen tar varje ord i en mening, extraherar sin information och lägger in den i en semantisk vektor. På grund av sin förmåga att fånga långtidsminnet, ackumulerar LSTM-RNN allt rikare information när den går igenom meningen, och när den når det sista ordet, det dolda lagret av nätverket ger en semantisk representation av hela meningen. I detta dokument utbildas LSTM-RNN på ett svagt övervakat sätt om användarens klick-genom data loggas av en kommersiell webbsökmotor. Visualisering och analys utförs för att förstå hur inbäddningsprocessen fungerar. Modellen försvagar automatiskt de oviktiga orden och upptäcker de framträdande nyckelorden i meningen. Dessutom aktiverar dessa detekterade nyckelord automatiskt olika celler i LSTM-RNN, där ord som hör till ett liknande ämne aktiverar samma cell. Som semantisk återgivning av meningen kan inbäddningsvektorn användas i många olika tillämpningar. Dessa detekterings- och ämnesfördelningsuppgifter som möjliggörs av LSTM-RNN gör det möjligt för nätverket att utföra hämtning av webbdokument, där likheten mellan förfrågan och dokument kan mätas genom avståndet mellan deras motsvarande meningsinbäddande vektorer som beräknas av LSTM-RNN. På en webbsökning uppgift, LSTM-RNN inbäddning visas att betydligt överträffa alla befintliga state of the art metoder.
Slutligen använde REF ett återkommande neuralt nätverk (RNN), representationen av ett dokument eller en fråga är tillståndet för RNN i slutet av den bearbetade sekvensen.
Deep Sentence Embedding Using the Long Short Term Memory Network: Analysis and Application to Information Retrieval
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}