Vi anser att problemet med att lära allmänna ändamål, parafrastiska mening inbäddar, att se över inställningen av Wieting et al. (2016b)............................................................... Medan de fann LSTM återkommande nätverk för att underpresterande ord genomsnittet, presenterar vi flera utvecklingar som tillsammans ger motsatt slutsats. Dessa inkluderar utbildning på mening par snarare än fras par, genomsnittliga tillstånd för att representera sekvenser, och legalisering aggressivt. Dessa förbättrar LSTMs i både överföringsutbildning och övervakade inställningar. Vi introducerar också en ny återkommande arkitektur, GATED REURRENT AVER-AGING NÄTVERK, som är inspirerad av genomsnitt och LSTMs samtidigt som de överträffar dem båda. Vi analyserar våra lärda modeller och finner bevis på preferenser för särskilda delar av tal- och beroenderelationer. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Inspirerad av genomsnittliga och LSTM-modeller föreslogs en ny återkommande arkitektur, d.v.s. gated recidiverande medelvärdesnätverk (GRAN).
Revisiting Recurrent Networks for Paraphrastic Sentence Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}