Vi anser att problemet med att lära allmänna ändamål, parafrastiska mening inbäddningar baserat på övervakning från Parafrasdatabasen (Ganitkevitch et al., 2013). Vi jämför sex kompositionsarkitekturer och utvärderar dem på annoterade textliknande datauppsättningar hämtade både från samma distribution som träningsdata och från ett brett spektrum av andra domäner. Vi finner att de mest komplexa arkitekturer, såsom långtidsminne (LSTM) återkommande neurala nätverk, presterar bäst på in-domain data. Emellertid, i out-of-domain scenarier, enkla arkitekturer såsom ord i genomsnitt mycket bättre än LSTMs. Vår enklaste genomsnittsmodell är även konkurrenskraftig med system anpassade för de specifika uppgifterna samtidigt som den är extremt effektiv och enkel att använda. För att bättre förstå hur dessa arkitekturer jämför utför vi ytterligare experiment på tre övervakade NLP-uppgifter: meningslikhet, förnimmelse och känsloklassificering. Vi finner återigen att ordet medelvärde modeller fungerar bra för mening likhet och inbegripenhet, outperforming LSTMs. När det gäller känsloklassificeringen finner vi dock att LSTM mycket starkt till och med spelar in nya toppmoderna prestationer på Stanford Sentiment Treebank. Vi visar sedan hur vi kombinerar våra förtränade straff inbäddningar med dessa övervakade uppgifter, använder dem både som en tidigare och som en svart låda funktionsextraktor. Detta leder till prestanda rivaliserande state of the art on the SICK likhet och utförande uppgifter. Vi släpper alla våra resurser till forskarsamhället 1 med förhoppningen att de kan fungera som den nya utgångspunkten för ytterligare arbete med universella meningar.
Nyligen, med hjälp av parafras par dataset (PPDB), REF har visat att en enkel men övervakad ord medelvärde modell för mening inbäddningar leder till bättre prestanda på text likhet uppgifter.
Towards Universal Paraphrastic Sentence Embeddings
{'venue': 'ICLR 2016', 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}