En hel del av de senaste framgångarna i naturligt språk bearbetning (NLP) har drivits av distribuerade vektor representationer av ord tränas på stora mängder text på ett oövervakat sätt. Dessa representationer används vanligtvis som allmänna funktioner för ord i en rad NLP-problem. Men det är fortfarande ett öppet problem att utvidga denna framgång till att lära sig framställningar av ordsekvenser, till exempel meningar. Den senaste tidens arbete har utforskat såväl oövervakade som övervakade inlärningstekniker med olika utbildningsmål för att lära sig allmän meningsrepresentationer med fast längd. I detta arbete presenterar vi en enkel och effektiv ram för lärande med flera uppgifter för meningsrepresentationer som kombinerar de induktiva fördomarna hos olika utbildningsmål i en enda modell. Vi utbildar denna modell på flera datakällor med flera utbildningsmål på över 100 miljoner meningar. Omfattande experiment visar att dela en enda återkommande mening kodare över svagt relaterade uppgifter leder till konsekventa förbättringar jämfört med tidigare metoder. Vi presenterar betydande förbättringar i samband med överföringsutbildning och lågresursinställningar med hjälp av våra inlärda allmänna representationer.
REF lägger också fram en ram för lärande med flera arbetsuppgifter för meningsrepresentationer och utbildar sin modell på flera dataresurser med flera utbildningsmål på över 100 miljoner meningar.
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}