Uppmärksamhet baserade modeller har blivit den nya state-of-the-art i naturligt språk förståelse uppgifter såsom fråge-svar och mening likhet. Nya modeller, såsom BERT och XLNet, poäng ett par meningar ( och ) med hjälp av flera kors-attention operationer - en process där varje ord i mening deltar i alla ord i mening och vice versa. Som ett resultat, beräkning likheten mellan en fråge mening och en uppsättning kandidat meningar, kräver förökning av alla fråge-kandidat mening-par hela en hög av kors-attention lager. Denna uttömmande process blir beräkningsmässigt oöverkomlig när antalet kandidatstraff är stort. I kontrast, mening inbäddning tekniker lära en mening-till-vektor kartläggning och beräkna likheten mellan mening vektorer via enkla elementära operationer såsom dot produkt eller cosinus likhet. I detta dokument introducerar vi en meningsinbäddningsmetod som bygger på kunskapsdestillering från korsuppmärksamma modeller, med fokus på meningspareringsuppgifter. Konturen för den föreslagna metoden är följande: Med tanke på en tväruppmärksam lärarmodell (t.ex. en finjusterad BERT), tränar vi en mening inbäddande baserad studentmodell för att rekonstruera de meningspar poäng som erhållits av läraren modellen. Vi demonstrerar empiriskt effektiviteten av vår destillationsmetod på fem GLUE mening-par uppgifter. Vår metod överträffar betydligt flera ELMO-varianter och andra meningsinbäddande metoder, samtidigt som den accelererar beräkningen av quiskcandidate meningspar likheter med flera storleksordningar, med en genomsnittlig relativ nedbrytning på 4,6% jämfört med BERT.
För modellering av meningspar fann REF att korsredogörelsefunktionen över meningar konsumerar och försökte ta bort den med destillation på meningsparuppgifter.
Scalable Attentive Sentence-Pair Modeling via Distilled Sentence Embedding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}