I detta dokument presenterar vi ett Multi-Task Deep Neural Network (MT-DNN) för att lära representationer över flera naturliga språkförståelse (NLU) uppgifter. MT-DNN drar inte bara nytta av stora mängder data mellan olika uppgifter, utan drar också nytta av en legaliseringseffekt som leder till mer allmänna representationer för att hjälpa till att anpassa sig till nya uppgifter och domäner. MT-DNN utvidgar den modell som föreslås i Liu et al. (2015) genom att införa en förskolad tvåvägstransformator språkmodell, känd som BERT (Devlin et al., 2018). MT-DNN får nya toppmoderna resultat för tio NLU-uppgifter, inklusive SNLI, SciTail och åtta av nio GLUE-uppgifter, vilket gör att GLUE-riktmärket blir 82,2 % (1,8 % absolut förbättring). Vi visar också med hjälp av SNLI- och Sc-iTail-dataseten att de representationer som MT-DNN lärt sig tillåter domänanpassning med betydligt färre etiketter än de förträngda BERT-representationerna. Våra kod- och förskolade modeller kommer att göras tillgängliga för allmänheten.
MT-DNN REF ) presenterar ett ramverk för lärande med flera uppgifter som utnyttjar stora mängder data som korsar uppgifter för att generera mer allmänna representationer.
Multi-Task Deep Neural Networks for Natural Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}