Inlärning allmänna representationer av text är ett grundläggande problem för många naturliga språkförståelse (NLU) uppgifter. Tidigare har forskare föreslagit att använda språkmodellen för utbildning och lärande med flera arbetsuppgifter för att lära sig robusta representationer. Dessa metoder kan dock ge suboptimala resultat i scenarier med låga resurser. Inspirerad av de senaste framgångarna med optimeringsbaserade metalearning-algoritmer utforskar vi i denna artikel den modell-agnostiska metalearning-algoritmen (MAML) och dess varianter för NLU-uppgifter med låg resurs. Vi validerar våra metoder på GLUE-riktmärket och visar att våra föreslagna modeller kan överträffa flera starka baslinjer. Vi visar vidare empiriskt att de inlärda representationerna kan anpassas till nya uppgifter på ett effektivt och effektivt sätt.
REF utforska MAML varianter därav för låg resurs NLU uppgifter i GLUE datasetet.
Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}