Självövervakad förutbildning av transformatormodeller har visat sig vara mycket framgångsrik när det gäller att förbättra prestandan på ett antal uppgifter i senare led. Finjustering av en ny uppgift kräver dock fortfarande stora mängder uppgiftsspecifika märkta uppgifter för att uppnå goda resultat. Vi anser att detta inlärningsproblem ska generaliseras till nya uppgifter med få exempel som metalärandeproblem. Även om meta-lärande har visat enorma framsteg under de senaste åren, är dess tillämpning fortfarande begränsad till simulerade problem eller problem med begränsad mångfald mellan olika uppgifter. Vi utvecklar en ny metod, LEOPERD, som möjliggör optimeringsbaserad meta-learning över uppgifter med olika antal klasser, och utvärderar befintliga metoder för generalisering till olika NLP-klassificeringsuppgifter. LEOPARD är utbildad med den toppmoderna transformatorarkitekturen och visar en stark generalisering av uppgifter som inte syns alls under utbildningen, med så få som 8 exempel per etikett. På 16 NLP-datauppsättningar, över olika uppgiftsuppsättningar såsom enhetsskrivning, relationsextraktion, naturlig språkinferens, känsloanalys, och flera andra textkategoriseringsuppgifter, visar vi att LEOPARD lär sig bättre inledande parametrar för få shot-inlärning än självövervakad förutbildning eller multi-task utbildning, överträffar många starka baslinjer, till exempel att öka F1 från 49% till 72%.
REF kombinerar prototypiska nätverk och MAML för att anpassa sig till NLP-uppgifter med olika antal etiketter.
Learning to Few-Shot Learn Across Diverse Natural Language Classification Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}