Textklassificeringen tenderar att vara svår när uppgifterna är bristfälliga eller när det krävs för att anpassa sig till osedda klasser. I sådana utmanande scenarier har nyligen gjorda studier ofta använt metalearning för att simulera den få-shot uppgiften, vilket negerar explicita gemensamma språkliga funktioner över uppgifter. Djupa språk representationer har visat sig vara mycket effektiva former av oövervakad förutbildning, vilket ger kontextualiserade funktioner som fångar språkliga egenskaper och dra nytta nedströms naturligt språk förståelse uppgifter. Det är dock fortfarande svårt att förstå vilken effekt en förträngd språkrepresentation har på uppgifterna i textklassificeringen när det gäller att lära sig få bilder. I den här studien designar vi en några-shot lärande modell med förtränade språkrepresentationer och rapporterar de empiriska resultaten. Vi visar att vårt tillvägagångssätt inte bara är enkelt utan också producerar toppmoderna resultat på en välstuderad klassifikationsdata. Det kan därför föreslås att förutbildningen kan vara en lovande lösning för få shots-inlärning av många andra NLP-uppgifter. Kod och datauppsättning för att replikera experimenten finns på https://github.com/zxlzr/FewShotNLP.
REF är det första arbete som använder den förträngda språkmodellen för några bilder textklassificering uppgift.
Improving Few-shot Text Classification via Pretrained Language Representations.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}