Induktiv överföringsutbildning har i hög grad påverkat datorseendet, men befintliga metoder i NLP kräver fortfarande uppgiftsspecifika modifieringar och utbildning från grunden. Vi föreslår Universal Language Model Fine-tuning (ULMFiT), en effektiv överföring inlärningsmetod som kan tillämpas på alla uppgifter i NLP, och införa tekniker som är viktiga för finjustering av en språkmodell. Vår metod är betydligt bättre än den senaste tekniken när det gäller sex textklassificeringsuppgifter, vilket minskar felet med 18-24 % på de flesta datauppsättningar. Dessutom, med bara 100 märkta exempel, matchar det prestanda av träning från grunden på 100× mer data. Vi öppnar våra förtränade modeller och kod 1.
Universal Language Model Fine-tuning (ULMFiT) innebär också finjustering på ett språk modellering uppgift på måltexten REF.
Universal Language Model Fine-tuning for Text Classification
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}