Språkmodellen för utbildning, såsom BERT, har avsevärt förbättrat utförandet av många naturliga språkbearbetningsuppgifter. De förträngda språkmodellerna är dock vanligtvis dyra och minnesintensiva, så det är svårt att effektivt utföra dem på resursbegränsade enheter. För att påskynda slutsatsen och minska modellstorleken samtidigt som noggrannheten bibehålls föreslår vi först en ny Transformatordestillationsmetod som är speciellt utformad för kunskapsdestillation (KD) av Transformatorbaserade modeller. Genom att utnyttja denna nya KD-metod kan den stora kunskapen i en stor "lärare" BERT mycket väl överföras till en liten "student" TinyBERT. Dessutom inför vi en ny inlärningsram i två steg för TinyBERT, som utför Transformer-destillering i både förutbildnings- och uppgiftsspecifika inlärningsstadier. Detta ramverk säkerställer att TinyBERT kan fånga den allmänna-domänen samt den uppgiftsspecifika kunskapen i BERT. TinyBERT 1 är empiriskt effektivt och uppnår jämförbara resultat med BERT på GLUE-riktmärke, samtidigt som det är 7,5x mindre och 9,4x snabbare på inferens. TinyBERT är också betydligt bättre än toppmoderna basvärden vid BERT-destillation, med endast 28 % parametrar och 31 % sluttid. * Författare bidrar lika mycket. † Detta arbete utförs när Xiaoqi Jiao är praktikant på Huawei Noah's Ark Lab. 1 Vår kod och våra modeller kommer att göras tillgängliga för allmänheten.
TinyBERT REF ) utför ett tvåstegs lärande som omfattar både allmän utbildning och uppgiftsspecifik finjustering.
TinyBERT: Distilling BERT for Natural Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}