I den naturliga språkbearbetningslitteraturen blir neurala nätverk allt djupare och komplexare. Den senaste affischbarn av denna trend är den djupa språk representation modell, som omfattar BERT, ELMo, och GPT. Denna utveckling har lett till övertygelsen att tidigare generation, grundare neurala nätverk för språkförståelse är föråldrade. I detta dokument visar vi dock att rudimentära, lätta neurala nätverk fortfarande kan göras konkurrenskraftiga utan arkitekturförändringar, externa träningsdata, eller ytterligare inmatningsfunktioner. Vi föreslår att destillera kunskap från BERT, en toppmodern språk representationsmodell, till en enskikts BiLSTM, samt dess siamese motsvarighet för mening-pair uppgifter. Över flera datauppsättningar i parafrasering, naturlig språkinferens och känsloklassificering, uppnår vi jämförbara resultat med ELMo, samtidigt som vi använder ungefär 100 gånger färre parametrar och 15 gånger mindre inferenstid.
För kunskapsbaserade destillationsmetoder, i REF, destilleras BERT till en enkel BiLSTM och uppnår jämförbara resultat med ELMo.
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}