Överparameteriserade transformatornätverk har fått toppmoderna resultat i olika naturliga språkbearbetningsuppgifter, såsom maskinöversättning, språkmodellering och frågesvar. Dessa modeller innehåller hundratals miljoner parametrar, vilket kräver en stor mängd beräkning och gör dem benägna att översitta. I detta arbete utforskar vi LayerDrop, en form av strukturerad avhopp, som har en legaliseringseffekt under träningen och möjliggör effektiv beskärning vid inferencetid. I synnerhet visar vi att det är möjligt att välja undernätverk av vilket djup som helst från ett stort nät utan att behöva finjustera dem och med begränsad påverkan på prestandan. Vi visar effektiviteten i vår strategi genom att förbättra den senaste tekniken på maskinöversättning, språkmodellering, sammanfattning, frågesvar, och språkförståelse riktmärken. Dessutom visar vi att vårt tillvägagångssätt leder till små BERT-liknande modeller av högre kvalitet jämfört med träning från grunden eller med hjälp av destillation.
REF introducerade LayerDrop under utbildningen och visade att det uppmuntrar till robusthet i modellen och underlättar att lager faller ner vid inferencetid med minimal påverkan på prestanda.
Reducing Transformer Depth on Demand with Structured Dropout
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}