Det kan vara utmanande att träna multi-task neurala nätverk som överträffar eller ens matcha deras en-task motsvarigheter. För att hjälpa till med detta föreslår vi att man använder sig av kunskapsdestillation där modeller med en enda uppgift lär ut en modell med flera uppgifter. Vi förhöjer denna utbildning med lärar glödgning, en ny metod som gradvis övergår modellen från destillation till övervakad inlärning, vilket hjälper multi-task modellen överträffar sina en-task lärare. Vi utvärderar vårt tillvägagångssätt genom att finjustera BERT på GLUE-riktmärket. Vår metod förbättrar konsekvent över standard enkel-task och multi-task utbildning.
REF använder flera enstaka BERT-modeller för att lära ut en multi-task BERT.
BAM! Born-Again Multi-Task Networks for Natural Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}