Djupa multitask nätverk, där ett neuralt nätverk producerar flera prediktiva utgångar, är mer skalbara och ofta bättre legaliserade än deras en-task motsvarigheter. Sådana fördelar kan potentiellt leda till vinster i både hastighet och prestanda, men multitask-nätverk är också svåra att träna utan att hitta rätt balans mellan uppgifter. Vi presenterar en ny gradient normalisering (GradNorm) teknik som automatiskt balanserar multitask förlust funktion genom att direkt justera gradienterna för att utjämna aktivitetsträning hastigheter. Vi visar att GradNorm för olika nätverksarkitekturer, för både regressions- och klassificeringsuppgifter, och för både syntetiska och verkliga datauppsättningar, förbättrar noggrannheten och minskar övermontering över enskilda nätverk, statiska baslinjer och andra adaptiva multitask förlustbalanseringstekniker. GradNorm matchar eller överträffar också prestandan hos uttömmande nätsökningsmetoder, trots att endast en asymmetrihyperparameter α ingår. Således, vad som en gång var en tråkig sökning process som uppstod exponentiellt mer beräkna för varje uppgift som lagts till kan nu utföras inom några träningskörningar, oavsett antalet uppgifter. Slutligen hoppas vi kunna visa att gradient manipulation ger oss stor kontroll över utbildningsdynamiken i multitask nätverk och kan vara en av nycklarna till att frigöra potentialen för multitask lärande.
Gradient normalisering REF balanserar lärandet av uppgifter genom att dynamiskt anpassa gradient magnituderna i nätverket.
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
{'venue': 'Proceedings of the 35th International Conference on Machine Learning (2018), 793-802', 'journal': None, 'mag_field_of_study': ['Computer Science']}