En metod för att hantera den statistiska ineffektiviteten i neurala nätverk är att förlita sig på extra förluster som hjälper till att bygga användbara representationer. Men det är inte alltid trivialt att veta om en extra uppgift kommer att vara till hjälp för huvuduppgiften och när det kan börja göra ont. Vi föreslår att använda cosinus likhet mellan gradienter av uppgifter som en adaptiv vikt för att upptäcka när en extra förlust är till hjälp för huvudförlusten. Vi visar att vår strategi är garanterad att konvergera till kritiska punkter av huvuduppgiften och visa den praktiska nyttan av den föreslagna algoritmen på några områden: multi-task övervakad lärande om undergrupper av ImageNet, förstärkning lärande på gridworld, och förstärkning lärande på Atari spel.
Tidigare arbete har också använt cosinus likhet mellan gradienter för att definiera när en extra uppgift kan vara användbar för singel-task lärande REF.
Adapting Auxiliary Losses Using Gradient Similarity
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}