Multi-task lärande (MTL) med neurala nätverk utnyttjar gemensamma egenskaper i uppgifter för att förbättra prestanda, men ofta lider av uppgiftsstörning som minskar fördelarna med överföring. För att ta itu med denna fråga introducerar vi routing nätverk paradigm, en ny neural nätverk och utbildning algoritm. Ett routingnätverk är ett slags självorganiserande neurala nätverk som består av två komponenter: en router och en uppsättning av en eller flera funktionsblock. Ett funktionsblock kan vara vilket neuralt nätverk som helst, t.ex. ett helt eller ett konvolutionsskikt. Eftersom en inmatning routern gör ett routing beslut, välja en funktion block för att tillämpa och skicka utdata tillbaka till routern rekursivt, avslutar när en fast rekursion djup nås. På så sätt komponerar routingnätverket dynamiskt olika funktionsblock för varje inmatning. Vi använder en samverkande multi-agent förstärkning lärande (MARL) för att gemensamt träna router och funktionsblock. Vi utvärderar vår modell mot cross-stitch nätverk och shared-layer basics på multi-task inställningar av MNIST, mini-imagenet, och CIFAR-100 dataset. Våra experiment visar en betydande förbättring i noggrannhet, med skarpare konvergens. Dessutom har routingnätverken nästan konstanta kostnader för utbildning per arbetsuppgift, medan korsstygnnäten skalas linjärt med antalet uppgifter. På CIFAR-100 (20 uppgifter) får vi cross-stitch prestandanivåer med en 85% minskning av träningstiden.
Dessutom införs ett routingnätverk bestående av två komponenter för att dynamiskt välja olika funktioner som svar på input REF.
Routing Networks: Adaptive Selection of Non-linear Functions for Multi-Task Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}