Förmågan att skala upp modeller har varit avgörande för att få till stånd ett fördjupat lärande. För ett typiskt nätverk växer nödvändiga beräkningsresurser och träningstid dramatiskt med modellstorlek. Villkorlig beräkning är ett lovande sätt att öka antalet parametrar med en relativt liten ökning av resurserna. Vi föreslår en träningsalgoritm som flexibelt väljer neurala moduler baserade på de data som ska behandlas. Både nedbrytningen och modulerna är inlärda end-to-end. I motsats till befintliga metoder, utbildning inte förlitar sig på legalisering för att genomdriva mångfald i modulanvändning. Vi tillämpar modulära nätverk både för bildigenkänning och språkmodellering, där vi uppnår överlägsen prestanda jämfört med flera baslinjer. Introspektion avslöjar att moduler specialiserar sig på tolkningsbara sammanhang.
REF föreslår en EM-stil algoritm för att lära sig svart-box moduler och deras layout för bildigenkänning och språkmodellering uppgifter.
Modular Networks: Learning to Decompose Neural Computation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}