Blandningar av experter kombinerar resultaten av flera "expert" nätverk, som var och en specialiserar sig på en annan del av inmatningsutrymmet. Detta uppnås genom att man utbildar ett "gating"-nätverk som kartlägger varje bidrag till en distribution över experterna. Sådana modeller visar löfte om att bygga större nätverk som fortfarande är billiga att beräkna vid testtid och mer parallelliserbara vid utbildningstid. I detta arbete utsträcker vi blandningen av experter till en staplad modell, den djupa blandningen av experter, med flera uppsättningar av gating och experter. Detta ökar exponentiellt antalet effektiva experter genom att associera varje insats med en kombination av experter på varje lager, men ändå upprätthåller en blygsam modellstorlek. På en slumpmässigt översatt version av MNIST dataset, finner vi att Djup Blandning av experter automatiskt lär sig att utveckla platsberoende ("där") experter på det första skiktet, och klassspecifika ("vad") experter på det andra skiktet. Dessutom ser vi att de olika kombinationerna används när modellen appliceras på en uppsättning talmonofoner. Dessa visar på effektiv användning av alla expertkombinationer.
I likhet med våra förslag föreslår REF att man använder sig av ett annat gatingnätverk i varje skikt i ett flerskiktsnät för att möjliggöra ett exponentiellt antal kombinationer av expertutlåtanden.
Learning Factored Representations in a Deep Mixture of Experts
{'venue': 'ICLR 2014', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}