Kapaciteten hos ett neuralt nätverk för att absorbera information begränsas av dess antal parametrar. Villkorlig beräkning, där delar av nätet är aktiva per exempel, har i teorin föreslagits som ett sätt att dramatiskt öka modellkapaciteten utan en proportionell ökning av beräkningen. I praktiken finns det dock betydande utmaningar när det gäller algoritmer och prestanda. I detta arbete tar vi itu med dessa utmaningar och slutligen förverkliga löftet om villkorlig beräkning, uppnå mer än 1000x förbättringar i modellkapacitet med endast mindre förluster i beräkningseffektivitet på moderna GPU-kluster. Vi introducerar en Sparsely-Gated Mixing-of-Experts lager (MoE), bestående av upp till tusentals feed-forward undernätverk. Ett utbildat gating nätverk bestämmer en gles kombination av dessa experter att använda för varje exempel. Vi tillämpar MoE på uppgifter som språkmodellering och maskinöversättning, där modellkapacitet är avgörande för att absorbera de stora mängder kunskap som finns i träningskorporan. Vi presenterar modellarkitekturer där en MoE med upp till 137 miljarder parametrar appliceras konvolutionellt mellan staplade LSTM-lager. På stora språk modellering och maskinöversättning riktmärken, dessa modeller uppnå betydligt bättre resultat än state-of-the-art till lägre beräkningskostnader.
Nyligen återbesökte REF idén och visade starka prestationer i de övervakade inlärningsuppgifter språkmodellering och maskinöversättning.
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}