Träning konvolutional nätverk (CNN: s) som passar på en enda GPU med minibatch stochastic lutning nedstigning har blivit effektiv i praktiken. Det finns dock fortfarande ingen effektiv metod för att träna stora CNN som inte passar i minnet av några GPU-kort, eller för att parallellisera CNN-träning. I detta arbete visar vi att en enkel hård blandning av experter modell kan effektivt tränas till god effekt på storskalig hashtag (multilabel) förutsägelse uppgifter. Blandning av experter modeller är inte nya [7, 3], men tidigare, forskare har varit tvungna att utforma sofistikerade metoder för att hantera datafragmentering. Vi visar empiriskt att moderna svagt övervakade datamängder är tillräckligt stora för att stödja naiva partitioneringssystem där varje datapunkt tilldelas en enda expert. Eftersom experterna är oberoende är det enkelt att utbilda dem parallellt, och utvärderingen är billig för modellens storlek. Dessutom visar vi att vi kan använda en enda avkodning lager för alla experter, vilket möjliggör en enhetlig funktion inbäddning utrymme. Vi visar att det är möjligt (och i själva verket relativt smärtfritt) att träna långt större modeller än vad som praktiskt skulle kunna tränas med standard CNN-arkitekturer, och att den extra kapaciteten kan användas väl på aktuella datauppsättningar.
Äckligt et al. REF använder en tvåstegsutbildning och klusterrörledning för att utbilda en hård blandning av experter modell.
Hard Mixtures of Experts for Large Scale Weakly Supervised Vision
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}