Förmågan att träna storskaliga neurala nätverk har resulterat i toppmodern prestanda inom många områden av datorseende. Dessa resultat har till stor del kommit från dataintrång av två former: modellparallalism, t.ex. GPU accelererade utbildningen, som har sett snabb adoption i datorseende cirklar, och data parallellism, t.ex. A-SGD, vars storskaliga har använts mest inom industrin. Vi rapporterar tidiga experiment med ett system som använder sig av både modellparallalism och dataparallalism, kallar vi GPU A-SGD. Vi visar med hjälp av GPU A-SGD är det möjligt att påskynda utbildning av stora konvolutionella neurala nätverk användbara för datorseende. Vi tror att GPU A-SGD kommer att göra det möjligt att utbilda större nätverk på större utbildningsset inom rimlig tid.
GPU A-SGD REF utnyttjar både modell- och dataparallalism för att påskynda utbildningen av neurala nätverk för datorseende.
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
{'venue': 'ICLR 2013', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}