Abstrakt. Vi utvecklar ett skalbart och utbyggbart utbildningsramverk som kan använda GPU över noder i ett kluster och påskynda utbildningen av djupinlärningsmodeller baserade på dataparallalism. Både synkron och asynkron utbildning genomförs i vårt ramverk, där parameterutbyte mellan GPU:er baseras på CUDA-medveten MPI. I denna rapport analyserar vi konvergensen och kapaciteten hos ramverket för att minska träningstiden vid skalning av den synkrona utbildningen av AlexNet och GoogLeNet från 2 GPU:er till 8 GPU:er. Dessutom utforskar vi nya sätt att minska de kommunikationskostnader som uppstår genom utbyte av parametrar. Slutligen frigör vi ramen som en öppen resurs för ytterligare forskning om distribuerat fördjupat lärande 3.
Mamma och Al. REF utvecklade en skalbar och utbyggbar DL-utbildningsram baserad på Theano kallad Theano-MPI.
Theano-MPI: a Theano-based Distributed Training Framework
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}