Ramar för fördjupat lärande har brett utplacerats på GPU-servrar för djupinlärning inom både akademi och industri. I utbildningen djupa neurala nätverk (DNNs), det finns många standardprocesser eller algoritmer, såsom konvolution och stokastisk lutning nedstigning (SGD), men löpprestandan för olika ramar kan vara olika även köra samma djupa modell på samma GPU hårdvara. I denna studie utvärderar vi körprestandan för fyra toppmoderna distribuerade djupinlärningsramar (dvs. Caffe-MPI, CNTK, MXNet och TensorFlow) över single-GPU, multi-GPU och multi-node miljöer. Vi bygger först prestandamodeller av standardprocesser i utbildning DNNs med SGD, och sedan vi jämföra körprestanda av dessa ramar med tre populära konvolutionella neurala nätverk (dvs., AlexNet, GoogleNet och ResNet-50), därefter analyserar vi vilka faktorer som resulterar i prestandagapet bland dessa fyra ramverk. Genom både analytisk och experimentell analys identifierar vi flaskhalsar och omkostnader som kan optimeras ytterligare. Det viktigaste bidraget är att de föreslagna prestandamodellerna och analysen ger ytterligare optimeringsriktningar i både algoritmisk design och systemkonfiguration.
Shi och Al. REF använder prestandamodellering för att utvärdera olika distribuerade ramar för djupt lärande (t.ex. Caffe-MPI eller TensorFlow) på avancerade datorsystem.
Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs
{'venue': '2018 IEEE 16th Intl Conf on Dependable, Autonomic and Secure Computing, 16th Intl Conf on Pervasive Intelligence and Computing, 4th Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Congress(DASC/PiCom/DataCom/CyberSciTech)', 'journal': '2018 IEEE 16th Intl Conf on Dependable, Autonomic and Secure Computing, 16th Intl Conf on Pervasive Intelligence and Computing, 4th Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Congress(DASC/PiCom/DataCom/CyberSciTech)', 'mag_field_of_study': ['Computer Science']}