För närvarande, gradvis större djupa neurala nätverk utbildas på ständigt växande data corpora. Följden blir att distribuerade utbildningsprogram blir allt mer relevanta. En viktig fråga inom distribuerad utbildning är den begränsade kommunikationsbandbredden mellan bidragande noder eller oöverkomliga kommunikationskostnader i allmänhet. För att lindra detta problem föreslår vi Sparse Binary Compression (SBC), ett kompressionsramverk som möjliggör en drastisk minskning av kommunikationskostnaderna för distribuerad utbildning. SBC kombinerar befintliga tekniker för kommunikationsfördröjning och gradient sparifiering med en ny binariseringsmetod och optimal viktuppdateringskodning för att driva komprimeringsvinster till nya gränser. Genom att göra det gör vår metod också det möjligt för oss att smidigt kompromissa lutning gleshet och temporal sparhet att anpassa sig till kraven i inlärningsuppgiften. Våra experiment visar, att SBC kan minska uppströms kommunikationen på en mängd olika konvolutionella och återkommande neurala nätverk arkitekturer med mer än fyra storleksordningar utan att avsevärt skada konvergenshastigheten i form av framåt-bakåtpass. Till exempel kan vi träna ResNet50 på ImageNet i samma antal iterationer till utgångsvärdet noggrannhet, med ×3531 mindre bitar eller träna den till en 1% lägre noggrannhet med ×37208 mindre bitar. I det senare fallet skärs den totala uppströmskommunikationen ned från 125 terabyte till 3,35 gigabyte för varje deltagande klient.
Sparse Binary Kompression föreslås av REF pressade modellen kompressionsförhållandet ytterligare genom att binarizing de sparsified gradienter och kombinerade en optimal vikt update kodning.
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
{'venue': '2019 International Joint Conference on Neural Networks (IJCNN)', 'journal': '2019 International Joint Conference on Neural Networks (IJCNN)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}