Skapandet av praktiska djupinlärningsdataprodukter kräver ofta parallellisering mellan processorer och datorer för att göra djupinlärning möjlig för stora datamängder, men flaskhalsar i kommunikationsbandbredden gör det svårt att uppnå goda hastigheter genom parallellism. Här utvecklar och testar vi 8-bitars approximationsalgoritmer som bättre utnyttjar den tillgängliga bandbredden genom att komprimera 32-bitars gradienter och icke-linjära aktiveringar till 8-bitars approximationer. Vi visar att dessa approximationer inte minskar prediktiva prestanda på MNIST, CIFAR10, och ImageNet för både modell och data parallellism och ger en dataöverföring hastighetsökning på 2x i förhållande till 32-bitars parallellism. Vi bygger en prediktiv modell för speedups baserat på våra experimentella data, verifiera dess giltighet på kända speedup data, och visa att vi kan få en speedup på 50x och mer på ett system på 96 GPUs jämfört med en speedup på 23x för 32-bitars. Vi jämför våra datatyper med andra metoder och visar att 8-bitars approximationer uppnår toppmoderna hastigheter för modellparallalism. Således 8-bitars approximation är en effektiv metod för att parallellisera convolutional nätverk på mycket stora system av GPUs.
Dettmers REF visar hur 8-bitars för data och modellparallalism ökar prestandan för maskininlärning samtidigt som noggrannheten bibehålls på MNIST, CIFAR10 och ImageNet neurala nätverk.
8-Bit Approximations for Parallelism in Deep Learning
{'venue': 'ICLR 2016', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science']}