I detta dokument föreslår och undersöker vi en mängd distribuerade strategier för djupinlärning för automatisk taligenkänning (ASR) och utvärderar dem med en toppmodern akustisk modell för långtidsminne (LSTM) på 2000-timmars växeln (SWB2000), som är en av de mest använda datauppsättningarna för ASR-prestandariktmärke. Vi undersöker först vad som är rätt hyper-parametrar (t.ex. inlärningshastighet) för att möjliggöra träning med tillräckligt stor batchstorlek utan att försämra modellens noggrannhet. Vi genomför sedan olika distribuerade strategier, inklusive Synchronous (SYNC), Asynchronous Decentralized Parallel SGD (ADPSGD) och hybriden av de två HYBRID, för att studera deras runtime / accuracy kompromiss. Vi visar att vi kan träna LSTM-modellen med ADPSGD på 14 timmar med 16 NVIDIA P100 GPU för att nå en 7,6% WER på Hub5-2000 Telefon (SWB) test set och en 13,1% WER på CallHome (CH) test set. Dessutom kan vi träna modellen med HY-BRID på 11,5 timmar med 32 NVIDIA V100 GPU utan förlust av noggrannhet.
Tidigare arbete REF tillämpade ADPSGD på den utmanande SWB2000-LSTM uppgiften att uppnå toppmodern modellnoggrannhet på en rekordtid (11,5 timmar).
Distributed Deep Learning Strategies for Automatic Speech Recognition
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science']}