Sekvens till sekvens lärande modeller fortfarande kräver flera dagar för att nå toppmodern prestanda på stora referensdataset med hjälp av en enda maskin. Detta papper visar att minskad precision och stor batch träning kan påskynda träningen med nästan 5x på en enda 8-GPU maskin med noggrann inställning och genomförande. 1 På WMT'14 engelsk-tyska översättning, matchar vi exaktheten av Vaswani et al. (2017) på mindre än 5 timmar när utbildning på 8 GPUs och vi får en ny state of the art av 29,3 BLEU efter utbildning i 85 minuter på 128 GPUs. Vi förbättrar dessa resultat ytterligare till 29,8 BLEU genom utbildning på den mycket större Paracrawl dataset. På WMT'14 engelskafranska uppgiften får vi en toppmodern BLEU på 43,2 på 8,5 timmar på 128 GPU.
Andra arbeten visar att utbildning på 128 GPUs kan avsevärt öka de experimentella resultaten och förkorta utbildningstiden REF.
Scaling Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}