Neural Machine Translation (NMT), liksom många andra djupinlärning domäner, lider vanligtvis av överparameterisering, vilket resulterar i stora lagringsstorlekar. I detta dokument undersöks tre enkla magnitudbaserade beskärningssystem för att komprimera NMT-modeller, nämligen klassblinda, klassuniforma och klassdistribution, som skiljer sig åt i fråga om hur beskärningströsklar beräknas för de olika viktklasserna i NMT-arkitekturen. Vi demonstrerar effekten av viktbeskärning som en kompressionsteknik för ett toppmodernt NMT-system. Vi visar att en NMT-modell med över 200 miljoner parametrar kan beskäras med 40% med mycket liten prestandaförlust mätt på WMT'14 engelsktyska översättningsuppgift. Detta kastar ljus över fördelningen av redundans i NMT-arkitekturen. Vårt huvudsakliga resultat är att vi med omskolning kan återhämta oss och till och med överträffa den ursprungliga prestandan med en 80-procentig modell.
REF föreslås att komprimera LSTM-baserade neurala maskinöversättningsmodeller med beskärning algoritmer.
Compression of Neural Machine Translation Models via Pruning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}