Djupt lärande modeller har blivit state of the art för naturliga språk bearbetning (NLP) uppgifter, men att distribuera dessa modeller i produktionssystemet innebär betydande minnesbegränsningar. Befintliga kompressionsmetoder är antingen förlust eller införa betydande latens. Vi föreslår en kompressionsmetod som utnyttjar låggradig matrisfaktorisering under träningen, för att komprimera ordet inbäddning lager som representerar storleken flaskhals för de flesta NLP-modeller. Våra modeller är utbildade, komprimerade och sedan vidare omtränade på nedströmsuppgiften för att återställa noggrannheten samtidigt som den reducerade storleken bibehålls. Empiriskt visar vi att den föreslagna metoden kan uppnå 90% komprimering med minimal påverkan i noggrannhet för mening klassificering uppgifter, och överträffar alternativa metoder som fast punkt kvantisering eller offline ord inbäddning komprimering. Vi analyserar också inference tid och lagringsutrymme för vår metod genom FLOP beräkningar, visar att vi kan komprimera DNN modeller med ett konfigurerbart förhållande och återfå noggrannhet förlust utan att införa ytterligare latens jämfört med fast punkt kvantisering. Slutligen introducerar vi ett nytt schema för inlärningsfrekvens, den cykliska Annealed Learning Rate (CALR), som vi empiriskt demonstrerar för att överträffa andra populära adaptiva inlärningshastighet algoritmer på en mening klassificering riktmärke.
REF använder låg rank matris factorization för ord-bädda skikt under träning för att komprimera en klassificeringsmodell.
Online Embedding Compression for Text Classification using Low Rank Matrix Factorization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}