Modellkompression är viktigt för att betjäna stora djupa neurala nät på enheter med begränsade resurser eller applikationer som kräver svar i realtid. Som en fallstudie består en toppmodern neural språkmodell vanligtvis av ett eller flera återkommande lager inbäddade mellan ett inbäddat lager som används för att representera inmatning polletter och ett softmax lager för att generera utmatning polletter. För problem med en mycket stor ordförrådsstorlek, kan inbäddning och softmax matriser stå för mer än hälften av modellstorleken. Till exempel uppnår bigLSTM-modellen toppmodern prestanda på datauppsättningen One-Billion-Word (OBW) med cirka 800k ordförråd, och dess ord inbäddning och softmax matriser använder mer än 6GBytes utrymme, och ansvarar för över 90 % av modellparametrarna. I detta dokument föreslår vi GroupReduce, en ny kompressionsmetod för neurala språkmodeller, baserad på vokabulär-partition (block) baserad låg-rankad matris approximation och den inneboende frekvensfördelningen av tokens (power-law distribution av ord). De experimentella resultaten visar att vår metod avsevärt kan överträffa traditionella kompressionsmetoder såsom lågvärdig approximation och beskärning. På OBW datasetet uppnådde vår metod 6,6 gånger kompressionshastigheten för inbäddning och softmax matriser, och när den kombineras med kvantisering, kan vår metod uppnå 26 gånger kompressionshastigheten, vilket översätter till en faktor på 12,8 gånger kompression för hela modellen med mycket liten nedbrytning i perplexitet.
GroupReduce REF tillämpar viktad lågvärdig approximation till inbäddningsmatrisen för en LSTM.
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}