Modeller för behandling av naturligt språk (NLP) kräver ofta ett stort antal parametrar för ordinslag, vilket resulterar i ett stort lagrings- eller minnesavtryck. Deploying neural NLP-modeller till mobila enheter kräver komprimera ordet inbäddningar utan några betydande uppoffringar i prestanda. För detta ändamål föreslår vi att man bygger inbäddningar med få grundvektorer. För varje ord bestäms sammansättningen av basvektorer av en hashkod. För att maximera komprimeringshastigheten, antar vi multi-codebook quantization strategi istället för binär kodning schema. Varje kod består av flera diskreta nummer, t.ex. (3, 2, 1, 8), där värdet på varje komponent är begränsat till ett fast intervall. Vi föreslår att direkt lära sig de diskreta koderna i ett end-to-end neural nätverk genom att tillämpa Gumbel-softmax trick. Experiment visar kompressionshastigheten uppnår 98% i en känsla analys uppgift och 94%  och 99% i maskinöversättning uppgifter utan prestanda förlust. I båda uppgifterna kan den föreslagna metoden förbättra modellens prestanda genom att sänka komprimeringshastigheten något. Jämfört med andra metoder, såsom segmentering på teckennivå, är den föreslagna metoden språkoberoende och kräver inga ändringar av nätverksarkitekturen.
REF utvidgade denna teknik genom att först representera produktquantization som en matris factorization problem, och sedan lära sig kvantization matrisen i en end-to-end trainingable neural nätverk.
Compressing Word Embeddings via Deep Compositional Code Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}