Ordvektorer kräver betydande mängder minne och lagring, vilket ställer frågor till resursbegränsade enheter som mobiltelefoner och GPU:er. Vi visar att högkvalitativa kvantiserade ordvektorer med 1-2 bitar per parameter kan läras genom att införa en kvantiseringsfunktion i Word2Vec. Vi visar dessutom att utbildning med kvantiseringsfunktion fungerar som en regularizer. Vi utbildar ordvektorer på engelska Wikipedia (2017) och utvärderar dem på standardordet likhet och analoga uppgifter och på frågesvar (SQuAD). Våra kvantiserade ordvektorer tar inte bara 8-16x mindre utrymme än full precision (32 bit) ordvektorer utan också överträffar dem på ordliknande uppgifter och frågesvar.
Samtidigt föreslog REF kvantiseringsalgoritmen för att komprimera ordvektorer och visade överlägsenheten av de erhållna inbäddningarna på ordlikviditet, ord analogi och frågesvarsuppgifter.
Word2Bits - Quantized Word Vectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}