Djupa neurala nätverk används i stor utsträckning i tillämpningar för maskininlärning. Utbyggnaden av stora neurala nätverk modeller kan dock vara svårt att distribuera på mobila enheter med begränsad makt budget. För att lösa detta problem föreslår vi tränad ternary quantization (TTQ), en metod som kan minska precisionen av vikter i neurala nätverk till ternary värden. Denna metod har mycket liten noggrannhet nedbrytning och kan även förbättra noggrannheten hos vissa modeller (32, 44, 56-lager ResNet) på CIFAR-10 och AlexNet på ImageNet. Och vår AlexNet modell är tränad från grunden, vilket innebär att det är lika enkelt som att träna normal full precision modell. Vi lyfter fram vår utbildade kvantiseringsmetod som kan lära sig både ternära värden och ternära uppdrag. Under inferens, endast ternära värden (2-bitars vikter) och skalningsfaktorer behövs, därför våra modeller är nästan 16× mindre än fullprecision modeller. Våra ternära modeller kan också ses som sparsamma binära viktnätverk, som potentiellt kan accelereras med anpassade krets. Experiment på CIFAR-10 visar att de ternära modeller som erhållits genom utbildad kvantiseringsmetod överträffar fullprecisionsmodeller av ResNet-32,44,56 med 0,04%, 0,16%, 0,36%, respektive. På ImageNet, vår modell överträffar fullprecision AlexNet modell med 0,3% av Top-1 noggrannhet och överträffar tidigare ternära modeller med 3%.
Utbildad ternary quantization (TTQ) REF uppnådde den toppmoderna prestandan genom att ta skalningsfaktorerna som utbildningsbara parametrar.
Trained Ternary Quantization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}