Vi introducerar Ternary Weight Networks (TWN) -neurala nätverk med vikter begränsade till +1, 0 och -1. L2-avståndet mellan de fulla (flytande eller dubbla) precisionsvikterna och de ternära vikterna tillsammans med en skalfaktor minimeras. Med optimeringen äger TWNs hög kapacitet för modelluttryck som är tillräckligt bra för att approximera motsvarigheten till Full Precision Weight Networks (FPWNs). Dessutom uppnår TWN-värdena upp till 16x eller 32x-modellens komprimeringshastighet och äger mycket färre multiplikationer jämfört med FPWN-värdena. Jämfört med nyligen föreslagna Binary Precision Weight Networks (BPWNs), äger TWNs nästan 38x mer uttryckskraft i en 3×3 storlek filter, som ofta används i de flesta av de toppmoderna CNN-modeller som restnät eller VGG. Dessutom eliminerar TWNs singulariteten vid noll och konvergerar snabbare och stabilare vid träningstiden. Riktmärken på MNIST, CIFAR-10, och storskaliga ImageNet dataset visar att TWNs uppnår toppmoderna prestanda som bara är något sämre än FPWNs motsvarighet men överträffar de analoga BPWNs.
Ternary Weight Network (TWN) REF begränsar vikterna till ternära värden (−1, 0, 1) genom hänvisning till symmetriska tröskelvärden.
Ternary Weight Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}