Vi presenterar ett nytt legaliseringsprogram för utbildning av djupa neurala nätverk. Parametrarna för neurala nätverk är vanligtvis okonstruerade och har en dynamisk räckvidd dispergerad över den verkliga linjen. Vår viktigaste idé är att styra den expressiva kraften i nätverket genom att dynamiskt kvantifiera det område och de värden som parametrarna kan ta. Vi formulerar denna idé med hjälp av en ny end-to-end metod som legaliserar den traditionella klassificering förlust funktion. Vår regularizer är inspirerad av principen Minimum Description Length. För varje lager av nätverket, optimerar vårt tillvägagångssätt en översättning och skalning faktor tillsammans med heltal-värderade parametrar. Vi jämför empiriskt BitNet med en likvärdig oregulariserad modell på datauppsättningarna MNIST och CIFAR-10. Vi visar att BitNet konvergerar snabbare till en överlägsen kvalitet lösning. Dessutom är den resulterande modellen betydligt mindre i storlek på grund av användningen av heltal parametrar i stället för flottor. Ur inlärningssynpunkt ställer vi den naturliga frågan om optimal precision för varje lager i nätverket och ger en gradient nedstigningsalgoritm för att direkt optimera kodning av vikterna med hjälp av träningsdata. Vårt tillvägagångssätt utgör ett nytt sätt att reglera utbildningen av djupa neurala nätverk, med hjälp av antalet unika värden kodade av parametrarna (dvs.. två till antalet bitar) direkt som en regularizer för klassificeringsförlusten. Såvitt vi vet är vi inte medvetna om en likvärdig matrisnorm som används som regularizer i den djupinlärda litteraturen, vilket bildar ett direkt samband mellan den låga nivån bit precision och regularisering system inspirerad av minimibeskrivning längd (MDL) princip. Översikt och bidrag: Sek. 3 ger en kort bakgrund till vår strategi, följt av en beskrivning av vår modell. Sekreterare 4 innehåller det viktigaste bidraget från pappersviz. (1) Konvex och differentierad avkoppling av klassificeringsförlustfunktionen över de diskret värderade parametrarna, (2) Regularisering med hjälp av komplexiteten i kodning, och (3) End-to-end optimering av en per-lager precision tillsammans med parametrarna med hjälp av stokastisk lutning nedstigning. Sekreterare 5 visar snabbare konvergens av BitNet till en överlägsen kvalitet lösning jämfört med ett likvärdigt oregelbundet nätverk med hjälp av flyttalsparametrar, följt av slutsatsen i sek. 6. Vad är det som händer?
Vårt tillvägagångssätt för inlärning precision liknar nära BitNet REF, där den optimala precisionen för varje nätverkslager lärs genom lutning nedstigning, och nätverksparameterkodning fungerar som regularizers.
BitNet: Bit-Regularized Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}