Djupa neurala nätverk modeller, även om mycket kraftfull och mycket framgångsrik, är beräknings dyrt när det gäller rum och tid. Nyligen har det gjorts ett antal försök att binarisera nätverksvikter och aktiveringar. Detta minskar i hög grad nätverksstorleken och ersätter de underliggande multiplikationerna till tillägg eller till och med XNOR-bitar. Emellertid, existerande binarization system är baserade på enkla matris approximationer och ignorera effekten av binarization på förlusten. I detta dokument föreslår vi en proximal Newton algoritm med diagonal hessian approximation som direkt minimerar förlusten w.r.t. De binariserade vikterna. Det underliggande proximala steget har en effektiv sluten lösning, och den andra ordningen information kan effektivt erhållas från de andra ögonblicken som redan beräknas av Adam optimizer. Experiment på både feedforward- och återkommande nätverk visar att den föreslagna förlustmedvetna binarizationalgoritmen överträffar befintliga binariseringssystem, och är också mer robust för breda och djupa nätverk.
REF utnyttjade en proximal Newton algoritm med en diago-nal hessian approximation som direkt minimerar förlusten med avseende på binarized vikter.
Loss-aware Binarization of Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}