Även om modeller för djupinlärning är mycket effektiva för olika inlärningsuppgifter, hindrar deras höga beräkningskostnader spridningen till scenarier där antingen minnes- eller beräkningsresurser är begränsade. I detta papper fokuserar vi på att komprimera och accelerera djupa modeller med nätverksvikter representeras av mycket små antal bitar, som kallas extremt låg bit neurala nätverk. Vi modellerar detta problem som ett diskret begränsat optimeringsproblem. Låna idén från Alternating Direction Method of Multipliers (ADMM), vi koppla bort de kontinuerliga parametrarna från de diskreta begränsningar i nätverket, och kasta den ursprungliga svåra problemet i flera subproblem. Vi föreslår att dessa subproblem ska lösas med hjälp av extragradient- och iterativa kvantiseringsalgoritmer som leder till betydligt snabbare konvergens jämfört med konventionella optimeringsmetoder. Omfattande experiment på bildigenkänning och objektdetektering verifiera att den föreslagna algoritmen är mer effektiv än state-of-theart metoder när man kommer till extremt låg bit neurala nätverk.
REF föreslog att det ursprungliga problemet skulle omsättas i flera underproblem.
Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}