Att påskynda de djupa neurala nätverken (DNN) har fått ökad uppmärksamhet eftersom det kan gynna ett brett spektrum av tillämpningar, t.ex. att göra det möjligt för mobila system med begränsade datorresurser att äga kraftfull visuell igenkänningsförmåga. En praktisk strategi för att uppnå detta mål bygger vanligen på en process i två steg: att arbeta med de utbildade DNN (t.ex. att tillnärma konvolutionsfiltren med tensordegradering) och finjustera det ändrade nätet, vilket leder till svårigheter att balansera avvägningen mellan acceleration och bibehållen igenkänningsprestanda. I detta arbete, som syftar till ett allmänt och omfattande sätt för neurala nätverksacceleration, utvecklar vi en Wavelet-liknande Auto-Encoder (WAE) som bryter ner den ursprungliga indatabilden i två lågupplösta kanaler (underbilder) och införlivar WAE i klassificeringen neurala nätverk för gemensam utbildning. De två sönderdelade kanalerna är särskilt kodade för att överföra lågfrekvent information (t.ex. bildprofiler) respektive högfrekvent (t.ex. bilddetaljer eller ljud) och möjliggöra rekonstruktion av den ursprungliga indatabilden genom avkodningsprocessen. Sedan matar vi in lågfrekvenskanalen i ett standardiserat klassificeringsnätverk som VGG eller ResNet och använder ett mycket lätt nätverk för att smälta samman med högfrekvenskanalen för att få klassificeringsresultatet. Jämfört med befintliga DNN accelerationslösningar, har vårt ramverk följande fördelar: i) det är tolerant mot alla befintliga konvolutionella neurala nätverk för klassificering utan att ändra deras strukturer; ii) WAE är ett tolkningsbart sätt att bevara de viktigaste komponenterna i ingångsbilden för klassificering.
En Wavelet-liknande Auto Encoder (WAE) som använder neurala nätverk föreslogs av Chen et al. REF som sönderdelar den ursprungliga bilden till lågupplösta bilder för klassificeringsändamål.
Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}