De fullt anslutna skikten av djupa konvolutionella neurala nätverk innehåller vanligtvis över 90% av nätverksparametrarna. Att minska antalet parametrar samtidigt som prediktiva prestanda bevaras är av avgörande betydelse för att träna stora modeller i distribuerade system och för installation i inbyggda enheter. I detta papper introducerar vi en ny Adaptive Fastfood transform för att omparameterisera matris-vektor multiplikation av fullt anslutna lager. Reparameterisering av ett helt uppkopplat lager med d-ingångar och n-utgångar med Adaptive Fastfood-transform minskar lagrings- och beräkningskostnaderna från O(nd) till O(n) respektive O(n log d). Att använda Adaptive Fastfood transform i convolutional nätverk resulterar i vad vi kallar en friterad convnet. Dessa convnets är end-to-end trainingable, och gör det möjligt för oss att uppnå betydande minskningar av antalet parametrar utan att påverka förutsägelse noggrannhet på MNIST och ImageNet dataset.
REF försöker få komprimering av de fullt anslutna skikten i AlexNettype-nätverket med Fastfood-metoden.
Deep Fried Convnets
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}