Djupa neurala nätverk visar för närvarande toppmoderna prestanda inom flera områden. Samtidigt är modeller av denna klass mycket krävande när det gäller beräkningsresurser. I synnerhet krävs en stor mängd minne av allmänt använda fullt anslutna lager, vilket gör det svårt att använda modellerna på low-end-enheter och stoppa ytterligare ökning av modellstorleken. I detta papper konverterar vi de täta viktmatriserna för de fullt anslutna skikten till Tensor Train [17]-formatet så att antalet parametrar minskas med en enorm faktor och samtidigt bevaras skiktets uttryckskraft. Särskilt för Very Deep VGG-nätverken [21] rapporterar vi komprimeringsfaktorn för den täta viktmatrisen för ett fullt uppkopplat lager upp till 200000 gånger vilket leder till komprimeringsfaktorn för hela nätverket upp till 7 gånger.
REF använde Tensor-Train-formatet för att bryta sönder det helt anslutna skiktet, som uppnådde upp till 7 × kompressionsförhållandet för hela nätverket.
Tensorizing Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}