Diskret Fourier transforms ger en betydande hastighetsuppgång i beräkningen av konvolutioner i djupt lärande. I detta arbete visar vi att spektraldomänen, utöver dess fördelar för effektiv beräkning, också ger en kraftfull representation där man kan modellera och träna konvolutionella neurala nätverk (CNN). Vi använder spektral representationer för att introducera ett antal innovationer i CNN design. För det första föreslår vi spektral pooling, som utför dimensionalitetsminskning genom att trunkera representationen i frekvensdomänen. Detta tillvägagångssätt bevarar betydligt mer information per parameter än andra pooling strategier och möjliggör flexibilitet i valet av pooling output dimensionality. Denna representation möjliggör också en ny form av stokastisk legalisering genom en randomiserad ändring av upplösningen. Vi visar att dessa metoder uppnår konkurrenskraftiga resultat när det gäller klassificerings- och approximeringsuppgifter, utan att använda någon avhoppning eller maxpoolning. Slutligen visar vi effektiviteten av komplex-koefficient spektral parameterization av convolutional filter. Medan detta lämnar den underliggande modellen oförändrad, resulterar det i en representation som i hög grad underlättar optimering. Vi observerar på en mängd populära CNN konfigurationer att detta leder till betydligt snabbare konvergens under utbildningen.
Nyligen har REF utnyttjat Fouriers spektralrepresentation för konvolutionella neurala nätverk, vilket ger en teknik för att parameterisera konvolutionens kärnvikter i spektraldomänen, och utför poolning på signalens spektralrepresentation.
Spectral Representations for Convolutional Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}