Tensor regressionsnätverk uppnå hög komprimeringshastighet av neurala nätverk samtidigt ha liten inverkan på prestanda. De gör det genom att lägga låg tensor rank struktur på viktmatriser av fullt anslutna lager. Under de senaste åren, tensor regressionsnätverk har undersökts ur perspektivet av deras tryckkraft, men regulariseringseffekten av att upprätthålla låg rank tensor struktur har inte undersökts tillräckligt. Vi studerar tensor regressionsnätverk med hjälp av olika lågrankade tensor approximationer, som syftar till att jämföra kompressiv och regularisering effekt av olika lågrankade begränsningar. Vi utvärderar den föreslagna modellens komprimerande och regulariseringsprestanda med både djupa och ytliga konvolutionella neurala nätverk. Resultatet av vårt experiment tyder på överlägsenheten av Global Genomsnittlig Pooling Layer över Tensor Regression Layer när den tillämpas på djupa konvolutionella neurala nätverk med CIFAR-10 dataset. Tvärtom, ytliga konvolutionella neurala nätverk med tensor regressionsskikt och dropout uppnådde lägre testfel än både Global Genomsnittlig Pooling och fullt anslutna lager med dropout funktion när tränas med ett litet antal prover.
REF utforskar samma modell med olika lågrankade strukturer på regressionsvikt tensor.
Tensor Regression Networks with various Low-Rank Tensor Approximations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}