Neurala nätverk är en kraftfull klass av ickelinjära funktioner som kan tränas end-to-end på olika applikationer. Medan överparametrisering naturen i många neurala nätverk gör förmågan att passa komplexa funktioner och stark representation makt att hantera utmanande uppgifter, leder det också till starkt korrelerade neuroner som kan skada generalisering förmåga och ådra sig onödiga beräkningskostnader. Som ett resultat, hur man legalisera nätverket för att undvika oönskade representation redundans blir en viktig fråga. I detta syfte hämtar vi inspiration från ett välkänt problem inom fysik -Thomson problem, där man försöker hitta ett tillstånd som distribuerar N elektroner på en enhet sfär så jämnt som möjligt med minsta möjliga energi. Mot bakgrund av denna intuition, vi minska redundans legalisering problem till generisk energiminimering, och föreslå en minimal hypersfärisk energi (MHE) mål som generisk legalisering för neurala nätverk. Vi föreslår också några nya varianter av MHE, och ger några insikter ur teoretisk synvinkel. Slutligen tillämpar vi neurala nätverk med MHE legalisering till flera utmanande uppgifter. Omfattande experiment visar effektiviteten i vår intuition, genom att visa den överlägsna prestanda med MHE legalisering. Den senaste tidens framgångar med djupa neurala nätverk har lett till dess breda tillämpningar i en mängd olika uppgifter. Med överparametriseringsnaturen och djupskiktad arkitektur kan nuvarande djupa nätverk [15, 47, 43] uppnå imponerande prestanda på storskaliga problem. Trots sådan framgång, har redundant och starkt korrelerade neuroner (t.ex., vikter av kärnor/filter i konvolutionella neurala nätverk (CNNs)) orsakas av överparametrisering presenterar en fråga [38, 42], som motiverade en serie inflytelserika verk i nätverk kompression [11, 1] och parameter-effektiva nätverk arkitekturer [17, 20, 64]. Dessa fungerar antingen komprimera nätverket genom beskärning redundant neuroner eller direkt ändra nätverksarkitekturen, syftar till att uppnå jämförbar prestanda medan du använder färre parametrar. Ändå är det fortfarande ett öppet problem att hitta en enhetlig och principiell teori som styr nätverkskompressionen i samband med optimal generaliseringsförmåga. En annan ström av verk försöker ytterligare släppa nätverket generalisering kraft genom att lindra redundans genom diversifiering [59, 58, 5, 37] som noggrant analyseras av [61]. De flesta av dessa arbeten tar itu med problemet med redundans genom att genomdriva relativt stor mångfald mellan parvis projektionsbaser via legalisering. Vårt arbete faller i stort sett in i denna kategori genom att vi delar liknande mål på hög nivå, men andan och motivationen bakom våra föreslagna modeller är tydliga. I synnerhet finns det en ny trend av studier som uppvisar betydelsen av vinkelinlärning på både förlust- och konvolutionsnivåer [30, 29, 31, 28], baserat på observationen att vinklar i djupa inbäddningar lärt av CNNs tenderar att koda semantisk skillnad. Den viktigaste intuitionen är att vinklar bevarar den mest rikliga och diskriminerande information för visuell igenkänning. Som ett resultat, hypersfäriska geodesiska avstånd mellan neuroner spelar naturligt en nyckelroll i detta sammanhang, och därför är det intuitivt önskvärt att införa diskriminering genom att hålla sina prognoser på hypersfären så långt bort från * indikerar lika bidrag.
Minsta hypersfäriska energi, som föreslås av REF, ingår också i denna kategori.
Learning towards Minimum Hyperspherical Energy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}