Vår formella förståelse av de induktiva fördomar som driver framgången för konvolutionella nätverk på datorseende uppgifter är begränsad. I synnerhet är det oklart vad som gör hypoteser utrymmen föds från konvolution och pooling operationer så lämplig för naturliga bilder. I detta dokument studerar vi förmågan hos konvolutionella aritmetiska kretsar att modellera korrelationer mellan regioner av deras insats. Förhållanden formaliseras genom begreppet separationsrankning, som för en given inmatningspartition mäter hur långt en funktion är från att vara åtskiljbar. Vi visar att ett polynomiskt stort djupnätverk stöder exponentiellt höga separationsgrader för vissa ingångspartitioner, samtidigt som det är begränsat till polynomiska separationsgrader för andra. Nätverkets pooling geometri bestämmer effektivt vilka ingångspartitioner som gynnas, alltså fungerar som ett sätt att kontrollera induktiva fördomar. Contiguous pooling fönster som allmänt används i praktiken föredrar interleaved partitioner över grova sådana, orientering induktiva fördomar mot statistiken över naturliga bilder. Förutom att analysera djupa nätverk, visar vi att ytliga de stöder endast linjär separation led, och genom detta få insikt i nyttan av funktioner som skapas av djup - de kan effektivt modellera stark korrelation under gynnade partitioner av inmatningen. nätverket täcker en liten del av utrymmet för alla funktioner. Vi skulle vilja förstå varför denna lilla fraktion är så framgångsrik i praktiken. En särskild familj av konvolutionella nätverk som får ökad uppmärksamhet är den av konvolutionella aritmetiska kretsar. Dessa modeller följer standardparadigmet för lokalitet, viktdelning och poolning, men skiljer sig från de mest konventionella konvolutionsnäten genom att deras punktvisa aktiveringar är linjära, med icke-linjäritet som härrör från produktpoolning. Nyligen [8] analyserade djupeffektiviteten hos konvolutionella aritmetiska kretsar, som visar att förutom en försumbar uppsättning, alla funktioner som kan realiseras av ett djupt nätverk kräver exponentiell storlek för att realiseras (eller approximeras) av en grunt. Detta resultat, som kallas fullständig djupeffektivitet, står i kontrast till tidigare resultat längs denna linje, som bara visade att det finns funktioner som effektivt kan realiseras av djupa nätverk men inte av ytliga. I det efterföljande arbetet [6] visade sig det för de populära konvolutionella likriktarnätverken, d.v.s. Konvolutionella nät med rektifierad linjär (ReLU, [22]) aktivering och maximal eller genomsnittlig poolning, djupeffektivitet finns, men det är inte komplett, vilket innebär att sådana nät är underlägsna konvolutionella aritmetiska kretsar när det gäller djupeffektivitet. Motiverade av dessa resultat, och av det faktum att konvolutionella aritmetiska kretsar är likvärdiga med SimNets, en ny djupt lärande arkitektur som nyligen har visat lovande empiriska prestanda ([5, 7]), fokuserar vi i detta dokument på konvolutionella aritmetiska kretsar som representanter för klassen av konvolutionella nätverk. Vi närmar oss studiet av induktiva fördomar från riktningen av funktionsingångar. Specifikt studerar vi förmågan hos konvolutionella aritmetiska kretsar att modellera korrelation mellan regioner av deras insats. För att analysera korrelationerna av en funktion, vi anser olika partitioner av input regioner i separata uppsättningar, och fråga hur separat funktionen är w.r.t. De här partitionerna. Separerbarhet för en funktion w.r.t. En uppdelning av dess indata mäts genom begreppet separationsrankning ([2]), som kan betraktas som en kvantifiering av hur långt funktionen är från att vara lika med en produkt av faktorer, var och en beroende på indataregioner från endast en sida av partitionen. Hög separationsgrad (låg separerbarhet) innebär att funktionen inducerar stark korrelation mellan sidorna av partitionen och vice versa. Vår analys visar att ett polynomiskt stort djupnätverk stöder exponentiellt höga separationsgrader för vissa ingångspartitioner, samtidigt som det är begränsat till polynom eller linjär (i nätverksstorlek) separationsled för andra. Nätverkets pooling geometri bestämmer effektivt vilka ingångspartitioner som gynnas i termer av separation rang, dvs.. som partitioner åtnjuter exponentiellt hög separation rankas med polynomiskt stora nätverk, och som kräver nätverk att vara exponentiellt stora. Med standardvalet av fyrkantiga sammanhängande pooling fönster, interleaved (invecklade) partitioner gynnas över grova som delar inputen i stora distinkta områden. Vi drar därför slutsatsen att i termer av modellerade korrelationer, pooling geometri styr induktiva fördomar, och den särskilda design som används i praktiken orienterar den mot statistik över naturliga bilder (nära bildpunkter mer korrelerade än avlägsna). När det gäller djupeffektivitet, visar vi att separation grader under gynnade ingång partitioner är exponentiellt höga för alla utom en försumbar uppsättning funktioner som kan realiseras av ett djupt nätverk. Skala nätverk å andra sidan, behandla alla partitioner lika och stödja endast linjär (i nätverksstorlek) separation led. Därför, nästan alla funktioner som kan realiseras av ett djupt nätverk kräver en replikering grunda nätverk för att ha exponentiell storlek. Genom detta återgår vi till det fullständiga djupet effektivitet resultat [8], men med en ytterligare viktig insikt i nyttan av funktioner som skapas av djup - de kan effektivt modellera stark korrelation under gynnade partitioner av inmatningen. Resten av tidningen är organiserad enligt följande. Sekreterare 2 ger en kort presentation av nödvändigt bakgrundsmaterial från tensoranalysområdet. Sekreterare 3 beskriver de konvolutionella aritmetiska kretsar vi analyserar, och deras förhållande till tensor sönderdelningar. På andra plats. 4 vi förmedlar begreppet separation rang, på vilken vi baserar våra analyser i sek. 5 och 6. Äntligen, sek. 7 avslutar. De analyser som görs i detta dokument bygger på begrepp och resultat från tensoranalysområdet. I detta avsnitt fastställer vi den minimala bakgrund som krävs för att följa våra argument 1, som hänvisar den intresserade läsaren till [12] för en bred och omfattande introduktion till fältet. 1 De definitioner vi ger är faktiskt konkreta specialfall av mer abstrakta algebraiska definitioner som ges i [12]. Vi begränsar diskussionen till dessa specialfall eftersom de räcker för våra behov och är lättare att förstå.
Detta är känt för att ha viktiga konsekvenser för de typer av invarianter och generalisering förmåga ett nätverk REF.
Inductive Bias of Deep Convolutional Networks through Pooling Geometry
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}