I den senaste litteraturen har man betonat den viktiga roll som djupet spelar för det djupa lärandet. I detta dokument hävdar vi att en tillräcklig bredd på ett feedforward-nät är lika viktig genom att besvara den enkla frågan under vilka villkor beslutsregionerna i ett neuralt nätverk är anslutna. Det visar sig att för en klass av aktiveringsfunktioner inklusive läckande ReLU, neurala nätverk med en pyramidal struktur, som är inget lager har mer dolda enheter än ingångsdimensionen, producerar nödvändigtvis anslutna beslutsregioner. Detta innebär att ett tillräckligt brett dolt lager är nödvändigt för att säkerställa att nätverket kan producera frånkopplade beslutsregioner. Vi diskuterar konsekvenserna av detta resultat för uppbyggnaden av neurala nätverk, särskilt relationen till problemet med kontradiktorisk manipulation av klassificatorer.
REF visar att ett tillräckligt brett dolt skikt är nödvändigt för att skapa avgränsade beslutsregioner.
Neural Networks Should Be Wide Enough to Learn Disconnected Decision Regions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}