Djupa neurala nät har orsakat en revolution i många klassificeringsuppgifter. En relaterad pågående revolution-också teoretiskt inte förstått-berör deras förmåga att fungera som generativa modeller för komplicerade typer av data såsom bilder och texter. Dessa modeller tränas med hjälp av idéer som variations autoencoders och Generative Adversarial Networks. Vi tar en första skärning på att förklara expressiviteten av flerskiktsnät genom att ge ett tillräckligt kriterium för en funktion för att vara ungefärlig genom ett neuralt nätverk med n dolda lager. En viktig ingrediens är Barrons teorem [Bar93], vilket ger ett Fourier-kriterium för att tillnärma en funktion genom ett neuralt nätverk med ett dolt lager. Vi visar att en sammansättning av n funktioner som uppfyller vissa Fourier villkor ("Barron funktioner") kan approximeras av en n + 1 lager neurala nätverk. För sannolikhetsfördelningar, detta översätts till ett kriterium för en sannolikhetsfördelning att vara ungefärlig i Wasserstein avstånd-ett naturligt mått på sannolikhetsfördelningar-av ett neuralt nätverk tillämpas på en fast basfördelning (t.ex. multivariat gaussian). Att bygga upp det senaste arbetet med lägre band, ger vi också en exempelfunktion som visar att sammansättningen av Barron funktioner är mer uttrycksfull än Barron fungerar ensam.
REF visade att kompositioner av dessa Barron funktioner kunde approximeras väl genom djupa neurala nätverk.
On the ability of neural nets to express distributions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}