Generativa adversariala nätverk (GAN) ger en algoritmisk ram för att konstruera generativa modeller med flera tilltalande egenskaper: de kräver inte en sannolikhetsfunktion för att specificeras, endast ett genereringsförfarande; de ger prover som är skarpa och övertygande; och de tillåter oss att utnyttja vår kunskap om att bygga mycket exakta neurala nätverk klassificerare. Här utvecklar vi vår förståelse av GANs i syfte att skapa en rik syn på detta växande område av maskininlärning-att bygga kopplingar till de olika uppsättningen av statistiskt tänkande i detta ämne, varav mycket kan vinnas genom ett ömsesidigt utbyte av idéer. Vi ramar GANs inom det bredare landskapet av algoritmer för lärande i implicita generativa modeller-modeller som endast specificerar en stokastisk procedur med vilken att generera data-och relatera dessa idéer till modelleringsproblem inom relaterade områden, såsom ekonometri och ungefärlig Bayesian beräkning. Vi utvecklar sannolikhetsfria inferensmetoder och lyfter fram hypotestester som en princip för lärande i implicita generativa modeller, med vilka vi kan härleda den objektiva funktion som används av GAN, och många andra relaterade mål. Testningssynpunkten riktar vårt fokus mot det allmänna problemet med uppskattning av densitet-förhållande och densitet-skillnad. Det finns fyra metoder för jämförelse av densitet, varav en är en lösning med hjälp av klassificeringar för att skilja verkliga från genererade data. Andra tillvägagångssätt som divergensminimering och ögonblicksmatchning har också utforskats, och vi sammanställer dessa åsikter för att bilda en förståelse när det gäller förhållandet mellan dem och den bredare litteraturen, och lyfter fram vägar för framtida prospektering och korspollinering. * Lika bidrag 1 DeepMind, London, Storbritannien. Korrespondens till: Shakir Mohamed <shakir@google.com>, Balaji Lakshminarayanan <balajiln@google.com>. Det är användbart att göra en åtskillnad mellan två typer av probabilistiska modeller: föreskrivna och implicita modeller (Diggle och Gratton, 1984). Föreskrivna probabilistiska modeller är de som ger en explicit parametrisk specifikation av fördelningen av en observerad slumpmässig variabel x, med angivande av en log-likelihood-funktionslogg q  på (x) med parametrar  på. De flesta modeller i maskininlärning och statistik är av denna form, oavsett om de är toppmoderna klassificeringar för objektigenkänning, komplexa sekvensmodeller för maskinöversättning, eller finkorniga spatio-temporala modeller som spårar spridningen av sjukdom. Alternativt kan vi specificera implicita probabilistiska modeller som definierar en stokastisk procedur som direkt genererar data. Sådana modeller är den naturliga metoden för problem i klimat och väder, populationsgenetik och ekologi, eftersom den mekanistiska förståelsen av sådana system kan användas för att direkt skapa en datasimulator, och därmed modellen. Det är just därför att implicita modeller är mer naturliga för många problem som de är av intresse och betydelse. Implicit generativ modeller använder en latent variabel z och omvandla den med hjälp av en deterministisk funktion G. som kartor från R m → R d med hjälp av parametrar. Sådana modeller är bland de mest grundläggande modeller, t.ex., många av de grundläggande metoderna för att generera icke-uniforma slumpmässiga variationer bygger på enkla implicita modeller och one-line transformationer (Devroye, 2006). I allmänhet anger implicita generativa modeller en giltig densitet på utgångsutrymmet som bildar en effektiv sannolikhetsfunktion: där q(z) är en latent variabel som ger den yttre källan till slumpmässighet och ekvation (2) är definitionen av den omvandlade densiteten som derivat av den kumulativa fördelningsfunktionen. När funktionen G är väldefinierad, till exempel när funktionen är inverterbar, eller har dimensioner m = d med lätt karakteriserade rötter, återfår vi den välkända regeln för omvandlingar av sannolikhetsfördelningar. Vi är intresserade av att utveckla mer allmänna och flexibla implicita generativa modeller där funktionen G är en ickelinjär funktion med d > m, specificerad av djupa nätverk.
Vi finner också starka kopplingar mellan simulatorbaserad inferens och lärande i implicita generativa modeller REF, såsom GANs, med en betydande mängd korspollinering mellan dessa områden.
Learning in Implicit Generative Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}