Att skapa högupplösta, fotorealistiska bilder har varit ett långvarigt mål inom maskininlärning. Nyligen, Nguyen et al. [37] visade ett intressant sätt att syntetisera nya bilder genom att utföra lutningsstigning i det latenta utrymmet i ett generatornätverk för att maximera aktiveringen av en eller flera neuroner i ett separat klassificeringsnätverk. I detta dokument utökar vi denna metod genom att införa ytterligare en tidigare på latent kod, förbättra både provkvalitet och provmångfald, vilket leder till en toppmodern generativ modell som producerar högkvalitativa bilder vid högre upplösning (227 × 227) än tidigare generativa modeller, och gör det för alla 1000 ImageNet kategorier. Dessutom ger vi en enhetlig probabilistisk tolkning av relaterade aktiveringsmaximeringsmetoder och kallar den allmänna klassen av modeller "Plug and Play Generative Networks". PPGNs består av 1) ett generatornätverk G som kan rita ett brett utbud av bildtyper och 2) ett utbytbart "villkor" nätverk C som talar om för generatorn vad man ska rita. Vi demonstrerar generering av bilder betingade på en klass (när C är ett ImageNet eller MIT Places klassificering nätverk) och även betingad på en bildtext (när C är en bildtextning nätverk). Vår metod förbättrar också state of the art of Multifaceted Feature Visualisering [40], som genererar den uppsättning syntetiska ingångar som aktiverar en neuron för att bättre förstå hur djupa neurala nätverk fungerar. Slutligen visar vi att vår modell presterar någorlunda bra på uppgiften att måla bilden. Medan bildmodeller används i detta dokument, metoden är modalitet-agnostic och kan tillämpas på många typer av data. † Detta arbete utfördes mestadels på Geometric Intelligence, som Uber förvärvade för att skapa Uber AI Labs. Figur 1 : Bilder syntetiskt genererade av Plug och Play Generativa Nätverk vid hög upplösning (227x227) för fyra ImageNet klasser. Inte bara är många bilder nästan fotorealistiska, men prover inom en klass är olika.
Införandet av ytterligare ett tidigare nummer på latent kod, Plug and Play Generative Networks (PPGN) REF ritade ett brett spektrum av bildtyper och införde ett ramverk för bildkonditionering.
Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}