Generativa kontradiktoriska nätverk (Gans) är en nyligen föreslagen klass av generativa modeller där en generator utbildas för att optimera en kostnadsfunktion som samtidigt lärs av en discriminator. Även om idén om att lära sig kostnadsfunktioner är relativt ny inom området generativ modellering, har inlärningskostnader länge studerats inom kontroll och förstärka lärande (RL) domäner, typiskt för imitation lärande från demonstrationer. Inom dessa områden, lära sig kostnadsfunktionen underliggande observerat beteende är känd som invers förstärkning lärande (IRL) eller invers optimal kontroll. Till en början kan sambandet mellan kostnadsinlärning i RL och kostnadsinlärning i generativ modellering tyckas vara ytligt, men vi visar i detta dokument att vissa IRL-metoder i själva verket är matematiskt likvärdiga med GAN. I synnerhet visar vi en ekvivalens mellan en provbaserad algoritm för maximal entropi IRL och en GAN där generatorns densitet kan utvärderas och ges som en ytterligare input till discriminatorn. Intressant nog är maximal entropi IRL ett specialfall av en energibaserad modell. Vi diskuterar tolkningen av GANs som en algoritm för att träna energibaserade modeller, och relaterar denna tolkning till andra nya arbeten som syftar till att ansluta GANs och EBMs. Genom att formellt lyfta fram kopplingen mellan GAN, IRL och EBM hoppas vi att forskare i alla tre samhällena bättre kan identifiera och tillämpa överförbara idéer från en domän till en annan, särskilt för att utveckla mer stabila och skalbara algoritmer: en stor utmaning inom alla tre domänerna.
REF visade en likvärdighet mellan maximal entropi IRL och GAN.
A Connection between Generative Adversarial Networks, Inverse Reinforcement Learning, and Energy-Based Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}