Vi introducerar en metod för att använda djupa neurala nätverk för att avskriva kostnaden för inferens i modeller från familjen som induceras av universella probabilistiska programmeringsspråk, upprätta en ram som kombinerar styrkor av probabilistiska programmering och djupt lärande metoder. Vi kallar det vi gör "sammanställning av inferens" eftersom vår metod omvandlar en definitionsspecifik specifikation av ett inferensproblem i form av ett probabilistiskt program skrivet i ett universellt programmeringsspråk till ett utbildat neuralt nätverk betecknat i ett neuralt nätverksspecifikationsspråk. När vid testtid detta neurala nätverk matas observationsdata och utförs, det utför ungefärlig inference i den ursprungliga modellen som anges av det probabilistiska programmet. Vårt utbildningsmål och inlärningsprocedur är utformade så att det utbildade neurala nätverket kan användas som ett förslag distribution i en sekventiell betydelse provtagning inference motor. Vi illustrerar vår metod för blandningsmodeller och Captcha lösning och visar betydande hastigheter i effektiviteten av inferens.
I synnerhet, REF generalisera ramverket för probabilistisk programmering, och kan automatiskt generera och träna ett neuralt förslag nätverk med tanke på en godtycklig modell som beskrivs i ett probabilistiskt program.
Inference Compilation and Universal Probabilistic Programming
{'venue': 'In Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017), 54:1338--1348. Proceedings of Machine Learning Research. Fort Lauderdale, FL, USA: PMLR', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}