Variantional inference är en paraplyterm för algoritmer som kastar Bayesian inference som optimering. Klassiskt, variantal inference använder Kullback-Leibler divergens för att definiera optimeringen. Även om denna skillnad har använts i stor utsträckning, kan den efterföljande approximationen lida av oönskade statistiska egenskaper. För att komma till rätta med detta granskar vi på nytt variabla slutsatser från dess rötter som ett optimeringsproblem. Vi använder operatörer, eller funktioner funktioner, för att utforma olika mål. Som ett exempel, vi utformar ett varierat mål med en Langevin-Stein operatör. Vi utvecklar en svart låda algoritm, operatör variationsinferens ( ), för att optimera alla operatörsmål. Det är viktigt att operatörerna gör det möjligt för oss att göra tydliga statistiska och beräkningsmässiga avvägningar för olika slutsatser. Vi kan karakterisera olika egenskaper av variationsmål, såsom mål som tillåter data subsampling-tillåta slutsatser att skala till massiva data-samt mål som tillåter variationsprogram-en rik klass av bakre approximationer som inte kräver en dragbar densitet. Vi illustrerar fördelarna med en blandningsmodell och en generativ bildmodell.
Ett exempel är operatörens variabla slutsats REF som använder Langevin-Stein-operatören för att utforma ett nytt variationsmål.
Operator Variational Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}