Under de senaste åren har det gjorts anmärkningsvärda framsteg när det gäller generativa modeller som ger övertygande bilder och andra metoder. En delad komponent i många kraftfulla generativa modeller är ett dekodernätverk, ett parametriskt djupt neuralt nät som definierar en generativ fördelning. Exempel inkluderar variationella autoencoders, generativa kontrariska nätverk, och generativt ögonblick matchande nätverk. Tyvärr kan det vara svårt att kvantifiera dessa modellers prestanda på grund av intractability av log-likelihood uppskattning, och inspektion prover kan vara vilseledande. Vi föreslår att använda Annealed Importance Sample för att utvärdera log-likelihoods för dekoder-baserade modeller och validera dess noggrannhet med hjälp av dubbelriktade Monte Carlo. Utvärderingskoden finns på https:// github.com/tonywu95/eval_gen. Med hjälp av denna teknik analyserar vi prestandan hos dekoderbaserade modeller, effektiviteten hos befintliga log-likelihood estimatorer, graden av övermontering, och i vilken utsträckning dessa modeller missar viktiga lägen i datadistributionen.
Vi utvärderade effekten av loglikviditeten hos testdata, beräknad med hjälp av Annealed Importance Sampling (AIS) REF.
On the Quantitative Analysis of Decoder-Based Generative Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}