Vi hävdar att uppskattningen av ömsesidig information mellan högdimensionella kontinuerliga slumpvariabler kan uppnås genom lutning nedstigning över neurala nätverk. Vi presenterar en ömsesidig information Neural Estimator (Mine) som är linjärt skalbar i dimensionalitet samt i urval storlek, kan tränas genom back-prop, och starkt konsekvent. Vi presenterar en handfull applikationer där MINE kan användas för att minimera eller maximera ömsesidig information. Vi tillämpar MINE för att förbättra kontradiktoriskt utbildade generativa modeller. Vi använder även MINE för att implementera Information Bottneck, tillämpa den på övervakad klassificering; våra resultat visar betydande förbättringar i flexibilitet och prestanda i dessa inställningar.
Däremot presenterar vi en policy gradient algoritm baserad på ömsesidig information neural uppskattning (MINE) REF.
Mutual Information Neural Estimator
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}