Vi hävdar att uppskattningen av den ömsesidiga informationen mellan högdimensionella kontinuerliga slumpvariabler är uppnåelig genom lutning nedstigning över neurala nätverk. I detta dokument presenteras en ömsesidig information neural estimator (Mine) som är linjärt skalbar i dimensionalitet såväl som i urvalsstorlek. MIN är bakåtkompatibel och vi bevisar att den är starkt konsekvent. Vi illustrerar en handfull applikationer där MINE framgångsrikt tillämpas för att förbättra egenskapen hos generativa modeller i både oövervakade och övervakade inställningar. Vi tillämpar vårt ramverk för att uppskatta informationshalsen, och tillämpa den i uppgifter relaterade till övervakade klassificeringsproblem. Våra resultat visar på betydande ökad flexibilitet och förbättringar i dessa miljöer.
I REF, Belghazi et al. presentera en ömsesidig information Neural Estimator (Mine) som uppskattar ömsesidig information mellan högdimensionella kontinuerliga slumpvariabler genom lutning nedstigning över neurala nätverk.
MINE: Mutual Information Neural Estimation
{'venue': 'ICML 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}