Att uppskatta och optimera ömsesidig information (MI) är kärnan i många problem inom maskininlärning, men att begränsa MI i höga dimensioner är en utmaning. För att etablera dragbara och skalbara mål, har det senaste arbetet vänt sig till variationsbegränsningar parameteriserade av neurala nätverk, men relationer och kompromisser mellan dessa gränser är fortfarande oklart. I detta arbete förenar vi den senaste tidens utveckling inom en enda ram. Vi finner att den befintliga variationen lägre gränser försämrar när MI är stor, uppvisar antingen hög partiskhet eller hög varians. För att ta itu med detta problem inför vi en kontinuum av lägre gränser som omfattar tidigare gränser och flexibelt avlastar partiskhet och varians. På högdimensionella, kontrollerade problem karakteriserar vi empiriskt fördomarna och variationen i gränserna och deras gradienter och demonstrerar effektiviteten hos våra nya gränser för uppskattning och representationsinlärning.
REF föreslår en kontinuum av lägre gränser och kan flexibelt avräkna partiska och varians av MI-skattningarna.
On Variational Bounds of Mutual Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}