I detta arbete utför vi oövervakad inlärning av representationer genom att maximera ömsesidig information mellan en ingång och utgången av en djup neural nätverk kodare. Viktigt är att vi visar att strukturfrågor: att införliva kunskap om lokaliseringen av bidraget till målet kan i hög grad påverka en representations lämplighet för nedströmsuppgifter. Vi kontrollerar ytterligare egenskaperna hos representationen genom att matcha med en tidigare distribution motsträvigt. Vår metod, som vi kallar Deep InfoMax (DIM), överträffar ett antal populära oövervakade inlärningsmetoder och konkurrerar med fullt övervakad inlärning på flera klassificeringsuppgifter. DIM öppnar nya vägar för oövervakat lärande av representationer och är ett viktigt steg mot flexibla formuleringar av representations-lärandemål för specifika mål. Ett centralt mål med djupt lärande är att upptäcka "bra" representationer, och den enkla idé som utforskas här är att träna en representations-lärande funktion (dvs. en kodare) för att maximera den ömsesidiga informationen (MI) mellan dess ingångar och resultat. MI är notoriskt svårt att beräkna, särskilt i kontinuerliga och högdimensionella inställningar. Lyckligtvis, nya framsteg möjliggör effektiv beräkning av MI mellan högdimensionell ingång / output par av djupa neurala nätverk (Belghazi et al., 2018). Vi utnyttjar MI uppskattning för representation lärande, men vi kommer också att visa att, beroende på nedströms uppgift, maximera MI mellan den fullständiga input och kodare utdata (dvs. global MI) är ofta inte tillräckligt för att lära användbara representationer. I stället är strukturen viktig: att maximera den genomsnittliga felprocenten mellan representationen och de lokala regionerna av bidraget kan avsevärt förbättra representationens kvalitet för t.ex. klassificeringsuppgifter, medan global felprocent spelar en starkare roll i förmågan att rekonstruera den fulla inputen med tanke på representationen.
Till exempel, Deep Infomax REF lär sig generaliserade funktioner för bilder genom att maximera MI mellan globala och lokala funktioner.
Learning deep representations by mutual information estimation and maximization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}