De representationer som de djupa neurala nätverken lärt sig är svåra att tolka delvis på grund av deras stora parameterutrymme och de komplexiteter som införs genom deras flerskiktsstruktur. Vi introducerar en metod för att beräkna persistent homologi över den grafiska aktiveringsstrukturen i neurala nätverk, som ger tillgång till de uppgiftsrelevanta understrukturer som aktiveras i hela nätverket för en given inmatning. Detta topologiska perspektiv ger unika insikter i de distribuerade representationer som kodas av neurala nätverk i form av deras aktiveringsstrukturer. Vi visar värdet av detta tillvägagångssätt genom att visa en alternativ förklaring till förekomsten av kontradiktoriska exempel. Genom att studera topologin för nätverksaktiveringar över flera arkitekturer och datauppsättningar, finner vi att kontrarisiva perturbationer inte lägger till aktiveringar som riktar sig till den semantiska strukturen i den kontrarisiva klassen som tidigare hypotes. I stället kan kontradiktoriska exempel förklaras eftersom förändringar i de dominerande aktiveringsstrukturerna som framkallas av den ursprungliga bilden, vilket tyder på att de klassrepresentationer som lärs av djupa nätverk är problematiskt glesa på inmatningsutrymmet.
På samma sätt analyserar författarna till REF den 0-dimensionella persistenthomologiska strukturen av neurala nätverk aktiveringar och finner att denna struktur är nära kopplad till de representationer som används av nätverket för att fatta klassificeringsbeslut.
Characterizing the Shape of Activation Space in Deep Neural Networks
{'venue': '2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA)', 'journal': '2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}