Det senaste arbetet har försökt förstå beteendet hos neurala nätverk genom att jämföra representationer mellan lager och mellan olika utbildade modeller. Vi undersöker metoder för att jämföra neurala nätverks representationer baserade på kanonisk korrelationsanalys (CCA). Vi visar att CCA tillhör en familj av statistik för att mäta multivariat likhet, men att varken CCA eller någon annan statistik som är invariant till invertible linjär transformation kan mäta meningsfulla likheter mellan representationer av högre dimension än antalet datapunkter. Vi inför ett likhetsindex som mäter förhållandet mellan representationsmatriser och inte lider av denna begränsning. Detta likhetsindex motsvarar centrerad kärnjustering (CKA) och är också nära anslutet till CCA. Till skillnad från CCA kan CKA på ett tillförlitligt sätt identifiera korrespondenser mellan representationer i nätverk som utbildats från olika initieringar.
Canonical korrelation analyse (CCA) REF användes för att mäta likheten mellan representationer av neurala nätverk.
Similarity of Neural Network Representations Revisited
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Biology']}