Ömsesidig information (MI) är ett ofta använt mått på beroende mellan två slumpmässiga variabler som används i informationsteori, statistik och maskininlärning. Nyligen har flera MI-skattningar föreslagits som kan uppnå parametrisk MSE-konvergens. De flesta av de tidigare föreslagna estimatorerna har dock en hög beräkningskomplexitet på minst O(N2). Vi föreslår en enhetlig metod för empirisk icke-parametrisk uppskattning av allmän MI-funktion mellan slumpmässiga vektorer i R d baserat på N i.d. Prover. Den minskade komplexiteten MI estimator, kallas ensemble beroende grafen estimator (EDGE), kombinerar randomiserade lokala hashing (LSH), beroende grafer, och ensemble bias-minskning metoder. Vi bevisar att EDGE uppnår optimal beräkningskomplexitet O(N ), och kan uppnå den optimala parametern MSE hastighet av O(1/N ) om densiteten är d gånger differentiable. Såvitt vi vet är EDGE den första icke-parametriska MI-estimatorn som kan uppnå parametriska MSE-hastigheter med linjär tids komplexitet. Vi illustrerar nyttan av EDGE för analysen av informationsplanet (IP) i djupt lärande. Med hjälp av EDGE kastar vi ljus över en kontrovers om huruvida kompression egenskap information flaskhals (IB) faktiskt innehar för ReLu och andra upprätande funktioner i djupa neurala nätverk (DNN).
Ref föreslår dock ensembleberoende estimator (EDGE) för att uppskatta MI till stöd för påståendet om komprimeringsfasen.
Scalable Mutual Information Estimation Using Dependence Graphs
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}