Vi presenterar två klasser av förbättrade estimatorer för ömsesidig information M.X, Y., från prover av slumpmässiga punkter fördelade enligt vissa gemensamma sannolikhetstäthet  på x, y. I motsats till konventionella skattningar baserade på binnings, är de baserade på entropi uppskattningar från k-nearest granne avstånd. Detta innebär att de är dataeffektiva (med k = 1 löser vi strukturer ner till minsta möjliga skalor), adaptiva (upplösningen är högre där data är fler) och har minimal skevhet. Förväntningarna i de underliggande uppskattningarna av entropi beror huvudsakligen på att densiteten inte är enhetlig i den minsta lösta skalan, vilket vanligtvis ger systematiska fel som skalar sig som funktioner av k/N för N-punkter. Numeriskt finner vi att båda familjerna blir exakta för oberoende distributioner, d.v.s. estimatorn M-X, Y-X försvinner (upp till statistiska fluktuationer) om -x, y-X-y. Detta gäller för alla testade marginella fördelningar och för alla dimensioner av x och y. Dessutom ger vi estimatorer för uppsägningar mellan mer än två slumpmässiga variabler. Vi jämför våra algoritmer i detalj med befintliga algoritmer. Slutligen visar vi nyttan av våra skattningar för att bedöma det faktiska oberoendet hos komponenter som erhållits från oberoende komponentanalys (ICA), för att förbättra ICA, och för att uppskatta tillförlitligheten av blind källkod separation.
För att uppskatta ömsesidig information har skattningar baserade på k-NN också föreslagits i REF.
Estimating mutual information.
{'venue': 'Physical review. E, Statistical, nonlinear, and soft matter physics', 'journal': 'Physical review. E, Statistical, nonlinear, and soft matter physics', 'mag_field_of_study': ['Medicine', 'Mathematics', 'Physics']}