Abstract-We härleda den genomsnittliga kvadraten felkonvergensen av kärnan densitet-baserade plug-in estimatorer av ömsesidiga informationsåtgärder mellan två multidimensionella slumpvariabler X och Y för två fall: 1) X och Y är båda kontinuerliga; 2) X är kontinuerlig och Y är diskret. Med hjälp av de härledda räntorna föreslår vi en ensembleskattare av dessa informationsåtgärder för det andra fallet genom att ta en viktad summa av plug-in estimatorer med varierande bandbredder. Den resulterande ensembleestimatorn uppnår den parametriska konvergenshastigheten 1/N när de villkorade densiteterna för de kontinuerliga variablerna är tillräckligt jämna. Såvitt vi vet är detta den första icke-parametriska uppskattningen av ömsesidig information som är känd för att uppnå den parametriska konvergensen i detta fall, som ofta uppstår i tillämpningar (t.ex. Variabelt urval i klassificeringen. Uppskattningen är enkel att implementera eftersom den använder lösningen till en offline konvex optimering problem och enkla plug-in estimatorer. Ensemble estimatorer som uppnår parameterhastigheten härleds också för det första fallet (X och Y är båda kontinuerliga) och ett annat fall: 3) X och Y kan ha någon blandning av diskreta och kontinuerliga komponenter.
I REF föreslogs en icke-parametrisk uppskattning av ömsesidig information med hjälp av en vägd ensemblemetod med en parameterkonvergens på O(1/n).
Ensemble estimation of mutual information
{'venue': '2017 IEEE International Symposium on Information Theory (ISIT)', 'journal': '2017 IEEE International Symposium on Information Theory (ISIT)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}