Vanligen använda beroende åtgärder, såsom linjär korrelation, korskorrelogram, eller Kendall's, kan inte fånga den fullständiga beroendestrukturen i data om inte strukturen är begränsad till linjär, periodisk, eller monoton. Ömsesidig information har ofta använts för att fånga den fullständiga beroendestrukturen inklusive icke-linjärt beroende. Nyligen har flera metoder föreslagits för MI-uppskattning, såsom kärndensitetsuppskattningar, k-nearest-grannar, Edgeworth approximation av differentialentropi och adaptiv partitionering av XY-planet. De kvarstående luckorna i den nuvarande litteraturen har dock hindrat förmågan att effektivt automatisera dessa metoder, vilket i sin tur har orsakat begränsade adoptioner av tillämpningsgemenskaperna. Denna studie försöker ta itu med en viktig lucka i litteraturen specifikt, utvärderingen av ovanstående metoder för att välja den bästa metoden, särskilt när det gäller deras robusthet för korta och bullriga data, baserat på jämförelser med de teoretiska MI skattningar, som kan beräknas analytiskt, samt med linjär korrelation och Kendalls. Här ser vi mindre datastorlekar, såsom 50, 100 och 1000, och i denna studie karakteriserar vi 50 och 100 datapunkter som mycket korta och 1000 som korta. Vi anser att en bredare klass av funktioner, särskilt linjära, kvadratiska, periodiska och kaotiska, förorenade med artificiellt buller med varierande buller-till-signalförhållanden. Våra resultat indikerar att KDE är det bästa valet för mycket korta data på relativt höga buller-till-signalnivåer medan KNN:s prestanda är det bästa för mycket korta data vid relativt låga bullernivåer samt för korta data konsekvent över bullernivåer. Dessutom verkar den optimala utjämningsparametern för en Gaussisk kärna vara det bästa valet för KDE:s medan tre närmaste grannar verkar vara optimala för KNN:s. I situationer där de ungefärliga datastorlekarna är kända i förväg och undersökande dataanalys och/eller domänkunskap kan användas för att på förhand ge insikter i buller-till-signalförhållandet, leder resultaten i pappret till en väg framåt för att automatisera processen för MI-uppskattning.
Resultat från Ref i deras uppskattning av global genomsnittlig MI baserat på mycket korta data indikerar att FKDE visar den bästa prestandan för mycket bullriga data, medan prestanda för KNN, är optimal för data med låga bullernivåer.
Relative performance of mutual information estimation methods for quantifying the dependence among short and noisy data
{'venue': 'Physical review. E, Statistical, nonlinear, and soft matter physics', 'journal': 'Physical review. E, Statistical, nonlinear, and soft matter physics', 'mag_field_of_study': ['Mathematics', 'Medicine']}