Motiveras av tillämpningar till oövervakat lärande, anser vi problemet med att mäta ömsesidig information. Den senaste analysen har visat att naiva kNN-skattningar av ömsesidig information har allvarliga statistiska begränsningar som motiverar mer förfinade metoder. I detta dokument bevisar vi att allvarliga statistiska begränsningar är en naturlig del av alla mätmetoder. Mer specifikt visar vi att alla distributionsfria höga förtroende lägre bunden på ömsesidig information inte kan vara större än O (ln N ) där N är storleken på dataprovet. Vi analyserar också Donsker-Varadhan lägre gräns på KL divergens i synnerhet och visar att, när enkla statistiska överväganden beaktas, kan denna gräns aldrig producera ett högt förtroende värde större än ln N. Även om stora högt förtroende lägre gränser är omöjliga, i praktiken kan man använda estimatorer utan formella garantier. Vi föreslår att man uttrycker ömsesidig information som en skillnad i entropier och använder korsentropi som en entropiskattare. Vi observerar att även om kors-entropi är bara en övre gräns på entropi, kors-entropi uppskattningar konvergera till den sanna kors-entropi i takt med 1/ ε N.
Andra än dragbarhet skäl, valet av målet kan teoretiskt motiveras som att undvika statistiska begränsningar att uppskatta lägre gränser på ömsesidig information REF.
Formal Limitations on the Measurement of Mutual Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}