Abstract-Vi föreslår en direkt skattningsmetod för Rényi och f-divergence åtgärder baserat på en ny graf teoretisk tolkning. Antag att vi får två provuppsättningar X och Y, respektive med N och M prover, där η := M/N är ett konstant värde. Med tanke på k-nearest granne (k-NN) graf av Y i den gemensamma datamängden (X, Y ), visar vi att den genomsnittliga powered ratio av antalet X-poäng till antalet Y-poäng bland alla k-NN-punkter är proportionell mot Rényi divergens av X och Y densiteter. En liknande metod kan också användas för att uppskatta f-divergensmått. Vi härleder bias och varianser, och visar att för klassen av γ-Hölder smidiga funktioner, uppskattaren uppnår MSE hastighet av O N −2γ/(γ+d). Dessutom, genom att använda en viktad ensemble uppskattning teknik, för densitet funktioner med kontinuerliga och avgränsade derivat av upp till order d, och några extra villkor vid stöd inställd gräns, vi härleda en ensemble estimator som uppnår parametrisk MSE hastighet av O(1/N ). Våra kalkylatorer är mer lätthanterliga än andra konkurrerande estimatorer, vilket gör dem tilltalande i många praktiska tillämpningar.
En K-NNG-baserad uppskattning av Rényi- och f-divergensåtgärder har föreslagits i Ref.
Direct Estimation of Information Divergence Using Nearest Neighbor Ratios
{'venue': 'In Information Theory (ISIT), 2017 IEEE International Symposium on (pp. 903-907). IEEE', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}