Vi betraktar icke-parametrisk uppskattning av L2, Renyi-α och Tsallis-α skillnader i kontinuerliga fördelningar. Vårt tillvägagångssätt är att konstruera estimatorer för särskilda integrala funktioner av två densiteter och omvandla dem till divergens estimatorer. För de integrala funktionerna baseras våra skattningar på korrigeringar av en preliminär insticksestimator. Vi analyserar konvergenshastigheterna för våra estimatorer och visar att parameterhastigheten n −1/2 kan uppnås när densiteternas jämnhet är båda minst d/4 där d är dimensionen. Vi härleder också minimax lägre gränser för detta problem som bekräftar att s > d/4 är nödvändigt för att uppnå n −1/2 konvergensgraden. Vi bekräftar våra teoretiska garantier med ett antal simuleringar.
Däremot underskattar vår estimator densiteten och konvergerar med en långsammare hastighet av O n −β/(β+d) när β < d (och parameterhastigheten O n −1/2 när β ≥ d), men följer en exponentiell koncentrationsojämlikhet, vilket inte är känt för estimators av REF.
Nonparametric Estimation of Renyi Divergence and Friends
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}