Abstract-Vi betraktar problemet med att uppskatta LI-avståndet mellan två diskreta sannolikhetsmått P och Q från empiriska data i en nonasymptotisk och stor alfabetsinställning. Vi konstruerar minimax-hastighetsoptimala estimatorer för LI (P, Q) när Q antingen är känt eller okänt, och visar att prestandan hos de optimala estimatorerna med n sampies i huvudsak är den för Maximum Likelihood Estimators (MLE) med n I n sam pies. Därför visar vi att fenomenet ejjjjective sampie storlek utvidgning, upptäckt och diskuterat i Jiao et al. (2015), innehar för detta problem som weIl. Konstruktionen av optimala estimatorer för LI (P, Q) kräver dock nya tekniker och insikter utanför omfattningen av approximationsmetoden för funktionell estimering i. I. INTRODUCTLON Statistiska funktioner används vanligen för att kvantifiera de grundläggande gränserna för uppgiftsbehandling, såsom datakompression (t.ex. Shannon entropy [2] ), dataöverföring (t.ex. Ömsesidig information [2] ), uppskattning och testning (t.ex. KullbackLeibIer divergens), etc. De mäter skillnaderna i motsvarande databehandlingsuppgifter och belyser hur mycket förbättringar man kan förvänta sig utöver de nuvarande moderna metoderna. I detta avseende är det av stort värde att få korrekta uppskattningar av dessa funktioner i olika problem. I detta dokument överväger vi att uppskatta LI-avståndet var- ql, q2,···, qs), som definieras som: s Under hela tiden använder vi den squared felförlusten, dvs. riskfunktionen för en estimator L definieras som den maximala risken för en estimator L, och minimax-risken vid uppskattning av LI (P, Q) definieras, där P, Q ges insamling av sannolikhetsmått P respektive Q, respektive infimum tas över alla möjliga estimatorer L. LI-avståndet är nära relaterat till Bayes-felet, dvs. den grundläggande gränsen, i klassificeringsproblem. Specifikt, för en två-klass cIassification problem, om de tidigare sannolikheterna för varje cIass är lika, då den minsta sannolikheten för fel uppnås med hjälp av den optimala cIassifier ges av där Y E {O, I} anger klassen, och PXIY är klassvillkoral fördelningar. Därför reduceras problemet med att uppskatta L * i detta klassificeringsproblem till att uppskatta LI-avståndet mellan de två class-villkorliga distributionerna PX!y=I, PX!y=o från empiriska data. I den statistiska inlärningsteori litteratur, de flesta arbete på Bayes klassificering feluppskattning behandlar fallet att PX!y=I och PXIY=o är kontinuerliga distributioner, och det visar sig att även i en asymptotic inställning är det mycket svårt att uppskatta denna mängd i detta allmänna kontinuerliga fall. Vi vet faktiskt från [3, avsnitt 8.5] det negativa resultatet att för varje sampie storlek n, någon uppskattning av Bayes fel Ln, och alla E > 0, det finns några Detta negativa resultat visar att man måste titta på speciella classes av klass villkorliga fördelningar för att få konsekventa uppskattningar. I den diskreta miljön förtjänar Valiants och Valiants verk [4] ett särskilt omnämnande. De konstruerade en estimator för LI (P, Q) och visade att när SllnS:S n:S S, det uppnår LI fel vSI(nlnn), och det är den bästa möjliga hastigheten för konstant LI felregim. Det är ganska enkelt att hävda, som vi gör i denna tidning, att den enklaste estimator för LI (P, Q), nämligen pluggning i den empiriska fördelningen Pn, Qn och erhålla LI (Pn, Qn) uppnår LI felfrekvens V SI n för n 2: S. I denna mening verkar den optimala estimator förstora Sample storlek n till n I n i felfrekvensuttrycket. Vi betonar att den observerade effektiva utvidgningen av sampiestorleken här är en annan manifestation av det nyligen upptäckta fenomenet i funktionell uppskattning av objekt med hög dimension. Det har varit arecent våg av studie på funktionell uppskattning av högdimensionella parametrar
....................................... Minimax-frekvenserna för detta problem är för närvarande okända, och det är för närvarande oklart för oss under vilka förhållanden de senaste resultaten från uppskattningen av L 1-avstånd mellan diskreta fördelningar REF kan innebära en förbättrad hastighet lika snabbt som (n log n)
Minimax estimation of the L1 distance
{'venue': '2016 IEEE International Symposium on Information Theory (ISIT)', 'journal': '2016 IEEE International Symposium on Information Theory (ISIT)', 'mag_field_of_study': ['Computer Science']}