Att uppskatta antalet osynliga arter är ett viktigt problem i många vetenskapliga strävanden. Dess mest populära formulering, infördes av Fisher et al. [Fisher RA, Corbet AS, Williams CB (1943) J Animal Ecol 12.1:42−58], använder n prover för att förutsäga antalet U av hittills osynliga arter som skulle observeras om t · n nya prover samlades in. Av stort intresse är det största förhållandet t mellan antalet nya och befintliga prover för vilka U kan förutsägas korrekt. I seminala verk, Good and Toulmin [Good I, Toulmin G (1956) Biometrika 43(102):45−63] konstruerade en spännande estimator som förutspår U för alla t ≤ 1. Därefter föreslog Efron och Thisted [Efron B, Thisted R (1976) Biometrika 63(3):435−447] en ändring som empiriskt förutsäger U även för några t > 1, men utan bevisbara garantier. Vi härleder en klass av estimatorer som bevisligen förutsäger U hela vägen upp till t-log n. Vi visar också att detta intervall är det bästa möjliga och att estimatorns medel-kvadratfel är nära optimal för alla t. Vår metod ger en påvisbar garanti för Efron-Thisted estimator och dessutom en variant med starkare teoretisk och experimentell prestanda än befintliga metoder på en mängd olika syntetiska och verkliga dataset. Uppskattarna är enkla, linjära, beräkningseffektiva och skalbara till massiva datauppsättningar. Deras prestanda garanterar att de är enhetliga för alla distributioner, och gäller för alla fyra standardmodeller som ofta används inom olika vetenskapliga discipliner: multinomial, Poisson, hypergeometric, och Bernoulli produkt. artuppskattning (extrapolion model) icke-parametrisk statistik Uppskattning av pecies är ett viktigt problem inom ett stort antal vetenskapliga discipliner. Till en början användes den för att uppskatta den ekologiska mångfalden (1-4), därefter användes den för att bedöma ordförrådets storlek (5, 6), databasattributets variation (7) och lösenordsinnovation (8). Nyligen har det funnit ett antal biovetenskapliga tillämpningar, inklusive uppskattning av bakteriell och mikrobiell mångfald (9-12), immunreceptormångfald (13), komplexitet genomisk sekvensering (14) och osynliga genetiska variationer (15). Alla tillvägagångssätt till problemet innehåller en statistisk modell, där den mest populära är "extrapoleringsmodellen" som infördes av Fisher, Corbet och Williams (16) 1943. Den antar att n oberoende prov X n  på X 1,. .., X n samlades in från en okänd distribution p, och kräver att uppskatta antalet hittills osynliga symboler som skulle observeras om m ytterligare prover X n+m n + 1 X n+1,. .., X n+m samlades in från samma distribution. År 1956 förutsade Good and Toulmin (17) U av en fascinerande estimator som sedan dess har fascinerat statistiker och ett brett spektrum av vetenskapsmän lika (18). Till exempel, i Stanford University Statistics Department broschyr (19), utgiven i början av 1990-talet och något förkortad här, Bradley Efron krediterade problemet och dess eleganta lösning med att tända sitt intresse för statistik. Som vi snart skall se fortsatte Efron, tillsammans med Ronald Thisted, att ge betydande bidrag till detta problem. Detta exempel utvärderar Good‐Toulmin-estimatorn för specialfallet där de ursprungliga och framtida proverna är av samma storlek, nämligen m = n. För att beskriva estimatorns allmänna form behöver vi bara en modicum av nomenklatur. För X 7 = bananer, 0 1 = 2 och 0 2 = 0 3 = 1, och i Corbets tabell, 0 1 = 118 I början av 1940-talet hade naturforskaren Corbet tillbringat 2 y fånga fjärilar i Malaya. Vid slutet av den tiden byggde han en tabell (se nedan) för att visa hur många gånger han hade fångat olika fjärilsarter. 118 arter var till exempel så sällsynta att Corbet bara hade fångat ett exemplar av var och en, 74 arter hade fångats två gånger var, etc. Corbet återvände till England med sitt bord och frågade R. A. Fisher, den störste av alla statistiker, hur många nya arter han skulle se om han återvände till Malaya för ytterligare 2 y fångst. Denna fråga verkar omöjlig att besvara, eftersom den hänvisar till en kolumn i Corbets tabell som inte existerar, kolumnen "0". Fisher gav ett intressant svar som senare förbättrades på [av Good och Toulmin (17)]. Antalet nya arter du kan förvänta dig att se i 2 y ytterligare fångst är 118 − 74 + 44 − 24 +. . − 12 + 6 = 75. Många vetenskapliga tillämpningar som sträcker sig från ekologi till genetik använder ett litet prov för att uppskatta antalet olika element, kända som "art", i en population. Klassiska resultat har visat att n-prov kan användas för att uppskatta antalet arter som skulle observeras om provstorleken fördubblades till 2n. Vi får en klass av enkla algoritmer som utökar uppskattningen hela vägen till n log n prover, och vi visar att detta är också det största möjliga estimeringsintervallet. Därför, statistiskt sett, är den ordspråkliga fågeln i handen värd log n i busken. De föreslagna estimatorerna överträffar de befintliga på flera syntetiska och verkliga datauppsättningar som samlats in inom olika discipliner.
Trots att det finns flera estimatorer för det osedda artproblemet (till exempel Good-Toulmin estimator och dess förlängningar REF ), är det problem som behandlas här annorlunda i en viktig aspekt.
Optimal prediction of the number of unseen species
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Mathematics', 'Medicine']}