Att förstå de extremt varierande, komplexa form och venation karaktärer av angiosperm blad är ett av de mest utmanande problem i botanik. Maskininlärning erbjuder möjligheter att analysera ett stort antal exemplar, att upptäcka nya blad funktioner av angiosperm kläder som kan ha fylogenetisk signifikans, och att använda dessa tecken för att klassificera okända. Tidigare metoder för datorseende har främst inriktats på identifiering av blad på artnivå. Det är fortfarande en öppen fråga om det är möjligt att lära sig och klassificera bland större evolutionära grupper såsom familjer och klasser, som vanligtvis innehåller hundratusentals arter var och uppvisar många gånger den naturliga variationen av enskilda arter. Här testade vi om en datorseendealgoritm kunde använda en databas med 7,597 bladbilder från 2,001 släkten för att lära sig egenskaper hos botaniska familjer och beställningar och sedan klassificera nya bilder. Bilderna är av rena blad, prover som är kemiskt blekta, sedan fläckade för att avslöja vördnad. Maskininlärning användes för att lära sig en kodbok med visuella element som representerar bladform och vördnadsmönster. Det resulterande automatiserade systemet lärde sig att klassificera bilder i familjer och order med en framgångsfrekvens många gånger större än slumpen. Av direkt botaniskt intresse, svaren av diagnostiska funktioner kan visualiseras på bladbilder som värmekartor, som sannolikt kommer att framkalla erkännande och evolutionär tolkning av en mängd nya morfologiska tecken. Med hjälp av datorseende är bladen redo att ge många nya bidrag till systematiska och paleobotanska studier. Blad arkitektur  på blad venation  på datorn vision  på sparse kodning  på paleobotany L tak är de mest rikliga och ofta fossiliserade växtorgan. Men att förstå de evolutionära signalerna av angiosperm bladarkitektur (form och venation) är fortfarande en betydande, till stor del omedgörlig utmaning i botanik och paleobotany (1-3). Bladen uppvisar en enorm variation bland hundratusentals arter av angiosperm, och ett enda blad kan innehålla många tusentals blodåder. Många levande angiospermkläder som stöds av DNA-data har inte konsekvent igenkända blad eller ens reproduktiva tecken (4); kladornas fossila register saknas ofta eller är dåligt kända (5) men är förmodligen "dolda i öppen syn" bland de miljontals fossila blad kurerade på museer. Bladfossil är oftast bevarade i isolering, saknar standard botaniska ledtrådar såsom arrangemang, organisation, stipler, trikomer och färg (6). Dessutom skulle förbättrad förmåga att identifiera levande lövverk avancera fält botanik eftersom de flesta växter blomma och frukt sällan (7, 8). Den enda större undersökningen av blad arkitektonisk variation är mer än 40 y gamla (1), långt före omorganisationen av angiosperm phylogeny baserat på molekylära data (9, 10). Traditionella blad arkitektoniska metoder (11, 12) är extremt arbetsintensiva, hämmar detaljerade analyser av bladvariationer över angiospermer; följaktligen har de senaste studierna varit begränsade i taxonomisk och karaktär täckning (3, 13, 14). Moderna maskininlärning och datorseende metoder erbjuder en transformativ möjlighet, vilket möjliggör den kvantitativa bedömningen av bladfunktioner i en skala aldrig tidigare på distans möjligt. Många betydande datasikte bidrag har fokuserat på blad identifiering genom att analysera blad-form variation bland arter (15-19), och det finns gemenskapsintresse i att närma sig detta problem genom crowd-sourcing av bilder och maskin-identifikation tävlingar (se www.imageclef.org). Ändå har mycket få studier använt sig av blad venation (20, 21), och ingen har försökt automatiserad inlärning och klassificering över artnivån som kan avslöja tecken med evolutionär betydelse. Det finns en utvecklande litteratur om utvinning och kvantitativa analyser av helblads venation nätverk (22-25). Dessa tekniker har dock oftast inte tagit itu med identifieringsproblem, och de är metodiskt begränsade till nästan oskadade blad, som är sällsynta i naturen och särskilt i fossila rekord. Trots de många svårigheterna med att analysera bladarkitekturen identifierar erfarna botaniker regelbundet blad till arter och högre taxonomiska kategorier snabbt och korrekt, ofta utan användning av verbalt definierade tecken ("leaf gestalt"). Här försöker vi automatisera bladgesalt, med hjälp av datorseende och maskininlärning på en databas med flera tusen rensade blad bilder för att testa om en algoritm kan generalisera över olika släkten och arter för att lära, känna igen och avslöja funktioner av stora angiosperm klädda. Denna utmaning skiljer sig helt från den att identifiera arter, som typiskt praktiseras i datorseende fält (se ovan diskussion), eftersom bladvariationen inom en art är nästan obetydlig jämfört med den bland arter inom en familj eller ordning, som ses i exempel bladpar från olika familjer (Fig. 1).................................................................. Icke desto mindre har generationer av botanister och paleobotanister betonat igenkännbarheten av bladegenskaper hos familjen och högre Det botaniska värdet av angiospermbladsform och vördnad ("bladarkitektur") är välkänt, men den häpnadsväckande komplexiteten och variationen av blad har hindrat ansträngningarna att få tillgång till denna underutnyttjade resurs. Denna utmaning är central för paleobotany eftersom de flesta angiosperm fossiler är isolerade, oidentifierade blad. Vi visar här att en datorseende algoritm tränas på flera tusen bilder av olika rensade blad framgångsrikt lär blad-arkitekturella funktioner, sedan kategoriserar nya exemplar till naturliga botaniska grupper över artnivån. Systemet producerar också värmekartor för att visa platser för många nya, informativa blad tecken på ett visuellt intuitivt sätt. Med hjälp av datorseende är bladens systematiska och paleobotaniska värde redo att öka betydligt. Författarens bidrag: P.W., S.Z., S.C. och T.S. Projekterad forskning; P.W., S.Z., S.C., S.A.L., S.L.W. och T.S. Utförd forskning; P.W., S.Z., S.C. och T.S. bidrog med nya reagens/analytiska verktyg; P.W., S.Z., S.C., S.A.L., S.L.W. och T.S. analyserade data; och P.W., S.Z. och T.S. skrev tidningen. Författarna förklarar ingen intressekonflikt. Denna artikel är en PNAS Direkt Inlämning. För att träna systemet (se Material och Metoder för detaljer) har vi granskat och manuellt förberett 7,597 bilder av vouchered, rensat angiosperm blad från 2,001 fylogenetiskt olika genera och ca. 6 949 arter från hela världen, och vi uppdaterade nomenklaturen till Angiosperm Phylogeny Group (APG) III-systemet (10). Rensade blad (Fig. 1) är monterade prover vars laminära vävnader har kemiskt förändrats och sedan färgats för att möjliggöra en noggrann studie av venationsmönster utöver bladkonturerna. Viktigt, vi gjorde inte, förutom i svåra fall (Material och metoder), utesluta blad med vanliga brister såsom bubblor eller kristallisering i monteringsmediet, bladskador (insekt, svamp, mekaniska), eller bildfel (dåligt fokus, bakgrund artefakter). Fyra uppsättningar bilder behandlades för analyserna: de från i) 19 familjer och ii) 14 beställningar med minsta urvalsstorlekar på 100 bilder vardera och de från iii) 29 familjer och iv) 19 beställningar med minsta urvalsstorlekar på 50 bilder vardera. I alla analyser användes slumpmässiga halvor av bilduppsättningarna för att träna systemet och den andra halvan för att testa, och detta förfarande upprepades 10 gånger. Noggrannhetsåtgärder motsvarar medelvärden och SD för dessa tio upprepningar. Datorseendealgoritm (se Material och Metoder för detaljer; Bild. S1 ) använde en sparsam kodningsmetod, som lär sig en kodbok (Fig. 2 ) från utbildning bilder och använder den för att representera en blad bild som en linjär kombination av ett litet antal element (27). Liknande metoder har tillämpats på en rad olika problem (28-30). Av intresse här när det gäller "leaf gestalt" visade seminellt arbete inom visionsvetenskap (27) att utbildning av en sparsam kodningsmodell på bilder av naturliga scener resulterade i mottagliga fält som liknar de av däggdjurens visuella cortex. Vår metod används Scale Invariant Feature Transform (SIFT) visuella deskriptorer (31) extraheras från enskilda platser på träningsblad bilder för att lära sig en kodbok ( Bild. 2 ) och sedan modellera varje plats som en linjär kombination av kodboken element. Support Vector Machine (SVM) (32), en maskininlärningsklassare, utbildades på de poolade maximikoefficienterna för varje kodbokselement och tillhörande taxonomiska etiketter (familjer eller order). Utbildningen resulterade i en klassificeringsfunktion som användes för att förutsäga familjär och ordinal identifiering av nya bilder. Värmekartor över visualiserade diagnostiska svar genererades direkt på enskilda blad bilder (Fig. 1 )............................................................................................................... Såvitt vi vet har ingen tidigare metod använt denna kraftfulla kombination av verktyg för identifiering av blad, använd rensade blad eller analyserade bladvördnad för tusentals arter, försökt lära sig och diskriminera egenskaper hos evolutionära linjer över artnivån, eller direkt visualiserade informativa nya tecken. Klassificeringsnoggrannheten var mycket hög (Fig. 3 och bild S2 ), särskilt med tanke på de välkända utmaningarna med att identifiera blad till högre taxa visuellt och avsiktlig inkludering av många ofullkomliga exemplar och bilder av låg kvalitet. Noggrannhet för de 19 familjerna med ≥100 bilder var 72,14 ± 0,75%, ca. 13 gånger bättre än slumpmässig slump (5,61 ± 0,54%; noggrannhet definieras som det stora medelvärdet och SD för de 10 försöksmedelvärdena för de diagonala värdena för konfusionsmatriserna, som i bild. 3)............................................................... Således har algoritmen framgångsrikt generaliserats över några tusen mycket varierande släkten och arter för att känna igen större evolutionära grupper av växter (se även Material och metoder, Framgång i generalisering av lärande över taxonomiska kategorier och samlingar). Signifikant, systemet gjorde höga noggrannheter (>70%) för flera familjer som vanligtvis inte anses känna igen från isolerade blad, inklusive Combretaceae, Phyllanthaceae och Rubiaceae. Av stort biologiskt intresse illustrerar våra värmekartor direkt bladegenskaper som är diagnostiska för klassificering ( Bild. 1 ; utökad värmekarta utdata finns på Figshare, dx.doi.org/10.6084:m9. figshare.1521157). Noggrannhet på ordinal nivå var också många gånger större än slumpen. Detta resultat återspeglar delvis erkännandet av de ingående familjerna snarare än generaliseringen mellan familjer för att känna igen order; dock, även efter testning för denna effekt, fanns det fortfarande en betydande signal för generalisering (Material och Metoder). På första principer, generalisering över släkten för att erkänna familjer bör vara mer framgångsrik, som ses här, än generalisering över familjer för att skilja klasser. Genera inom en familj är oftast mycket närmare släkt med varandra, och därmed sannolikt att vara fenotypiskt liknande, än familjerna i en ordning. Hypotetiskt sett skulle ett ökat antal väl utvalda familjer i riktade order möjliggöra ett bättre erkännande av beställningar och generalisering mellan familjer (se även bild). S3 ).............................................................................................................. Artefakter som är specifika för vissa bilduppsättningar bidrog med buller men övervanns till stor del (Material och Metoder), vilket bådade väl för att tillämpa systemet på en rad nya och utmanande datauppsättningar. För en jämförelse klassificerade vi bilderna från de 19 familjerna i Bild. 3A via holistisk analys av bladform ensam. Vi jämförde den välkända formkontextalgoritmen (15) med vår glesa kodningsalgoritm på utdragna bladkonturer. För familj klassificering vid 100-bilden minimum, form sammanhang utförs över slump (12,44 ± 0,74% vs 5,61 ± 0,54% slump resultat) men under gles kodning av samma konturer (27,94 ± 0,85%), och båda gjorde långt under gles kodning av bilder med venation (ca. 72 %; Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Dessa resultat hjälper till att visa den diagnostiska betydelsen av både blad venation och form. Betydelsen av blad venation är sedan länge etablerad (26). Resultaten från bladen motbevisar emellertid den allmänt hållna uppfattningen, som man kan se i många av de hundratals dokument som nämns i den utvidgade bibliografin över ref. 33, att bladform är främst utvalda av klimatet och att phylogeny spelar en försumbar roll. Alla våra resultat bekräftar hypoteserna att högre växttaxa innehåller många diagnostiska bladtecken och att datorer kan förvärva, generalisera och använda denna kunskap. Förutom potentialen för datorstödd igenkänning av levande och fossila blad representerar vår algoritm ett tilltalande, nytt förhållningssätt till bladarkitektur. Konventionell bladarkitektur (12) sysselsätter för närvarande ca. 50 tecken för att beskriva en rad tecken som vanligtvis syns över stora områden av ett exemplar, Bild. 2............................................................... Lärd visuell kodbok (n = 1,024 kodelement) som erhållits från en slumpmässig uppdelning av bildbiblioteket. Tio uppdelningar gjordes för att beräkna de rapporterade noggrannheterna (Tabell 1). Några codebook element är moiré prickar från bakgrundsområden av skannade boksidor (se Material och Metoder). Exakt visualisera kodboken är ett olöst problem, och vi använde en beräknings approximation (38) för att producera denna siffra. Wilf m.fl. PNAS 22 mars 2016 vol. - 113, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, inte, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej 12  på 3307 från mönster av form och stor vördning till kategorier av fin venation och marginell konfiguration. Poängsättningen av dessa karaktärer kräver enorma manuella ansträngningar, och deras systematiska betydelse är dåligt förstådd. I skarp kontrast, de lärda kodbok element här koda små blad funktioner, mestadels motsvarar tidigare obeskrivna orienteringar och korsningar av venation och blad marginaler (Fig. 2) ; kodböcker och diagnostiska signifikansvärden (Fig. 1) genereras automatiskt. Våra värmekartor ( Bild. 1 och utökade utgångar på dx.doi.org/ 10.6084/m9.figshare.1521157) ger en trove av ny information för att utveckla botaniska tecken som troligen har fylogenetisk betydelse samt för visuell träning (förbättrad "gesalt"). De mörkröda fläckarna på värmekartorna indikerar bladplatser med de mest betydande diagnostiska svaren på kodbokselement, vilket ger många ledtrådar för den konventionella studien av tidigare förbisedda mönster. Diagnostiska egenskaper verkar inträffa oftast vid tertiära och högre ordning ven korsningar, liksom längs marginalerna och tillhörande fin venation av både tandade och tandade blad. En noggrann undersökning av värmekartorna visar på variation bland familjer. Till exempel är svaren på bladtänder starkast längs basala tandflanker i Fagaceae och Salicaceae, jämfört med tandapik i Rosaceae; i Ericaceae finns svaren på tänder och på minimala marginella variationer som inte bildar tänder. Svaren på marginalerna tenderar att koncentreras till median tredjedel av laminan i Annonaceae och Combretaceae jämfört med distalhalvan i Fabaceae, Phyllanthaceae och Rubiaceae. Tertiary-vein korsningar är betydande över grupper, med till synes högre känslighet vid korsningar med primära vener i Fagaceae, kanske återspeglar tendensen till zigzag midveins i den familjen, med sekundära och intersekundära vener i Apocynaceae och Betulaceae, och med andra tertiärer och finare vener i flera familjer såsom Anacardiaceae. På motsvarande sätt är många Anacardiaceae kända för att ha en ovanlig tertiär venation (13, 34). Många av de analyserade familjerna har många arter med visuellt särskiljande, i allmänhet holistiska egenskaper som tillämpas allmänt i fältidentifiering (1, 7, 8). Exempel är akuta basala sekundära vener och låg vendensitet i Lauraceae, palmat venation i Malvaceae, förekomsten av multipla, kraftigt kurviga primära vener i Melasomataceae, de distinkta perimarginala venerna hos Myrtaceae och de karakteristiska (1) tänderna hos Betulaceae, Fagaceae, Rosaceae och Salicaceae. Men de små bildregioner som används här mestadels förbigick dessa mönster, och med hjälp av större bildregioner (genom nedsampling av bilder) avsevärt minskad noggrannhet (Tabell 1). Icke desto mindre kommer de nya finskalade funktionerna förmodligen att förbättra förståelsen av konventionella tecken. Till exempel, bladmarginalerna av melasomataceae visar diagnostiska svar och i allmänhet följa trenderna i de välkända, starkt kurviga primära vener. Myrtaceaes perimarginala venkonfigurationer verkar ganska responsiva, särskilt den lilla-studerade (35) ultimata vördningen. Bladtänderna ligger närmare fläckarna och är ofta "heta", men bladtändernas responsiva områden är svåra att relatera till standardklassifikationerna av tandtyp (1), som nu är mogna för revidering. Sammanfattningsvis, tillsammans med demonstrationen att datorer kan känna igen stora kläder av angiospermer från bladbilder och de lovande utsikterna för dator-assisterade blad klassificering, har våra resultat öppnat en kran av nya, värdefulla botaniska tecken. Med ett ökat bildbibliotek och tester på välbevarade fossil kommer analyser från värmekartadata sannolikt att uppnå de långvariga målen att kvantifiera blad-fylogenisk signal över angiospermer och systematiska placeringar av ett stort antal fossila blad. Cleared Leaf Dataset. Vi samlade en datauppsättning av 7,597 granskade bilder av rensade blad (eller broschyrer för sammansatta blad), som representerar nästan lika många arter, från 2,001 släkten och ca. 6 949 arter som samlats runt om i världen (Dataset S1). Bilderna representerar mestadels woody angiosperms och kommer från tre herbarium-vouchered källor: (i) Jack A. Wolfe USGS National Cleared Leaf Collection, inrymd på Smithsonian Institution, 5 063 bilder (cleared leavesdb.org); (ii) våra skanningar av E. P. Klucking Leaf Fig. 3............................................................... Förvirringsmatriser för familj (A) och ordning (B) klassificering vid 100-bilden minimum per kategori. Färger anger andelen bilder från de faktiska kategorierna till vänster som algoritmen klassificeras i de förutsagda kategorierna längs botten av varje graf (se även bild. S2 och Dataset S1). Baserat på en enda randomiserad teststudie (av totalt 10) på hälften av bilduppsättningen, efter träning på den andra halvan. Observera att de provstorlekar (N) som visas längs vänster sida motsvarar hälften av det totala antalet behandlade eftersom provstorlekarna representerar antalet prov som använts, vilket är hälften av det totala antalet prov som finns tillgängliga för varje utbildnings-/provdelning. Siffror längs horisontella axlar visar den procentandel som är korrekt identifierad. Till exempel i övre vänstra hörnet identifierades 36 % av 61 Anacardiaceae blad (22 av de 61 bladen) korrekt till den familjen. Identitetsnoggrannhet och SD i 10 studier visar försumbar variation (se även berkeley.edu/science/clearedleaf.php). Bilder som användes var de med vitt utrymme närvarande runt lövet, mer än ca. 85% av bladen synliga, midvein inte vikta eller diskontinuöst brutna, och åtminstone någon tertiär venation synliga. Viktigt är att vi inte undersökte andra vanliga källor till buller såsom tårar, veck i lamina, insekts- eller svampskador, och bubblor eller kristallisering i monteringsmediet. Många bilder från Klucking-serien var av särskilt låg kvalitet och hade ett moirémönster från utskriften. Urvalet av taxonomiska grupper var helt opportunistiskt, baserat på tillgängliga resurser. Den resulterande samlingen är dock mycket varierande fylogenetiskt eftersom Wolfe, Klucking och Axelrod var och en försökte maximera sin täckning av släkten inom familjer. Vi ansåg att familjer med minst 100 bilder och slumpmässigt dela upp bilderna från varje familj så att ena halvan användes för att träna klassifieraren och den andra för att testa systemet (slumpvis halvering användes som en konservativ uppdelning förfarande; vi noterar att öka den relativa andelen av utbildningsbilder ytterligare ökade noggrannhet i alla scenarier). Denna cutoff gav 19 familjer utvalda med minst 100 bilder vardera (Fig. 3A) : Anacardiaceae, Annonaceae, Apocynaceae, Betulaceae, Celastraceae, Combretaceae, Ericaceae, Fabaceae, Fagaceae, Lauraceae, Malvaceae, Melasomataceae, Myrtaceae, Passifloraceae, Phyllanthaceae, Rosaceae, Rubiaceae, Salicaceae och Sapindaceae. Vi försökte också en lägre cutoff av 50 bilder per familj, lägga till 10 ytterligare familjer (Fig. S2A) : Bignoniaceae, Euphorbiaceae, Meliaceae, Menispermaceae, Moraceae, Oleaceae, Proteaceae, Rhamnaceae, Rutaceae och Sapotaceae. Vi upprepade slumpmässig-halvering procedur 10 gånger och här rapportera den genomsnittliga noggrannheten och SD över alla 10 splits (Fig. 3 och bild Ursprunglig hänvisning till den nationella lagstiftningen: S2............................................................................................................. Vi genomförde ett liknande protokoll för klassificering på ordinal nivå, vilket gav 14 APG III order utvalda på 100 bildminimum (Fig. 3B) : Celastrales, Ericales, Fabales, Fagales, Gentianales, Lamiales, Laurales, Magnoliales, Malpighiales, Malvales, Myrtales, Ranunculales, Rosales, och Sapindales. Vi försökte också en lägre cutoff på 50 bilder per beställning, lägga till ytterligare fem order (Fig. S2B) : Cornales, Oxalidales, Proteales, Santalales och Saxifragales. Vi förberedde varje bild manuellt för att fokusera bearbetningskraften på bladbladen och för att minimera oinformativ variation. Vi roterade bilder för att ha vertikal bladorientering, beskärde dem till en ungefär enhetlig vitrymdskant, anpassade dem till gråskala med grovt konsekvent kontrast, avlägsnade petioles, och raderade de flesta bakgrundsobjekt. Ställer av alla förberedda bilder är tillgängliga på begäran från P.W. Alla bilder har ändrats så att deras maximala bredd eller höjdmått var 1 024 pixlar, vilket bibehåller det ursprungliga bildförhållandet. Denna resolution erbjöd den optimala balansen mellan prestanda och datorkostnader (tabell 1). Vi uppdaterade generiska namn med hjälp av flera standardkällor och reviderade familjära och ordinala uppdrag med hjälp av APG III (10). Den resulterande samlingen (Dataset S1) innehåller bilder på 182 angiospermfamiljer, varav 19 med ≥100 bilder vardera och totalt 5 314 bilder (Fig.  3A)................................................................. Vi betraktade varje familj som en självständig kategori i datorseendesystemet, oberoende av dess förhållande till de andra grupperna, vilket testar den traditionella idén (1, 7, 36) som lämnar inom angiosperm familjer har visuellt liknande egenskaper trots den enorma morfologiska variationen bland ingående släkten och arter. Datorseende Algoritm. Vi analyserade bladarkitektur med en sparsam kodning inlärningsmetod (kod i Dataset S2). Denna metod syftar till att representera bildytor med linjära kombinationer av ett litet antal element (27) från en visuell kodbok som lärs av träningsbilder. I vårt sätt att närma oss (Fig. S1), anpassad från ref. 28, SIFT visuella deskriptorer (31) först extraherades från alla databasbilder. Dessa 128-dimensionella deskriptorer beräknades från små (16 × 16 pixel) bildlappar som provtas tätt (med ett steg på 6 pixlar motsvarande en 10-pixel överlappning mellan provlappar). Denna process resulterade i cirka 2 000 till 30 000 SIFT-deskriptorer som genererades per bild, beroende på bildstorlek. Vi utförde sedan 10 slumpmässiga uppdelningar av bilden in i utbildning och testa halvor som beskrivs ovan. För varje split, algoritmen slumpmässigt provade 200.000 SIFT deskriptorer från utbildningen uppsättning för att lära sig en överfullständig kodbok av d = 1,024 element (Fig. 2) använda verktygslådan SPAMS (Spams-devel.gforge.inria.fr). Därefter använde vi en punktvis linjär transform till både tränings- och testbilder: för en given plats inom en bild modellerades motsvarande SIFT-deskriptor som en linjär kombination av de inlärda kodbokselementen. Efter detta steg, varje bild plats blev associerad med en uppsättning d koefficienter, var och en motsvarar en annan kodbok element. På grund av den glesa begränsningen, på vilken plats som helst är endast några få av dessa koefficienter icke-noll. Vi genomförde därefter en flerskalig rumslig pyramid (28), varigenom ett maximum beräknades för varje koefficient över alla platser, inom varje cell av en pyramid av rutnät placerade över hela bilden på tre olika skalor (1 × 1, 2 × 2 och 4 × 4 rutnät, totalt 21 celler). För varje indatabild resulterade denna maximala samlingsoperation i d max koefficientvärden för var och en av de 21 cellerna. Konkatering av dessa 21 värden för var och en av d = 1,024 koefficienter gav en 21,504-dimensionell vektor för varje ingångsbild. SVM (32) tränades sedan med hjälp av funktionen vektorer från en utbildning uppsättning bladbilder och deras tillhörande taxonomiska etiketter (familjer eller order). Den resulterande inlärda klassificeringsfunktionen applicerades sedan för att förutsäga familje- eller orderidentifieringar för en testuppsättning blad från deras funktionsvektorer. Här använde vi LIBSVM-programvaran (https://csie.ntu.edu.tw/ skacjlin/ libsvm), med hjälp av en multiklassinställning med en radiell funktionskärna. Chansnivån bedömdes med hjälp av slumpmässiga permutationer av de taxonomiska etiketterna på utbildningsbilderna. För att bedöma maskinsynsystemets robusthet utvärderade vi i vilken utsträckning algoritmen lyckas med att generalisera igenkännandet mellan taxonomiska kategorier jämfört med att grunda sina beslut främst på att upptäcka förekomsten eller frånvaron av ingående underkategorier som den har lärt sig [dvs., (i) familjer inom order och (ii) släkten inom familjer]. Vi tog upp denna fråga genom att göra om analyserna med och utan systematisk separation av de olika underkategorierna mellan varje utbildning vs. testhalva, med 10 upprepningar som i de viktigaste experimenten. För att testa det första fallet, generalisering mellan familjer för att upptäcka order, genomförde vi ett experiment där vi valde ut alla order som var och en hade minst två familjer med minst 50 bilder styck, nämligen Ericales, Fagales, Gentianales, Lamiales, Malpighiales, Myrtales, Rosales och Sapindales. Vi eliminerade alla återstående familjer med färre än 50 bilder vardera och tränade sedan och testade systemet i två scenarier. För det första valdes hälften av bladbilderna från varje beställning slumpmässigt ut för att ingå i utbildningspoolen, oberoende av medlemskap i familjen, medan den andra halvan användes i testbassängen, vilket gjorde det möjligt för familjen att överlappa varandra (korrekta orderigenkänning: 67,49 ± 0,88 %; slumpnivå 12,38 ± 0,77%). För det andra valdes hälften av familjerna från varje beställning slumpmässigt ut för utbildning och de återstående familjerna för testning, vilket utesluter överlappningar (noggrannhet för orderigenkänning: 26,52 ± 2,33%; slumpnivå: 12,31 ± 1,72%). Det faktum att systemets noggrannhet var mycket större för det första än det andra scenariot tyder på jämförelsevis låg framgång i generalisering mellan familjer, men framgångsgraden var fortfarande mer än dubbelt så hög som för slumpen. Således, ordinal klassificering i maskinvisionssystemet har ett betydande bidrag från generalisering på familjenivå, men även med dessa små antal familjer per ordning, det finns fortfarande en betydande signal för generalisering över familjer. För att testa det andra fallet, generalisering över släkten för att känna igen familjer, genomförde vi ett liknande experiment där vi valde de familjer som vardera innehåller minst två släkten som (i) var och en har minst 25 bilder och (ii) tillsammans totalt minst 100 bilder. De resulterande sex familjerna var Combretaceae, Ericaceae, Lauraceae, Myrtaceae, Phyllanthaceae och Salicaceae. Efter att ha eliminerat kvarvarande släkten med färre än 25 bilder vardera, tränade och testade vi systemet i två scenarier. För det första provade man slumpmässigt hälften av bilderna från varje familj för utbildning, oberoende av släkte, medan den andra halvan användes för testning, vilket gjorde det möjligt för generiska överlappningar (noggrannhet i familjens igenkänning: 88,01 ± 0,93%; slumpnivå: 16,37 ± 3,09%). För det andra erhölls utbildnings- och testproverna genom att man slumpvis valde ut hälften av släktena för utbildningspoolen och de som fanns kvar i testbassängen; med andra ord tilläts ingen överlappning av släktena mellan utbildnings- och testhalvorna (noggrannhet i familjeigenkänning: 70,59 ± 3,73 %; slumpnivå: 17,37 ± 1,83 %). Det faktum att noggrannheten var större för det första scenariot men förblev mycket betydligt över slumpen Analyser i denna studie gjordes alla på 1 024-pixel upplösning (Fig. 3)............................................................... Resolutionen är pixlar längs den längsta dimensionen. Osäkerhet är en hållbar utveckling. Wilf m.fl. PNAS 22 mars 2016 vol. - 113, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, inte, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej 12  på 3309 för den andra tyder på att systemet uppvisar robust generalisering över släkten för att känna igen familjer, och är till exempel inte beroende av välprovade släkten som Acer (maples, Sapindaceae) och Quercus (oaks, Fagaceae). Den högre möjligheten till identifieringsfel för släkten än för familjer på de ursprungliga proverna partiska mot detta positiva resultat, vilket bekräftar konventionell visdom när det gäller den allmänna identiteten hos familjer samt potentialen för maskinseende att känna igen finare taxonomiska nivåer. Vi undersökte också i vilken utsträckning maskinvisionssystemet kan utnyttja eventuella förutfattade meningar i samband med enskilda samlingar, t.ex. moiré-tryckmönstret i Klucking-bilderna. Vi utförde ett experiment där vi valde alla order som hade minst 50 bilder vardera i både Klucking och Wolfe samlingar, nämligen Laurales, Magnoliales, Malpighiales, Malvales och Myrtales. Vi tränade och testade systemet i tre scenarier och följde samma metoder som vi använde i huvudexperimenten. Först tränade vi på Klucking och testade på Wolfes bildsamling (noggrannhet i orderigenkänning: 37,44 ± 0,66%; slumpnivå: 19,40 ± 3,53%). För det andra tränade vi på Wolfe och testade på Klucking samlingen (noggrannhet för orderigenkänning: 41.12 ± 0,94%; slumpnivå: 20.04 ± 5.00%). För det tredje kombinerade vi de två källorna och provade slumpmässigt hälften av bilderna från varje beställning för utbildning och hälften för testning (noggrannhet för orderigenkänning: 64,68 ± 2,65 %; slumpnivå: 18,96 ± 3,78 %). Den högre noggrannheten i scenario 3 tyder på att det finns fördomar (t.ex. bildbakgrund) som kan fångas upp av systemet. Den betydande generaliseringen av systemet i scenarierna 1 och 2, särskilt när man tar hänsyn till den övergripande mycket lägre bildkvaliteten i Klucking samlingen, tyder dock på att dessa fördomar endast står för en liten del av den totala systemnoggrannheten. Riktmärke med hjälp av Shape Context. Form-kontextalgoritmen har framgångsrikt använts för klassificering av blad på artnivå (15). Vi testade både form-kontext och sparse-kodning algoritmer på blad konturer extraherade från samma bild delmängd som används för 19 familjen, 100-bild-minimum scenario visas i Bild. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Bladen segmenterades automatiskt genom att Berkeley konturer detektionssystemet (37) kombinerades med andra ordningens Gaussiska derivatfilter, och motsvarande slutna gräns fylldes sedan för att erhålla förgrundsmasker. Form-kontext funktioner extraherades sedan från blad silhuetten, efter närmandet av Ling och Jacobs (15). Bladkonturer provtogs jämnt vid 128 landmärken, och form-kontext deskriptorer extraherades vid varje provtagningspunkt, med hjälp av källkod som finns på nätet (www. dabi.temple.edu/ och hbling/code_data.htm). Detta förfarande ledde till en 96 × 128-dimensionell visuell representation (formkontext) för varje bladbild. Matchning mellan två blad form sammanhang erhölls genom dynamisk programmering, där matchningskostnader används för att mäta likhet. De parvisa likheterna användes sedan för att härleda en Kernelmatris som matades till en SVM, som utbildades och testades med samma pipeline som för den sparsamma modellen som beskrivs i Materials and Methods, Computer Vision Algorithm. ERKÄNNANDEN. Vi tackar A. Ung och J. Kissell för bildförberedelser, anonyma granskare för användbara kommentarer, Y. Guo för programvara,
SIFT-deskriptorer används för olika jordbrukstillämpningar såsom klassificering av bladarter REF.
Computer vision cracks the leaf code
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Medicine']}