Defocus oskärpa är nästan alltid närvarande i naturliga bilder: Objekt på bara ett avstånd kan vara perfekt fokuserade. Bilder av objekt på andra avstånd är suddiga av en mängd beroende på elev diameter och lins egenskaper. Trots att defocus är av stor beteendemässig, perceptuell och biologisk betydelse, är det okänt hur biologiska system uppskattar defocus. Med tanke på en uppsättning naturliga scener och egenskaperna hos visionssystemet, visar vi från första principer hur man optimalt uppskattar defokusering på varje plats i varje enskild bild. Vi visar för det mänskliga visuella systemet att högprecision, opartiska uppskattningar kan erhållas under naturliga visningsförhållanden för plåster med detekterbara kontraster. Uppskattningarnas höga kvalitet är förvånande med tanke på de naturliga bildernas heterogenitet. Dessutom kvantifierar vi den grad i vilken den teckenförtydelse som ofta tillskrivs defocus löses genom monokroma avvikelser (andra än defocus) och kromatiska avvikelser; kromatiska avvikelser löser fullständigt tecknens tvetydighet. Slutligen visar vi att enkla rumsliga och spatiokromatiska mottagliga fält extraherar informationen optimalt. Tillvägagångssättet kan anpassas till alla miljövisionssystem parning: naturliga eller konstgjorda, djur eller maskin. Således ger det en principiell allmän ram för att analysera den psykofysik och neurofysiologi av defocus estimering i arter över hela djurriket och för att utveckla optimal bild-baserad defocus och djup estimering algoritmer för beräkningsvision system. optik  på sensorprovtagning  på Bayesian statistik  på djupet perception  med autofokus I n ett stort antal djur, börjar synen med linssystem som fokuserar och defokuserar ljuset på de retinala fotoreceptorerna. Linser fokuserar ljuset perfekt på bara ett avstånd, och naturliga scener innehåller objekt på många avstånd. Således är defocus information nästan alltid närvarande i bilder av naturliga scener. Defocus information är avgörande för många naturliga uppgifter: djup och skala uppskattning (1, 2), boende kontroll (3, 4), och ögontillväxt reglering (5, 6). Dock är lite känt om de beräkningar visuella system använder för att uppskatta defocus i bilder av naturliga scener. Datorernas visions- och ingenjörslitteratur beskriver algoritmer för defocusuppskattning (7, 8). De kräver dock vanligtvis samtidiga multipla bilder (9-11), speciella linsöppningar (11, 12) eller ljus med kända mönster projicerade på miljön (9). Mammans visuella system saknar vanligtvis dessa fördelar. Således kan dessa metoder inte fungera som rimliga modeller för defocus uppskattning i många visuella system. Även om defocus-uppskattning bara är ett problem som synsystemen står inför, har få skattningsproblem ett bredare tillämpningsområde. Visionforskare har utvecklat modeller för hur defocus används som en signal till djup och har identifierat stimulansfaktorer som driver boende (biologisk autofokusering). Neurobiologer har identifierat defocus cues och transkription faktorer som utlöser ögontillväxt, en betydande bidragande orsak till utvecklingen av närsynthet (5). Jämförande fysiologer har etablerat boende roll i rovdjur beteende över hela djurriket, i arter så olika som kameleont (13) och bläckfisk (14). Ingenjörer har utvecklat metoder för att autofokusera kameralinser och automatiskt uppskatta djup från defocus över en bild. Det finns dock ingen allmänt accepterad formell teori för hur defocus information bör extraheras från enskilda naturliga bilder. Avsaknaden av en sådan teori utgör en betydande teoretisk klyfta. Här beskriver vi en principiell metod för att uppskatta defokusering i små regioner av enskilda bilder, med tanke på en utbildning uppsättning naturliga bilder, en vågoptik modell av linssystemet, en sensor array, och en specifikation av buller och bearbetning ineffektivitet. Vi börjar med att överväga ett visionssystem med diffraktion-och defocusbegränsad optik, en sensor matris känsliga endast för en våglängd av ljus, och sensorbuller överensstämmer med mänskliga detektionströsklar. Vi överväger då mer realistiska synsystem som inkluderar humana monokroma avvikelser, mänskliga kromatiska avvikelser och sensorer som liknar mänskliga fotoreceptorer. En målregions defokus definieras som skillnaden mellan linssystemets strömstyrka och den effekt som krävs för att få målregionen i fokus, där ΔD är defokus, D-fokus är den aktuella effekten och D-målet är den effekt som krävs för att avbilda målet kraftigt, uttryckt i dioptrar (1/m). Målet är att uppskatta ΔD i varje lokal region av en bild. Uppskattning defocus, liksom många visuella uppskattning uppgifter, lider av "invers optik" problemet: Det är omöjligt att med säkerhet avgöra, från bilden ensam, om bilden suddig beror på defocus eller någon egenskap av scenen (t.ex. dimma). Defocus uppskattning lider också av en tecken tvetydighet: Under vissa förhållanden, punktmål på samma dioptriska avstånd närmare eller längre än fokus avståndet avbildas identiskt. Det finns dock många begränsningar som kan göra en lösning möjlig. Tidigare arbete har inte tagit ett integrativt tillvägagångssätt som utnyttjar alla dessa begränsningar. Informationen för defokusering bestäms gemensamt av egenskaperna hos naturliga scener, det optiska systemet, sensormatrisen och sensorbuller. Ingången från en naturlig scen kan representeras av en idealiserad bild Iðx; λ ska som ger utstrålningen på varje plats x 1⁄4 ðx; y på planet av sensormatrisen, för varje våglängd λ. Ett optiskt system försämrar den idealiserade bilden och kan representeras av en punktspridd funktion psf ðx; λ; ΔD och ger den rumsliga fördelningen av ljuset över sensormatrisen som produceras av ett punktmål för våglängden λ och defocus ΔD. Givarmatrisen representeras av en våglängdskänslighetsfunktion s c ðλ ska och en rumslig provtagningsfunktion samp c ðx ska för varje klass av sensor c. Kombinera dessa faktorer ger det rumsliga mönstret av respons i en given klass av sensor, där * representerar 2D-konvolution i x. Buller och bearbetning ineffektivitet sedan korrumpera dessa sensorsvar. Målet är att uppskatta defocus från de bullriga sensorsvaren i tillgängliga sensorklasser. Den första faktorn som avgör defocus information är den statistiska strukturen av indata bilder från naturliga scener. Denna statistik måste bestämmas genom empirisk mätning. Den mest exakta metoden skulle vara att mäta fullständig utstrålning funktioner Iðx; λ på en hyperspektral kamera. Men välfokuserade, kalibrerade digitala fotografier användes som approximationer till full utstrålningsfunktioner. Detta tillvägagångssätt är tillräckligt exakt för detta ändamål (SI Methods and Fig. S1); i själva verket är det att föredra eftersom hyperspektral bilder ofta förorenas av rörelse oskärpa. Åttahundra 128 × 128 pixel inmatningsplåster slumpvis provtagning från 80 naturliga scener som innehåller träd, buskar, gräs, moln, byggnader, vägar, bilar, etc.; 400 användes för utbildning och de andra 400 för testning (Fig. 1A)................................................................................................ Nästa faktor är det optiska systemet, som kännetecknas av den punktspridda funktionen. Termen för den punktspridda funktionen i Eq. 2 kan utvidgas för att göra de faktorer som bestämmer dess form tydligare, psf ðx; λ; aðz; λ ska; W ðz; λ; ΔD ska; [3] där aðz; λ ska ange form, storlek och transmittans för elevöppningen, och W ðz; λ; ΔD ska vara en vågavvikelsefunktion, som beror på position z i bländarens plan, ljusvågen, defocus-nivån och andra avvikelser som linssystemet har infört (15). Bländarfunktionen bestämmer effekten av diffraktion på bildkvaliteten. Vågavvikelsefunktionen bestämmer nedbrytningar i bildkvalitet som inte kan hänföras till diffraktion. Ett perfekt linssystem (dvs. begränsat endast av diffraktion och defocus) omvandlar ljus från en punkt på ett objekt till en konvergerande sfärisk vågfront. Vågavvikelsefunktionen beskriver hur den faktiska konvergerande vågfronten skiljer sig från en perfekt sfärisk vågfront vid varje punkt i elevöppningen. Människans elev är cirkulär och dess minsta diameter under ljusa dagsljusförhållanden är 2 mm (16); denna elev form och storlek antas i hela papperet. Observera att en 2-mm elev är konservativ eftersom defocus information ökar (djup-av-fokus minskar) när elevens storlek ökar. Nästa faktor är sensormatrisen. Två sensorsystem beaktades: en matris med en enda sensorklass som endast är känslig för 570 nm och en matris med två sensorklasser med den rumsliga provtagnings- och våglängdskänsligheten för den mänskliga långvågslängden (L) och kortvågslängden (S) kottar (17). (Ett system som endast är känsligt för en våglängd kommer att vara okänsligt för kromatiska avvikelser.) Mänsklig foveal koner prov av näthinnan bild vid 128 prover / grad; denna hastighet antas genom hela papperet. Således har 128 × 128 pixel inmatningsplåster en visuell vinkel av 1 grad. Den sista faktorn som avgör defokuseringsinformation är den kombinerade effekten av fotonbuller, systembuller och ineffektivitet vid bearbetning. Vi representerar denna faktor i vår algoritm genom att tillämpa en tröskel som fastställts utifrån mänskliga psykofysiska detektionströsklar (18). (För de analyser som följde fann vi att tillämpningen av en tröskel har en nästan identisk effekt på bullret.) Den föreslagna beräkningsmetoden bygger på det välkända faktum att defokus påverkar det rumsliga Fourier spektrumet av sensorsvar. Här anser vi endast amplitudspektra (19), även om metoden kan generaliseras till att inkludera fasspektra. Det finns två steg i tillvägagångssättet: (i) Upptäck de rumsliga frekvensfilter som är mest diagnostiska av defocus och (ii) bestämma hur man använder filtersvaren för att få kontinuerlig defocus uppskattningar. Ett perfekt linssystem försvagar indatabildens amplitudspektrum lika i alla riktningar. För att uppskatta de rumsliga frekvensfiltren är det därför rimligt, även om det inte krävs, att i genomsnitt gå över orienteringen. Bilda. 1B visar hur rumsliga frekvensamplituder moduleras av olika magnituder av defocus (dvs. moduleringsöverföringsfunktioner). Bilda. 1C visar effekten av defokusering på amplitudspektrumet av en provad näthinnebild patch; högre rumsliga frekvenser blir mer försvagad när defocus magnitud ökar. Den grå gränsen representerar detektionströskeln på vår algoritm. För en viss bildlapp skulle formen på spektrumet ovanför tröskeln göra det enkelt att uppskatta hur stor defokuseringen är. Den stora variationen av lokala amplitudspektrum i naturliga bilder gör dock uppgiften svår. Därför söker vi filter anpassade till rumsliga frekvensfunktioner som är optimalt diagnostiska av nivån av defocus, med tanke på variationen i naturliga bild fläckar. För att upptäcka dessa filter använder vi en nyligen utvecklad statistisk inlärningsalgoritm som kallas noggrannhetsmaximeringsanalys (AMA) (20). Så länge algoritmen inte fastnar i lokala minima, finner den Bayes-optimala funktionsmått (i rankordning) för att maximera noggrannheten i en given identifieringsuppgift (se http:// jburge.cps.utexas.edu/research/Code.html för Matlab implementation av AMA). Vi tillämpade denna algoritm till uppgiften att identifiera defocus nivå, från en diskret uppsättning av nivåer, av prov retinal bild fläckar. Antalet diskreta nivåer har valts för att möjliggöra noggrann kontinuerlig uppskattning (SI Methods). Specifikt, en slumpmässig uppsättning naturliga inmatningsplåster passerades genom en modell linssystem på defocus nivåer mellan 0 och 2,25 dioptrar, i 0.25-diopter steg, och sedan provtagning av sensormatrisen. Varje provade bild patch konverterades sedan till en kontrastbild genom att subtrahera Burge och Geisler och dividera med medelvärdet. Därefter visades kontrastbilden med en upphöjd cosinus (0,5 grader på halva höjden) och en snabb-Fourier transformerad. Slutligen beräknades och normaliserades loggen över dess radialt genomsnittliga squared amplitud-spektrum (power) till ett medelvärde av noll- och vektorstorleken på 1,0. [Loggtransform användes eftersom den nästan utjämnar standardavvikelsen (SD) för amplituden i varje radial bin (Fig. Ursprunglig hänvisning till den nationella lagstiftningen: S2............................................................................................................. Andra transformer som utjämnar variabilitet, såsom frekvensberoende vinstkontroll, ger jämförbar prestanda.] Fyra tusen normaliserade amplitudspektra (400 naturliga ingångar × 10 defokusnivåer) utgjorde träningssetet för AMA. Bilda. 2A visar de sex mest användbara defocusfiltren för ett synsystem med diffraktions- och defocusbegränsad optik och sensorer som endast är känsliga för 570 nm ljus. Filtren har flera intressanta funktioner. För det första fångar de det mesta av den relevanta informationen; ytterligare filter tillför lite till den totala noggrannheten. För det andra ger de bättre prestanda än filter baserade på huvudkomponenter analys eller matchade mallar (Fig. S3).................................................................. För det tredje, de är relativt smidig och kan därför genomföras genom att kombinera några enkla, center-surround mottagliga fält som de som finns i näthinnan eller primära visuella cortex. För det fjärde är filterenergin koncentrerad till 5–15 cykler per frekvensintervall (cpd), vilket liknar det intervall som är känt för att driva människor (4-8 cpd) (21-23). AMA-filtren kodar information i lokala amplitudspektrum som är relevanta för att uppskatta defokusering. Bayesian dekoder inbyggd i AMA algoritmen kan dock endast användas med träning stimuli, eftersom den dekoder behöver tillgång till medelvärdet och variansen av varje filters svar på varje stimuli (20). Med andra ord hittar AMA bara de optimala filtren. Nästa steg är att kombinera (poola) filtersvaren för att uppskatta defokusering i godtyckliga bildfixar, med godtycklig defokusering. Vi har en standardstrategi. För det första beräknas den gemensamma sannolikhetsfördelningen för filtersvar på naturliga bildplåster för defocusnivåerna i träningssetet. För varje defocus nivå, filtersvaren passar med en Gaussian genom att beräkna provet medelvärde och kovariansmatris. Bilda. 2B visar den gemensamma fördelningen av de två första AMA-filtersvaren för flera nivåer av defokusering. Bilda. 2C visar konturytor av de monterade Gaussians. För det andra, med tanke på den gemensamma fördelningen (som är sexdimensionella, en dimension för varje filter), defocus uppskattningar erhålls med en viktad summation formel där ΔD j är en av N tränade defocus nivåer, och pðΔD jRen är den bakre sannolikheten för att defocus nivå med tanke på den observerade vektorn för filtersvar R. Svarsvektorn ges av prick produkten av varje filter med den normaliserade, loggade amplitud spektrum. De bakre sannolikheterna erhålls genom att tillämpa Bayes' regel på de monterade Gaussiska sannolikhetsfördelningarna (SI Methods). Eq. Vad är det? 4 ger Bayes optimal uppskattning när målet är att minimera medel-kvadrat fel av uppskattningarna och när N är tillräckligt stor, vilket det är i vårt fall (SI Methods). Defocusuppskattningar för testplåstren visas som en funktion av defocus i bild. 2D för vårt första fall av ett visionssystem med perfekt optik och en enda klass av sensor. Inget av testplåstren fanns i träningssetet. Föreställningen är ganska bra. Precision är hög och skevhet är låg när defocus överstiger 0,25 dioptrar, ungefär defocus detektionströskel hos människor (21, 24). Precision minskar på låga nivåer av defocus eftersom en blygsam förändring i defocus (t.ex. 0,25 diopters) inte ändrar amplitudspektra signifikant när basen defocus är noll; mer betydande förändringar sker när basen defocus är nonzero (24, 25) (Fig. 1C)........................................................................................................... Fördelen nära noll inträffar eftersom i synsystem med perfekt optik och sensorer känsliga endast till en enda våglängd, positiva och negativa defocus nivåer av identisk magnitud ger identisk amplitud spektra. Fördelen beror alltså på en gränseffekt: Uppskattningsfel kan göras ovan men inte under noll. Betrakta nu ett biologiskt realistiskt linssystem med monokroma avvikelser (t.ex. astigmatiska och sfäriska). Även om sådana linssystem minskar kvaliteten på den mest fokuserade bilden, kan de införa information användbar för att återhämta defocus tecken (26). För att undersöka denna möjlighet ändrade vi den optiska modellen till att inkludera de monokroma avvikelserna hos mänskliga ögon. Aberrationskartor för två defokusnivåer visas för den första författarens högra öga (Fig. 3A)................................................................. Vid den tid då den första författarens optik mättes, hade han 20/20 akuitet och 0.17 diopters av astigmatism, och hans högre ordning avvikelser var ungefär lika stor som hans astigmatism (Tabell S1). Spatial frekvensdämpning på grund av linsoptiken skiljer sig nu som en funktion av defocustecknet. När fokus ligger bakom målet (negativ defocus) är ögats överföringsfunktion för 2D-modulering (MTF) orienterad nära den positiva snedpunkten; när den är fokuserad framför (positiv defocus) har MTF motsatt inriktning (Fig. 3B)............................................................... Bildfunktioner som är ortogoniskt inriktade på MTF:s dominerande inriktning avbildas mer skarpt. Denna effekt ses i de provade retinala bildplåstren (Fig. 3C ) och i deras motsvarande 2D amplitud spektra (Fig. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Många monokroma avvikelser i människans optik bidrar till effekten av defocus tecken på MTF, men astigmatism-skillnaden i lins makt längs olika lins meridianer-är den primära bidragsgivaren (27). Intressant är att astigmatism avsiktligt läggs till linserna i CD-spelare för att hjälpa deras autofokus enheter. För att undersöka om orienteringsskillnader kan utnyttjas för att återställa defocustecknet har optimala AMA-filter lärts upp för synsystem som har synförmågan hos specifika ögon och samma singlesensorsystem som tidigare. Det fanns två procedurskillnader: (i) I stället för ett medelvärde radiellt över alla riktningar, spektra var radiellt medelvärde i två ortogonala "bowties" (Fig. 3D ) centrerad på MTF: s dominerande orientering (SI Methods) för varje tecken på defokusering (Fig. 3E) från och med den 1 januari 2015 till och med den 31 december 2015. (ii) Samma träning naturliga ingångar passerades genom optiken på defocus nivåer som sträcker sig från −2,25 till 2,25 dioptrar i 0,25-diopter steg, vilket ger 7 600 tröskel spektra (400 naturliga ingångar × 19 defocus nivåer). Filtren för den första författarens högra öga (Fig. 4A ) avkastning uppskattningar av defocus magnitud liknande i noggrannhet som de i Bild.  2D (Fig. S4A)........................................................................................................... Viktigt är att filtren nu extraherar information om defocustecken. Bilda. 4B (svart kurva) visar andelen teststimuli där tecknet på defocus uppskattningen var korrekt. Även om prestandan var långt över slumpen, uppstod ett antal fel. Liknande prestanda erhölls med "standard observatör" optik (28); bättre prestanda erhölls med den första författarens vänstra öga, som har mer astigmatism. Således kan ett synsystem med humana monokroma avvikelser och en enda sensorklass uppskatta både magnituden och tecknet på defocus med rimlig noggrannhet. Slutligen, överväga ett visionssystem med två sensorklasser, var och en med en annan våglängdskänslighet funktion. I detta synsystem kan kromatiska avvikelser utnyttjas. Det har länge varit erkänt att kromatiska avvikelser ger en signerad kö till defocus (29, 30). Det mänskliga ögats brytningskraft förändras med en diopter mellan 570 och 445 nm (31), den högsta känsligheten hos L- och S-kottarna. Vanligtvis fokuserar människor 570-nm våglängd bredbandsmål mest skarpt (32). Därför, när ögat är fokuserad på eller framför ett mål, L-konen bilden är skarpare än S-konen bilden; motsatsen är sant när linsen är tillräckligt fokuserad bakom målet. Kromatiska avvikelser introducerar således teckeninformation på ett sätt som liknar astigmatism. Astigmatism introducerar en teckenberoende statistisk tendens för amplituder vid vissa orienteringar att vara större än andra, kromatisk avvikelse introducerar en teckenberoende tendens för en sensorklass att ha större amplituder än den andra. Optimala AMA-filter lärdes sig igen, denna gång för ett visionssystem med diffraktion, defocus, kromatiska avvikelser och sensorer med rumslig provtagning och våglängdskänslighet som liknar mänskliga koner. Hos människor har S-kottar 1/4 provtagningsfrekvensen för L- och medelvåglängdskoner (M) (33). Vi provade näthinnan bild med en rektangulär kon mosaik liknande den mänskliga kon mosaik. För enkelhetens skull användes inte M-cone-svar i analysen. Amplitudspektrumen från L- och S-sensorerna var radiellt genomsnittliga eftersom optiken återigen är radiellt symmetrisk. Optimala filter visas i bild. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Celler med liknande egenskaper (dvs. dubbelkromatiskt motståndare, rumsliga frekvensbandpass mottagliga fält avstämda till samma frekvens) har rapporterats i primate tidigt visuell cortex (34, 35). Sådana celler skulle vara väl lämpade för att uppskatta defocus (30). Ett synsystem som är känsligt för kromatisk avvikelse ger opartiska defocusuppskattningar med hög precision (med ±1/16 dioptrar) inom ett brett intervall (Fig. 4D)................................................................ Känslighet för kromatiska avvikelser gör också att tecken på defocus kan identifieras med nästan 100% noggrannhet (Fig. 4B, magentakurva). Nyttan av kromatiska avvikelser beror på minst tre faktorer. För det första ger skillnaden mellan L- och S-konen en större signal än skillnaden på grund av de monokroma avvikelserna i de analyserade ögonen (Fig. S5 ; jämför med bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. För det andra är naturliga Land S-kone ingångsspektra mer korrelerade än spektra i orientering bugties (Fig. S6); ju större korrelationen mellan spektra är, desto robustare är filtrets svar på variabiliteten i form av ingångsspektra. För det tredje är små defokusförändringar lättare att särskilja i bilder som redan är något defokuserade (21, 24). Således, när L-konen bilden är perfekt fokuserad, S-kon filter är mer känsliga för förändringar i defocus, och vice versa. Med andra ord säkerställer kromatiska avvikelser att minst en sensor alltid är i sin "söta plats". Hur känsliga är dessa resultat för antagandena om den rumsliga provtagningen av L- och S-kottar? För att ta reda på det ändrade vi vårt tredje modellseendesystem så att både L- och S-kottarna hade full upplösning (dvs 128 prov/grad vardera). Vi hittade liknande filter och endast en liten prestanda fördel (Fig. S7).................................................................. Defocus estimeringsprestanda är därför robust till stora variationer i den rumsliga provtagningen av mänskliga kottar. Vissa antaganden som implicit i vår analys var inte helt förenliga med naturscensstatistik. Ett antagande var att den statistiska strukturen av naturliga scener är invariant med visningsavstånd (36). En annan var att det inte finns någon djup variation inom bildlappar, vilket inte är sant på många platser i naturliga scener. I stället var defocus information förenlig med planar fronto-parallell ytor flyttas från fokus avstånd. Observera dock att ju mindre plåstret är (i vårt fall, 0,5 grader på halva höjden), desto mindre effekt av djupvariation. Icke desto mindre är ett viktigt nästa steg att analysera en databas av luminancerange bilder så att effekten av inom-patch djup variation kan redovisas. Andra aspekter av vår analys var oförenliga med det mänskliga visuella systemet. Till exempel använde vi en fast 2-mm elev diameter. Den mänskliga pupilldiametern ökar när ljusnivån minskar; den fluktuerar något även under stadig belysning. Vi testade hur bra filtren i Fig. 4 kan användas för att uppskatta defocus i bilder som erhållits med andra elevdiametrar. Filtren är robusta för förändringar i pupilldiameter (Fig. S4 A och B). Det är viktigt att ingen av dessa uppgifter påverkar de kvalitativa resultaten eller de viktigaste slutsatserna. Vi betonar att vårt mål har varit att visa hur man karakteriserar och extraherar defocus information från naturliga bilder, inte att ge en explicit modell av mänsklig defocus uppskattning. Det problemet är för det framtida arbetet. Våra resultat har flera konsekvenser. För det första visar de att utmärkt defocus information (inklusive tecken) finns i naturliga bilder som fångas av det mänskliga visuella systemet. För det andra föreslår de principiella hypoteser (lokala filter och regler för poolning av filter) för hur det mänskliga visuella systemet ska koda och avkoda defocusinformation. För det tredje ger de ett rigoröst riktmärke mot vilket man kan utvärdera mänskliga prestationer i uppgifter som inbegriper defokusering. För det fjärde visar de det potentiella värdet av detta tillvägagångssätt för varje organism med ett visuellt system. Slutligen visar de att det bör vara möjligt att utforma användbara defocus skattningsalgoritmer för digitala bildsystem utan behov av specialiserad hårdvara. Till exempel, att integrera optik, sensorer och buller från digitala kameror i vårt ramverk kan leda till förbättrade metoder för autofokusering. Defocus information är ännu mer allmänt tillgänglig i djurriket än binokulära skillnader. Endast vissa djur har synfält med betydande binokulär överlappning, men nästan alla har linssystem som avbildar ljus på sina fotoreceptorer. Våra resultat visar att det finns tillräckligt med signerad defocusinformation i enskilda naturliga bilder för att defocus ska fungera som en absolut djupsignal när elevdiametern och fokusavståndet är kända. I detta avseende, defocus liknar binokulära skillnader, som fungerar som en absolut djup kö när elev separation och fixering avstånd är kända. Defocus blir en högre precision djup kö när fokus avståndet minskar. Kanske är det därför många mindre djur, särskilt de utan konsekvent kikaröverlappning, använder defocus som sin primära djup kö i rovdjurs beteende (13, 14). Således, den teoretiska ram som beskrivs här kunde vägleda beteendemässiga och neurofysiologiska studier av defocus och djupuppskattning i många organismer. Sammanfattningsvis har vi utvecklat en metod för strikt karakterisering av den defocusinformation som finns tillgänglig för ett visionssystem genom att kombinera en modell av systemets vågoptik, sensorprovtagning och buller med en Bayesiansk statistisk analys av sensorns svar på naturliga bilder. Detta tillvägagångssätt bör vara allmänt tillämpligt på andra visionssystem och andra skattningsproblem, och det illustrerar värdet av naturlig scenstatistik och statistisk beslutsteori för analys av sensoriska och perceptuella system. Naturliga scener. Naturliga scener fotograferades med en stativmonterad Nikon D700 14-bitars SLR-kamera (4,256 × 2,836 pixlar) utrustad med en Sigma 50-mm prime lins. Scener var de som ofta ses av forskare vid University of Texas i Austin. Detaljer om kameraparametrar (bländare, slutartid, ISO), kamerakalibrering och vår motivering för att utesluta mycket låga kontrastfläckar från analysen finns i SI Methods. Optiker. Alla tre vågoptikmodellerna antog ett fokusavstånd på 40 cm (2,5 dioptrar), en enda brytningsyta och en approximation av Fraunhoffer, vilket innebär att den optiska överföringsfunktionen (OTF) vid eller nära brännplanet ges av korskorrelationen mellan den generaliserade elevfunktionen och dess komplexa konjugat (15). Den vågfront avvikelse funktioner av den första författarens ögon mättes med en Shack-Hartman vågfront sensor och uttrycktes som 66 koefficienter på Zernike polynomial serien (Tabell S1 ). Koefficienterna skalades till den 2-mm pupilldiameter som användes i analysen från den 5-mm diameter som användes vid mätningen av vågfrontsavvikelser (37). En refractive defocus korrigering tillämpades på varje modell vision system innan analysen började säkerställa att 0-diopter mål var fokuserade bäst. Detaljer om denna process och hur MTF:s dominerande inriktningar i Bild. 3 bestämdes, är i SI Metoder. Sensor Array-svar. För att ta hänsyn till effekten av kromatisk avvikelse på L- och S-konsensorsvaren i det tredje synsystemet skapade vi polykromatiska punktspridda funktioner för varje sensorklass. Se SI Metoder för detaljer. Buller. För att ta hänsyn till effekterna av sensorbuller och efterföljande ineffektivitet vid bearbetning tillämpades en detektionsgräns vid varje frekvens (t.ex. , Bild.....................................................................................................  1C) ; amplituder under tröskeln sattes lika med tröskeln amplitud. Tröskelvärdet baserades på interferometriska mätningar som förbigår ögats optik (18) under antagandet att det begränsande buller som bestämmer detektionströskeln införs efter det att bilden kodats av fotoreceptorerna. Noggrann maximeringsanalys. AMA användes för att uppskatta optimala filter för defocusuppskattning. Se SI Metoder för detaljer om logiken i AMA. Uppskattning av defokusering. Med tanke på en observerad filterresponsvektor R erhölls en kontinuerlig defocusskattning genom beräkning av det förväntade värdet av den bakre sannolikhetsfördelningen över en uppsättning diskreta defocusnivåer (ekv. 4) och av följande skäl: Uppgifter om denna beräkning, uppskattning av sannolikhetsfördelning och sannolikhetsfördelningsinterpolering finns i SI-metoder. ERKÄNNANDEN. Vi tackar Austin Roorda för att ha mätt den första författarens monokroma avvikelser, och Larry Thibos för hjälpsamma diskussioner om fysiologisk optik. Vi tackar David Brainard och Larry Thibos för kommentarer om en tidigare version av manuskriptet.
REF rapporterade tillförlitliga djupuppskattningar enbart från defocus oskärpa.
Optimal defocus estimation in individual natural images
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}