En uppfattning om visuell information introduceras som komplexiteten inte av de råa bilderna, men av bilderna efter effekterna av störande faktorer såsom synvinkel och belysning diskonteras. Det är rotat i idéer av J. J. Gibson, och står i motsats till traditionell information som entropi eller kodning längd av data oavsett dess användning, och oavsett de störande faktorer som påverkar den. Olägenheters icke-invertibilitet, såsom ocklusion och kvantifiering, framkallar en "informationsklyfta" som endast kan överbryggas genom att kontrollera datainsamlingsprocessen. Mätning av visuell information innebär tidiga visionsoperationer som är anpassade till olägenheternas struktur för att vara "lossless" med avseende på visuella besluts- och kontrolluppgifter (i motsats till dataöverförings- och lagringsuppgifter implicita i traditionell informationsteori). Dessa idéer illustreras på visuell utforskning, varigenom en "Shannonian Explorer" navigerar omedveten om strukturen av den fysiska rymden som omger den, medan en "Gibsonian Explorer" vägleds av topologin av miljön, trots att mäta endast bilder av den, utan att utföra 3D rekonstruktion. Vår operativa definition av visuell information tyder på önskvärda egenskaper som en visuell representation bör ha för att bäst utföra visionsbaserade besluts- och kontrolluppgifter. I detta dokument diskuteras den roll som visuell perception spelar i problemet med "signal-till-symbol-barriären". Den "signal-till-symbolbarriären" härrör från observationen att perceptuella agens, från växter till människor, utför mätningar av fysiska processer på en nivå av granularitet som i huvudsak är kontinuerlig. De utför också handlingar i den fysiska rymdens kontinuum. Och ändå, kognitiv vetenskap, primär epistemik, och i allmänhet modern filosofi, associerar "intelligent beteende" 1 Kontinuum är en abstraktion, så här "kontinuerlig" ska förstås som existerar på en nivå av granularitet betydligt finare än upplösningen av mätanordningen eller ställdonet. Till exempel, även om retinala fotoreceptorer är ändliga i antal, vi inte uppfattar diskontinuiteter på grund av retinal provtagning. Även när sensoriska signaler och handlingar är diskreta (t.ex. På grund av digitala kodare eller givare sker omvandlingen "analog-till-digital" vanligtvis på ett sätt som är oberoende av den signal som provtas (t.ex. Fast provtagningsfrekvens), eller endast beroende av grova fenomenologiska aspekter av signalen (t.ex. adaptiv provtagning baserad på frekvensegenskaper eller gleshetsbegränsningar. 1 med någon form av intern representation bestående av diskreta symboler ("begrepp", "idéer", "objekt", "kategorier") som kan manipuleras med logiska eller probabilistiska slutsatser. Men föga är känt om varför en sådan "signal-till-symbol"-konvertering skulle ske, om den skulle ge en evolutionär fördel, eller vilka principer som skulle vägleda en sådan diskretiseringsprocess. Traditionell informationsteori, statistisk beslutsteori och kontrollteori kastar föga ljus över denna process, och tyder faktiskt på att det kan vara kontraproduktivt. Om vi betraktar biologiska system som maskiner som utför åtgärder eller fattar beslut som svar på stimuli på ett sätt som maximerar något beslut eller kontroll mål, då Rao och Blackwell ([64] sid 88) indikerar att de bästa möjliga agenter skulle undvika "bryta ner data i bitar", dvs.. dataanalys 2, eller för den delen någon form av mellanliggande beslut som inte har samband med den slutliga uppgiften, som i stället skulle vara nödvändigt för att ha en diskret intern representation. Så, varför skulle vi behöva, eller dra nytta av, en intern representation? Är "intelligens" inte möjligt i en analog miljö? Eller är dataanalys nödvändig för kognition? Vilken princip skulle i så fall vara den som styr den? Och med avseende på det akademiska området för Computer Vision, varför har vi utfört dataanalys (kantdetektering, funktionsval, segmentering, bildtolkning etc.) mot grundsatserna i (traditionell) information och beslutsteori? Den senare skulle föreslå att, så småningom, en reduktionistisk strategi där bilder matas rå i en black-box beslut eller kontrollmaskin kommer att vara mest framgångsrika. Eller kanske tvärtom bör den traditionella informationsbegreppet ses över, och denna översyn kommer att peka på nya principer för dataanalys och bekräfta vad forskare inom Data Vision har gjort i årtionden. Ytterligare en möjlighet är att dataanalys inte styrs av någon princip, men en olycka på grund av de begränsningar som åläggs av biologisk hårdvara, som förespråkas av Turing i [73], där han visade att reaktion-diffusion partiella differentialekvationer (PDE) som styr neuronala jonkoncentrationer, även om kontinuerliga i naturen, uppvisar diskreta lösningar. Så om vi vill bygga maskiner som interagerar intelligent med sin omgivning och inte är bundna av den biologiska hårdvarans begränsningar, bör vi då hämta inspiration från biologin, eller är det bättre att kasta ut den? Frågan om representation är illusorisk utanför en uppgifts räckvidd. En uppgift kan vara lika smal som ett binärt beslut, såsom närvaro / frånvaro av en person i en scen, eller som "överlevnad", men i samband med visuell uppfattning skiljer jag fyra breda klasser av uppgifter, som jag kallar 2 Observera att jag hänvisar till dataanalys som processen att "bryta ner data i bitar" (cfr. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Analysmetod [1]Bestämning av halten i fodertillsatsen och i aromämnesförblandningar: Den allmänt förlorade omvandlingen av data till diskreta semantiska enheter. Detta är inte fallet för globala representationer som Fourier eller wavelet decomposition, eller huvudkomponentanalys (PCA), som tyvärr ofta kallas "analys" eftersom sådana tekniker utvecklades i samband med harmonisk analys, en gren av matematik. Fouriertransform är globalt inverterbar, vilket innebär att det inte finns någon förlust av data, och PCA består av linjära projektioner på subrymder. 3 Diskretisering förespråkas ofta på grund av komplexitet, men komplexitet kräver datakomprimering, inte nödvändigtvis för dataanalys. Alla komplexa kostnader skulle kunna läggas till beslutet eller kontrollen funktion, och det bästa beslutet skulle fortfarande undvika dataanalys. För att till exempel förenkla ett segment av en radiosignal skulle man kunna representera det som en linjär kombination av ett litet antal (högdimensionella) baser, så få tal (koefficienterna) är tillräckliga för att representera det på ett parsimoniskt sätt. Detta är annorlunda än att bryta ner signalen i bitar, t.ex. dela upp sin domän i undergrupper, som implicit i processen att koda en visuell signal genom en population av neuroner var och en med ett ändligt mottagligt fält. Så, finns det en evolutionär fördel i dataanalys, utöver att det bara är ett sätt att utföra förlust datakompression? 2 fyra "R" av vision: Rekonstruktion (bygg modeller av geometrin av scenen), Rendering (bygg modeller av fotometrin av scenen), Erkännande (eller, mer i allmänhet, vision-baserade beslut såsom detektion, lokalisering, kategorisering) och Regler (eller, mer i allmänhet, vision-baserad kontroll såsom spårning, manipulation etc.). När det gäller återuppbyggnad och rendering är jag inte medveten om någon princip som tyder på en fördel i dataanalys. Det är inte av en slump som de nuvarande bästa tillvägagångssätten för att rekonstruera modeller av geometri och fotometri av en scen från bildströmmar återhämta (styckvis) kontinuerliga ytor och utstrålning fungerar direkt från data, i motsats till den traditionella flerstegs rörledning 4 som länge gynnades på grund av komplexitet [52]. I det här manuskriptet undersöker jag frågan om representation för besluts- och kontrolluppgifter. Jag ska försöka undvika filosofiska diskurser och kommer inte att göra några försök att definiera "intelligent beteende" eller ens kunskap, förutom att postulera att kunskap - vad det än är - kommer från data, men det är inte data. Detta leder till begreppet "användbar del" av data, som man kan kalla "information". Så det första steget är att förstå vad "information" betyder i samband med visuell perception. Det är ämnet för detta manuskript. Vad jag ska visa är att visuell perception spelar en viktig roll för att förstå signal-till-symbol barriären. Behovet av att kunna utföra besluts- och kontrolluppgifter på ett sätt som är oberoende av störande faktorer som påverkar bildbildningsprocessen leder till en intern representation som är i sig diskret, men ändå förlustfri, på ett sätt som ska klargöras snart. För att detta ska kunna ske måste dock det perceptuella agenset ha kontroll över vissa aspekter av avkänningsprocessen. Detta knyter samman oupplösligt avkänning och kontroll, i den meningen att utan förmågan att styra avkänningsprocessen med rörelse, skulle en diskret intern representation vara en säker förlust. En märklig illustration av detta fenomen är fallet med Sea Squirts, eller Tunicates, visas i bild. 1................................................................ Dessa är organismer som har ett nervsystem (ganglionceller) och förmågan att röra sig (de är rovdjur), men så småningom bosätta sig på en sten, bli stillastående och därifrån svälja sin egen hjärna. För mer än sextio år sedan stormade Norbert Wiener in i sina elevers kontor och sa: "Entropi är information!" innan du omedelbart stormar ut. Claude Shannon gjorde senare denna idé till centrum för sin matematiska teori om kommunikation, som formaliserar och förenar de många olika metoder som utövare hade använt för att överföra signaler via kanaler. Inverkan av Shannons kommunikationsteori har sedan dess spridit sig bortom överföring och komprimering av data, och är nu allmänt känd som Informationsteori. Men är datans entropi verkligen "information"? Det råder inget tvivel om att ju mer komplicerade uppgifterna är, desto dyrare är det att lagra och överföra dem. Men vad händer om vi vill använda data för andra uppgifter än lagring eller överföring? Vad är den "information" som en bild innehåller om den scen den skildrar? Vad är värdet av en bild om vi ska känna igen objekt på scenen, eller navigera genom den? (Fig. 2).................................................................. 4 En sekvens av "steg" inklusive point-feature val, bred baslinje matchning, epipolär geometri uppskattning, rörelse uppskattning, triangulation, epipolär upprätande, tät ommatchning, yttriangulation, mesh polering, textur kartläggning. 6 Det är bara olyckligt att, i ingenjörskommunikation, signalerna är kraftigt strukturerade så olägenheten, ofta dubbade "buller", vanligtvis antas vara additiv, noll-medel, vit, och Gaussian. Som en följd av detta har frågan om varians aldrig utforskats grundligt, även om Wiener, intressant nog, var medveten om den. I ([78], s. 50) presenterade han till och med det första (integrala) ögonblicket som en invariant statistik för en grupp (ekv. (6.01), s. 138) och kallade det en gestalt! 7 Han var dock rotad i empirisk epistemologi och antog därför att information kommer från data. 8 Jag använder ordet "näring" i normal bemärkelse av statistisk slutledning; detta innebär inte att störande faktorer avfärdas eller är irrelevanta. Det betyder bara att de påverkar data, men inte uppgiften.  4 har lite att göra med beslut (uppfattning) och kontroll (åtgärd) uppgift till hands. Så det är intuitivt att värdet av data bör relatera till dess komplexitet först efter effekterna av störande faktorer har diskonterats. 9 Tyvärr är varje konstant funktion en "invariant underliggande förändring", så Gibson saknade den andra aspekten av information som relaterar till dess "användbarhet" (tillräcklighet) mot uppgiften. Syftet med detta manuskript är att definiera ett operativt begrepp av "information" som är relevant för visuella slutsatser uppgifter, i motsats till överföring och lagring av bilddata. Efter Gibsons ledning definierar jag Actionable Information som komplexiteten (kodningslängd 10 ) av en maximal statistik som är invariant till de olägenheter som är förknippade med en given uppgift. Enligt denna definition beror den handlingsbara informationen i en bild inte bara på komplexiteten i uppgifterna, utan också på strukturen på den scen den skildrar. Jag illustrerar detta med en enkel miljöundersökningsuppgift, som är central för Gibsons ekologiska inställning till perception. En robot som försöker maximera Shannons information (en "Shannonic Explorer") driver på ovetande om miljöns struktur, medan man försöker maximera Actionable Information (en "Gibsonian Explorer") drivs av topologin i det omgivande rummet. Båda mäter samma data (bilder), men den andra använder den för att utföra rumsliga uppgifter. Detta manuskript relaterar till arbete i informationsteori, videokompression, robotik, visuell igenkänning, som jag diskuterar i Sect. 7. Vad är det som händer? Där diskuterar jag också de visuella representationer som vår operativa definition innebär som "förlustlösa" relativa visuella beslut eller kontrolluppgifter. 9 Att vädja som idén att karakterisera "invarianter under förändring" låter i ord, en modern Computer Vision forskare skulle avfärda det i början, för det har sedan dess blivit känt att sådana invarianter inte existerar. Invarianter betraktades som "datorseendets heliga graal" under åttiotalet, fram till [14] och [20] visade att de inte existerar vare sig för synvinkeln eller för belysningen. Eftersom Gibson saknar matematiska och beräkningsmässiga grunder som möjliggör vetenskapliga (förfalskade) diskurs- och ingenjörstillämpningar, förblir Gibsons idéer sålunda begränsade till filosofins värld [39] och perceptionpsykologin. Den senaste tidens utveckling har emellertid visat att situationen är mer komplicerad än vad som vanligen antas: [14] hänvisar till statistik över punktegenskaper, inte bilder, och [74] visar i stället att icke-triviala synvinklar alltid existerar för bilder av Lambertföremål av allmän form. På samma sätt [20] överväga allmänna belysningsfält, men invarianter kan konstrueras för enklare belysning modeller, såsom kontrast transformationer [2], även om dessa är giltiga endast lokalt. Varians hänvisar alltid till en underliggande modell, det är lika bra som de antaganden den bygger på, och lika användbar som de efterföljande algoritmerna är för uppgiften av intresse. Varians till ännu mer begränsade klasser av transformationer är grunden för mycket enkel bildstatistik som nyligen har vunnit betydande popularitet i visuellt erkännande och kategorisering uppgifter. 10 Förhållandet till entropi [48] kräver att man definierar en fördelning av kodlängder, vilket kommer att diskuteras senare i detta manuskript. 11 Det kan hävdas att Shannon inte skulle försöka maximera entropi av data, utan i stället den ömsesidiga informationen mellan scenen och data (som han kallade "equicocation"). Vår övning kan vara tänkt på ett sätt att formalisera denna uppfattning, men undvika att behöva placera en explicit sannolikhetsfördelning på uppsättningen av scener, vilket är en lång ordning. Dessutom, medan det är lätt att formellt definiera den ömsesidiga informationen mellan scenen och bilden, datorisera den för en radering kanal (ocklusioner) under kompositionella oändliga-dimensionella domänförvrängningar (vypunkt förändringar) och multiplikativa infinit-dimensionella störningar (belysning) är inte något lätt att göra med hjälp av de verktyg som utvecklats i klassisk informationsteori. Papperet är uppbyggt på följande sätt. • I föregående avsnitt, som ett sätt att motivera, har jag hävdat att den traditionella informationsteorin, som utvecklats med ett öga mot problemet med att "återproducera" en källas produktion, är otillräcklig för att karakterisera värdet av en individuell bild i syfte att fatta beslut eller kontrollera uppgifter i förhållande till den scen som bilden föreställer. Bilder påverkas av "näringsfaktorer" som agerar på data på ett komplext och mycket strukturerat sätt. Även om Gibsons begrepp om information som "invarianter under förändring" är närmare vårt tillämpningsområde, är det inte tillräckligt, eftersom det inte tar hänsyn till variansens motsvarighet, som är den "diskriminativa" (beslut) eller "uppnåeliga" (kontroll) komponenten i representationen. • I Sect. 4.1 Jag introducerar begreppet "aktiv information" som komplexiteten i den maximala statistik som är invariant till en viss olägenhet. På samma sätt definierar jag "fullständig information" som den minimala statistik som är tillräcklig för en given uppgift. När olägenheten är "inverterbar", de två är identiska, och deras skillnad, den "verksamma informationsgap" definieras i Sect. 4.3, är noll. • I samband med vision, synvinkel och belysning - borta från synlighet artefakter såsom ocklusioner och gjutna skuggor - är inverterbara. Dock är ocklusioner, gjutna skuggor och kvantisering inte det. I allmänhet är därför informationsgapet inte noll. • Invertibiliteten hos en störning beror på sensorns kontrollmyndighet. Medan ocklusioner och kvantisering är icke-inverterbara för en passiv och statisk observatör, blir de inverterbara när observatören kan kontrollera datainsamlingsprocessen (Sect. 4.3. till exempel genom att ändra synvinkel eller boende (Fig. 10).................................................................. På liknande sätt är gjutna skuggor inte inverterbara i gråskala bilder, men kan bli inverterbara när man kan prov flera spektralband. Processen för "information pickup" består i utforskning av miljön som syftar till att minska informationsgapet (Select. 4. 4 Farmakokinetiska uppgifter • Även om fullständig information i allmänhet inte kan mätas, kan användbar information beräknas. Jag beskriver en representationsstruktur som organiserar tvådimensionella (regionstatistik), endimensionella (gränsvärden) och nolldimensionella (tilldelade punkter) bildegenskaper på alla skalor; dess kodningslängd mäter användbar information (Sect. 5) När det gäller läkemedel som inte är avsedda att användas tillsammans med andra läkemedel (se avsnitt 4. 5, 4. 5 och 4. Detta är en konceptuell konstruktion. Icke desto mindre kan en "fattig mans version" av denna konstruktion enkelt och effektivt beräknas. • Eftersom fullständig information, och därmed informationsgapet, inte kan vara känt i förväg, måste perceptuell undersökning ske baserat på lokalt beräknade kvantiteter. Jag definierar "minska i handlingsbar informationsgap" som en kvantitet som kan beräknas 12 I själva verket är det oändligt, för handlingsbar information är noll (det finns ingen ocklusionsinvariant i en bild) och den fullständiga informationen är oändlighet (för att beräkna en tillräcklig statistik med avseende på ocklusion måste man skaffa sig hela ljusfältet). 6 Omedelbart (i närvaro av oändligt liten rörelse) och hävdar att dess integral under utforskandet konvergerar till den fullständiga informationen, antar ett avgränsat universum (Sect. Det är därför viktigt att se till att det finns tillräckligt med information för att man ska kunna ta itu med de problem som uppstår i samband med användningen av detta läkemedel. • Slutligen, i Sect. 7 Jag diskuterar några konsekvenser av våra argument, inklusive en föreslagen uppsättning recept som en visuell representation bör lyda, och deras effekter på "signal-to-symbol barriären". Innan vi formulerar våra argument måste vi införa vissa definitioner, för vilka vi behöver några anmärkningar. En bild är representerad som en funktion I : -integrable, men annars inte nödvändigtvis kontinuerlig, tar positiva värden i k band, t.ex. k = 3 för färg och k = 1 för gråskala. En tidsindexerad bild indikeras av I(x, t), t  till Z +, under antagande av en diskret tidtagning, och en sekvens betecknas med {I(x, t)} T t=1, eller helt enkelt {I}. Bilden relaterar till scenen, som representeras som en samling av styckvis kontinuerliga ytor ("shape") S  på R. Denna modell är livsduglig endast bort från synlighet artefakter (ocklusioner, gjutna skuggor), som diskuteras i Sect. 3.2 Förbehåll IIIA-PT-17 Alla omodellerade fenomen (undvikelse från Lamberts reflektion, komplexa belysningseffekter etc.) är klumpade till en additiv "buller" term n : R 2 → R k. Vi har äntligen vår bildformation modell: I(x) = h(ρ(X)) + n(x) x = π(g(X)), X  på S. (1) Sammanfattning: (Se bild. 3 ) Jag kallar bilden I, reflektansen ρ, belysning (kontrast) h, warping w, som beror på formen S och synvinkeln g. Jag kallar vidare scenen., samlingen av (tredimensionella, 3D) form och reflektans. = {ρ, S}, och olägenheten mot, insamling av synvinkel och belysning mot. - Vad är det för fel på dig? I kort beskrivning ersätter X i den första ekvationen 7
I REF introducerar Soatto begreppet handlingsbar information som är den del av data som är användbar för att utföra en uppgift och efter att diskontera störande faktorer.
Actionable Information in Vision
{'venue': 'ICCV 2009', 'journal': None, 'mag_field_of_study': ['Computer Science']}