Vi presenterar en modell och algoritm för segmentering av bilder med saknade gränser. I många situationer fyller det mänskliga visuella systemet i luckor i kanter och gränser, bygger och kompletterar information som inte finns. Detta innebär en stor utmaning i datorseendet, eftersom de flesta algoritmer försöker utnyttja befintliga data. Färdigställande modeller, som postulerar hur man konstruerar saknade data, är populära men är ofta utbildade och specifika för särskilda bilder. I detta dokument tar vi följande perspektiv: Vi betraktar en referenspunkt inom en bild som given och utvecklar sedan en algoritm som försöker bygga saknade information på grundval av den givna synvinkeln och den tillgängliga informationen som gränsdata till algoritmen. Vi testar algoritmen på vissa standardbilder, inklusive den klassiska triangeln Kanizsa och låga signalförhållande medicinska bilder. C onsidera bilderna i Bild. 1................................................................ Det är uppenbart i alla tre bilderna att det finns inre gränser. I bilden till vänster, en solid triangel i mitten av figuren verkar ha väl definierade konturer även i helt homogena områden; i mitten figuren, en stor rektangel uppfattas; och, i figuren till höger, en vit kvadrat delvis omfattas av en grå disk uppfattas. Dessa konturer, som definieras utan bildgradient, kallas'synlig' eller'subjektiv' konturer. Efter överenskommelsen skiljer vi, kanske godtyckligt, mellan "modalt slutförande", där målet är att bygga en upplevd gräns, och (som i Bild.  1 Vänster och Center) och ''amodal avslutning'', där man rekonstruerar formen av ett delvis tilltäppt objekt (som i bild. 1 Höger) (se ref. Första stycket ska ersättas med följande: Vårt mål är att utvinna dessa interna objekt, en process som kallas "segmentering". Eftersom viss information saknas, algoritmer normalt slutföra segmenteringsprocessen genom att bygga modeller av vad som händer mellan tillgängliga data. I detta dokument föreslår vi en metod för segmentering av bilder med saknade gränser. Vi tar följande perspektiv: Y Observatören dras till en referenspunkt i bilden; från den referenspunkten är avslutningsprocessen konstruerad. Y Således, från och med denna givna referenspunkt, vi utformar en algoritm som utnyttjar tillgängliga gränsdata för att konstruera en fullständig segmentering. I vårt synsätt är alltså den beräknade segmenteringen en funktion av referenspunkten. Vi definierar en segmentering som en bitvis konstant yta som varierar snabbt över gränsen mellan olika objekt och förblir platt inom den. I domarens namn. 2, segmenteringen är en bitvis slät och konstant approximation av bilden. I vårt tillvägagångssätt är segmenteringen en bitvis konstant approximation av sikt- eller referensytan. För att erhålla den definierar vi följande steg: (i) Välj en fixeringspunkt och bygg siktpunktens yta. (ii) Upptäck lokala funktioner i bilden. iii) Utveckla siktytan med ett flöde som beror både på ytans geometri och på bildegenskaperna. Flödet utvecklar det ursprungliga tillståndet mot en bitvis konstant yta. (iv) (Automatiskt) Välj den nivåuppsättning som beskriver det önskade objektet. Under evolutionen attraheras siktytan av de befintliga gränserna och branterna. Ytan utvecklas mot den bitvis konstanta lösningen genom fortsättning och stängning av gränsfragmenten och fyllningen i de homogena regionerna. Ett fast föremål avgränsas som en konstant yta avgränsad av befintliga och återvunna formgränser. Med denna metod beror bildkompletteringsprocessen både på synvinkeln och på bildens geometriska egenskaper. Denna observation stöds av experimentella resultat på perceptual organisation av det mänskliga visuella systemet, som påpekades av Kanizsa: ''Om du fixerar din blick på en uppenbar kontur, det försvinner, men om du riktar din blick mot hela figuren, konturerna verkar vara verkliga (ref. 1, s. 48). Både det matematiska och algoritmiska tillvägagångssättet i vår metod bygger på en betydande mängd av det senaste arbetet baserat på en partiell differentialekvation tillvägagångssätt både framutbredning och bildsegmentering. Nivåuppsättningsmetoder, som infördes av Osher och Sethian (3), följer utvecklingen av kurvor och ytor, med hjälp av teorin om kurv- och ytutveckling och kopplingen mellan frontutbredning och hyperboliska bevarandelagar som diskuteras i refs. 4 och 5. Dessa metoder inbäddade det önskade gränssnittet som nollnivåuppsättningen av en implicit funktion och sedan använda ändliga skillnader för att approximera lösningen av det resulterande initialvärdet partiell differentialekvation. Malladi m.fl. (6) och Caselles m.fl. (7) Använde denna teknik för att segmentera bilder genom att odla försöksformer inne i en region med en spridningshastighet som beror på bildgradienten och därmed stannar när gränsen nås. På så sätt omvandlas bildsegmenteringen till en initialvärdes partiell differentialekvation i vilken en förökningsfront stannar vid den önskade kanten. I domarens namn. 8, Sochen m.fl. Visa bildbehandling som utvecklingen av ett bildrör inbäddat i ett Riemannskt utrymme med högre dimensioner mot en minimal yta. Denna ram har tillämpats på bearbetning av både en- och vektorvärderade bilder definierade i två och högre dimensioner (se ref. 9) och förordning (EEG) nr 4064/89. Vi följer några av dessa idéer i detta dokument och ser segmentering som utvecklingen av ett första referensgrenrör under påverkan av lokala bildfunktioner. Vår strategi har en mer allmän syn på segmenteringsproblemet. I stället för att följa en viss fram- eller nivåkurva som man försöker styra till önskad kant (som i refs. 7 och 10), börjar vi med en initial yta, vald på grundval av en användarbaserad referensfixeringspunkt. Vi flödar sedan hela denna yta under hastighet lag beroende på bilden lutning, utan hänsyn till någon särskild nivå uppsättning. Detta flöde vässar ytan runt kanterna och förbinder segmenterade gränser över den saknade informationen. På grundval av denna ytslipning kan vi identifiera en nivåuppsättning som motsvarar en lämplig segmenterad kant. Vi testar vår algoritm på olika figurer, inklusive de ovan, samt medicinska bilder där signal-till-brus förhållandet är verkligen liten och den största delen av kanten missas, som i fallet med ultraljudsbilder. Papperet är organiserat som följande. I nästa avsnitt går vi igenom tidigare arbeten i segmentering av bilder med saknade gränser. I nästa avsnitt diskuterar vi det matematiska problemet, och vi presenterar en numerisk metod för att lösa det. I det sista avsnittet diskuterar vi resultaten av tillämpningen av metoden på olika bilder, och vi diskuterar både scenarierna för modal och modal komplettering.
I Ref. REF, en fixeringspunkt valdes inne i regionen avgränsad av den illusoriska konturen, och sedan en yta på bilddomänen konstruerades baserat på fixeringspunkten.
Subjective surfaces: A method for completing missing boundaries
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}