Betydelsen av videoövervakningsteknik [3], [9], [25] har ökat avsevärt sedan de senaste terroristtillbuden. Säkerhet och säkerhet har blivit avgörande i många offentliga områden, och det finns ett särskilt behov av att göra det möjligt för mänskliga operatörer att fjärrövervaka verksamheten i stora miljöer som a) transportsystem (järnvägstransporter, flygplatser, stads- och motorvägsvägnät och sjötransporter), b) banker, köpcentra, parkeringsplatser och offentliga byggnader, c) industrimiljöer och d) statliga inrättningar (militära baser, fängelser, strategisk infrastruktur, radarcenter och sjukhus). Moderna videobaserade övervakningssystem (se klassificeringar som beskrivs i [9] ) använder realtidsbildanalysteknik för effektiv bildöverföring, färgbildanalys, händelsebaserad uppmärksamhetsfokusering och modellbaserad sekvensförståelse. Dessutom skapar billigare och snabbare datorutrustning i kombination med effektiva och mångsidiga sensorer komplexa systemarkitekturer; detta är en bidragande faktor till den allt större spridningen av flerkamerasystem. Dessa multicamera system kan ge övervakning täckning över ett brett område, vilket garanterar objekt synlighet över ett stort spektrum av djup. De kan också användas för att deambiguera ocklusioner. Tekniker som behandlar överlämning mellan kameror (i konfigurationer med delade eller delade vyer) blir därför allt viktigare. Händelser av intresse (identifieras som rörliga föremål och personer) måste sedan samordnas i multiview systemet, och händelser som bedöms vara av särskilt intresse måste spåras över hela scenen (se figur 1 ). Om möjligt bör spårade händelser klassificeras och deras dynamik (ibland kallat beteende) analyseras för att varna en operatör eller myndighet för en potentiell fara. För säkerhetsmedvetenhet baserad på multiscale spatio-temporal tracking, se Hampampur et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Vid utvecklingen av avancerade visuella övervakningssystem måste ett antal nyckelfrågor som är avgörande för en framgångsrik drift tas upp. Nödvändigheten av att arbeta med komplexa scener som kännetecknas av hög variabilitet kräver användning av specifika och sofistikerade algoritmer för videoinhämtning, kamerakalibrering, bullerfiltrering och rörelsedetektering som kan lära sig och anpassa sig till föränderliga scen-, belysnings- och väderförhållanden. Att arbeta med scener som kännetecknas av dålig struktur kräver användning av robust mönsterigenkänning och statistiska metoder. Användningen av kluster av fasta kameror, vanligtvis grupperade i intresseområden men också utspridda över hela scenen, kräver automatiska metoder för att kompensera för kromatiska avstånd skillnader, synkronisering av förvärvade data (för överlappande och icke-överlappande vyer), uppskattning av korrespondenser mellan och mellan överlappande vyer, och registrering med lokala kartesiska referensramar. Denna artikel beskriver den bild- och videobearbetningsteknik på låg nivå som behövs för att implementera ett modernt visuellt övervakningssystem. I synnerhet kommer man att införa metoder för att upptäcka både fasta och mobila kameror (pann- och lutningskameror) och diskutera registreringsmetoderna för flerkamerasystem med överlappande och icke-överlappande åsikter. Ett visuellt övervakningssystem består av ett nätverk av sensorer (vanligtvis konventionella slutna kretsar (CCTV) kameror), vissa med överlappande synfält, ger kontinuerlig (24/7) online drift. Varje visuellt övervakningsnätverk har sin egen specifika arkitektur. För fasta kameror är arkitekturen mycket datadriven och dess data-till-informationsflöde är nedifrån och upp. Eftersom mobilkameror används i mer sofistikerade nätverk, kan man tänka sig ett antal återkopplingskontroller för att justera kameraparametrar (till exempel för att anpassa sig till väder- eller belysningsförhållanden) eller för att spåra händelser av intresse. Figur 1 visar de viktigaste bearbetningsuppgifterna för ett visuellt system: ■ kamerakalibrering med avseende på en yttre kartesisk referensram ■ scenförvärv ■ adaptiv modellering av bakgrund ■ förändringsdetektering för förgrundsregioner/slagsidentifiering ■ registrering av flera kameror. Alla steg är sammanflätade: kamerakalibrering och registrering kan läras av observationsdata, och de processer som används för att uppnå detta kräver automatiskt grundläggande bildbehandling, såsom modellering av bakgrundsvyer och upptäckt av förgrundshändelser. Förändringsdetektering och kameraregistrering har valts som de två grundläggande stegen, och de kommer att beskrivas i detalj i de två följande avsnitten. En mängd olika metoder för förändringsdetektering har utvecklats för fasta kameror (se figur 2). Uttömmande omdömen finns i [9]. Här är de viktigaste metoderna som används i visuella övervakningssystem detaljerade. Den enkla skillnaden (SD) metod (se figur 3 ) beräknar för varje tid ögonblick t den absoluta skillnaden D t (x, y) mellan pixel intensiteten i den ingående bildparet; det tillämpar sedan en tröskel (Th) för att få en binär bild B (x, y SD metoden är den enklaste och snabbaste, men det är mycket känslig för buller och belysning förändringar; detta påverkar direkt den grå nivå registreras i scenen, som kan felaktigt tolkas som strukturella förändringar. För att övervinna problemet med bullerkänslighet, den härledda modellen (DM) metod anser n × n pixel regioner i de två indata bilder och beräknar en sannolikhetsförhållande L ij genom att använda medel och varianserna i de två regionerna R i och R j. Den utgående binära bilden erhålls som där L Th är tröskeln. Skuggningsmetoden (SM) modellerar intensiteten vid en given punkt I p (x, y) som produkten av belysningen I i (x, y) och en skuggningskoefficient S p som beräknas för varje punkt enligt Phongs belysningsmodell. Det kan lätt bevisas att, för att fastställa om en förändring har ägt rum i en viss region R i över två på varandra följande ramar, I t‐1 (x, y) och I t (x, y), är det tillräckligt att beräkna variansen σ i av intensitetsförhållandet I t/(I t‐1 ) i den regionen. Om σ i är nära noll har ingen förändring ägt rum. DM- och SM-metoderna ger liknande resultat. Bullernivån som påverkar den utgående bilden är lägre än den som genereras av SD-metoden, men noggrannheten hos de upptäckta klumparna i form, position och storlek är lägre. I synnerhet ändras objektkonturer avsevärt och den ursprungliga objektformen är delvis förlorad. LIG-metoden [22] bygger på antagandet att pixlar på platser med hög grågradient utgör en del av ett objekt och att nästan alla pixlar med liknande grå nivåer också kommer att ingå i samma objekt. Styrkans lutning beräknas som därefter, bilden G(x, y) delas in i underbilder m × m för att begränsa effekterna av ljusförändring på beräkningen av lokala medel och avvikelser. De regionala metoderna och avvikelserna utjämnas först med hjälp av angränsande regioner och sedan interpoleras för att fylla på en m × m-region. Slutligen tillämpas ett tröskelförfarande för att isolera objektpixlar från bakgrunden. LIG-metoden ger tillfredsställande resultat, även om den inte är tillräcklig för att fullständigt diskriminera föremålet från bakgrunden. För att minimera fel i processen för att upptäcka bakgrundsförändringar på grund av bullereffekter, belysning och/eller miljöförändringar tillämpar avancerade visuella övervakningssystem förfaranden för bakgrundsuppdatering [8]. Ett klassiskt tillvägagångssätt är baserat på Kalman-filtret (se figur 4). Bakgrundsuppdateringsförfaranden försöker fastställa betydande förändringar med hjälp av en uppskattning av bakgrundsbilden (se ett exempel i figur 5). I figur 4, filtret appliceras på varje pixel (x, y) av ingångsbilden för att adaptivt förutsäga en uppskattning av den relaterade bakgrund pixel vid varje tidpunkt ögonblick. Figur 3 illustrerar dataflödesdiagrammet för en Kalman-baserad bakgrundsuppdateringsmodul [8]. Den dynamiska systemmodellen representeras av där S t (x, y) representerar bakgrundsbildens grå nivå (x, y) vid omedelbar tidpunkt t; S t+1 (x, y) representerar en uppskattning av samma mängd vid t + 1 och μ t är en uppskattning av systemmodellens fel. Ett sådant fel tar hänsyn till systemmodellens approximation och bildas av två komponenter (dvs. μ t = β t + vs t, där β t representerar en långsam variation (med icke-noll medelvärde och ett tidsintervall som är jämförbart med filtersvarstiden) och v t representerar ett vitt brus med nollmedelvärde). Modellen för β t är en slumpmässig gångmodell, [FIG3] Allmänt schema för Kalman-baserade bakgrundsuppdateringsmodulen.  Bakgrund Uppdatering av aktuell bild β t+1 = β t + ε t med ursprungligt tillstånd β 0 = 0, där ε t är vitt buller med noll medelvärde. Mätmodellen representeras av var I t (x, y) representerar den grå nivån på den aktuella bildpunkten (x, y) och η t (x, y) är mätbullret (en uppskattning av det buller som påverkar den ingående bilden). Detta buller antas vara Gaussian med noll medelvärde och varians σ 2. Kalmanfiltrets rekursiva ekvationer används för att få en optimal linjär uppskattning av bakgrundsbilden S t (x, y) baserat på observationer (systemmått) {I t (x, y) : 0 t k} och ursprungliga förhållanden S 0 (x, y) = I 0 (x, y). Uppdateringsmodulen använder den grå nivå D t (x, y) av skillnaden bildpunkten (x, y) och uppskattningen η t (x, y) av buller som påverkar den ingående bilden för att uppdatera filtervinsten g t (x, y). Därefter beräknar man en uppskattning av systemmodellens fel ε t på grundval av filtervinsten g t (x, y) och D t (x, y) värdet (dvs,, y) ). Förutsägelsemodulen beräknar en uppskattning av den grå nivån S t (x, y) i bakgrundsbildens punkt (x, y) vid nästa ram. Bildlagringsblocket simulerar fördröjningen mellan två på varandra följande bildförvärv. En flerskiktad bakgrundsmodell har använts i CMU-övervakningssystemet [5], som använder en kombination av tidsskillnader och mallmatchning för att utföra objektspårning. Varje gång ett föremål kommer in i scenen och förblir stationärt under en fördefinierad tid, anses det vara ett nytt lager och läggs till bakgrunden (dvs en parkerad bil). Denna antagna flerskiktslösning var effektiv för att lösa typiska problem med bakgrundsbaserade förändringsdetekteringsmetoder, såsom "hål" eller "ghosts" som skapats av objekt i bakgrunden som började röra sig (t.ex. en bil som lämnar området). Ingen av de metoder som beskrivs ovan behandlar problemet med multimodala bakgrunder som är typiska för utomhusscener, där pixlarna kan byta tillstånd (t.ex. på grund av träd som vinkar i vinden). För dessa villkor kan en enda Gaussian modell per pixel inte antas. Stauffer och Grimson [34] modellerade den senaste historien om varje pixel, {x 1,. ., x t }, som en blandning av k Gaussiska fördelningar. Sannolikheten för att observera den aktuella pixelvärdet anges av var k är antalet distributioner, i,t, μ i,t, i,t är en uppskattning av vikten, medelvärdet, och kovariansmatrisen av ith Gaussian av blandningen vid tidpunkten t, och * är convolution operatör. η är en Gaussisk sannolikhetstäthetsfunktion: Parametern k bestäms delvis av tillgängligt minne och beräkningskraft; ett värde inom intervallet 3–5 föreslås av Stauffer och Grimson [34]. [FIG5] Ett flödesschema med de viktigaste uppgifterna som ingår i beräkningen av bilden av skillnader i samband med en mobil kamera. Det är värt att notera hur rörelsekompensationen används för att förneka kamerans rörelse.
Sophia m.fl. (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.) (nedan kallat Foresti m.fl.). REF använde en bakgrund subtraktionsteknik för att upptäcka det rörliga objektet och sedan ta bort skuggan i den efterföljande fasen.
Active video-based surveillance system: the low-level image and video processing techniques needed for implementation
{'venue': 'IEEE Signal Processing Magazine', 'journal': 'IEEE Signal Processing Magazine', 'mag_field_of_study': ['Computer Science']}