Feature Article Många experimentella och kommersiella system finns för att känna igen mänskliga kroppskonfigurationer i kontrollerade miljöer. Till exempel Massachusetts Institute of Technology's Media Lab Kidsroom (http://vismod.media.mit.edu/vismod/demos/kidsroom/kidsroom.html), Alive, 1 Emering et al.Systemet för erkännande av gester, 2 och Vivid Groups system för erkännande av gester (http://www.vividgroup.com). Dessa system är beroende av segmentering av mänskliga objekt från bakgrunden i en specifik begränsad miljö eller av positions-/hastighetssensorer som är kopplade till människor. För att underlätta segmenteringsprocessen använder andra system infraröda 3 eller flera kameror. 4 Dessa system är dyrare att installera än enkla monokulära kamerasystem med synligt ljus. I okontrollerade miljöer, att känna igen mänskliga kroppsställningar blir ett utmanande problem på grund av bakgrundsmassa, artikulerade strukturer av mänskliga kroppar, och en stor variation av kläder. För att övervinna dessa svårigheter har en del forskare föreslagit metoder som bygger på direkt matchning av mallar till mål. En metod är att upptäcka mänskliga kroppsdelar 5 och deras rumsliga konfiguration i bilder, som figur A1 visar. Metoder för kroppsdelar omfattar endast några få mallar för att representera varje kroppsdel. Men kroppsdelar är svåra att hitta i många okontrollerade fall, främst på grund av kläder förändringar, ocklusion, och kroppsdel deformation. För närvarande används kroppsbaserade system för att känna igen relativt enkla mänskliga ställningar som löpning. 6 En annan metod känner igen mänskliga ställningar baserat på små lokala bildfunktioner. Som figur A2 visar, matchar detta schema ställningar som hela entiteter och skiljer inte kroppsdelar explicit. De flesta tidigare metoder som bygger på att matcha lokala bildfunktioner 7,8 antar en relativt ren bakgrund. När bakgrunden rör sig ökar, särskiljande funktioner försvagas och enkla matchningssystem kan inte generera önskvärda resultat. Vårt successiva konvexeringsbaserade system löser detta problem på ett robust och effektivt sätt. Figur 1 illustrerar det matchande problemet. I figuren, punkter p och q är två angränsande mall funktionspunkter och deras mål är f(p) respektive f(q). Intuitivt bör vi minimera matchningskostnaderna samtidigt som vi försöker göra matchningen konsekvent genom att minimera skillnaden mellan vektorer q  på p och f(q) f(p). För problem med hållningsigenkänning måste de egenskaper som valts för matchningen vara okänsliga för mänskliga objekts utseendeförändringar. Kantkartan innehåller det mesta av objektets forminformation, och är samtidigt inte särskilt känslig för färgförändringar. Forskare har brett tillämpat egg funktioner i Chamfer (edge-based) matchande 9 och form sammanhang 10 matchning. Vi har funnit att små block centrerade på kanten pixlar på ett avstånd transformera bilden är uttrycksfulla lokala funktioner. Här omvandlar ett avstånd en binär kantkarta till en motsvarande gråskala representation, med intensiteten av en pixel proportionell mot dess avstånd till närmaste kant pixel. För att införliva mer kontextinformation kan vi ytterligare tillämpa en logpolär transform till ett avstånd transformera bilden. 2 Vi kan då representera matchningskostnaden som den normaliserade genomsnittliga absoluta skillnaden mellan dessa lokala bildfunktioner. Lokala bildfunktioner är inte tillförlitliga i bildmatchning, så vi behöver ett robust matchningssystem. Energioptimeringsproblem i ekvation 2 är oftast icke-linjär och mycket icke-konvex3⁄4det är, det har många lokala minima. Sådana problem är svåra att lösa utan en god initieringsprocess. Istället för att försöka optimera problemet direkt, vi omvandla det till en ungefärlig linjär programmering (LP) problem. I grund och botten introducerar vi vikter som kan tolkas som en uppsättning (flytande) mjuka beslut för att matcha målpunkter till mall funktionspunkter. Vi kan då representera en målpunkt som den linjära kombinationen av representativa målpunkter3⁄4grundmålpunkterna. Vi approximerar matchningskostnaden som den viktade summan av dessa baspunkters kostnader. Slutligen lineariserar vi släthetstermen med hjälp av hjälpvariabler. I vissa fall kan vi använda detta linjära program för att exakt lösa det matchande problemets kontinuerliga förlängning; i allmänna situationer är det en approximation av det ursprungliga problemet. I sidofältet "Properties of LP Formulation" listas några av LP:s egenskaper. Figur 2 visar en kostnadsyta, dess nedre konvexa skrov och basobjekten. Efter konvexering blir det ursprungliga nonconvex-optimeringsproblemet ett konvext problem och vi kan använda en effektiv LP-metod för att ge en global optimal lösning för approximationsproblemet. På grund av LP-avslappningens konvexifieringseffekt är approximationen grövre för större sökområden i målbilden. På så sätt blir LP-lösningen mer exakt om vi kan begränsa sökområdet. Vi föreslår därför en successiv avslappning för att lösa den grova ungefär- Den linjära programmeringsformuleringen har flera intressanta egenskaper:  på grund av allmänna kostnadsfunktioner löser LP-formuleringen den kontinuerliga förlängningen av det omformulerade matchningsproblemet, med varje matchande kostnadsyta ersatt av dess lägre konvexa skrov. Den mest kompakta grunduppsättningen innehåller vertex-koordinaterna för den matchande kostnadsytans nedre konvexa skrov. Med denna fastighet finns det ingen anledning att inkludera alla matchningskostnader i optimeringen: vi behöver bara inkludera de som motsvarar basmålpunkterna. Detta är ett av de viktigaste stegen för att påskynda algoritmen. Om kostnadsfunktionens konvexa skrov är strikt konvext, måste icke-noll viktningsbaspunkter vara intilliggande. Här, intilliggande innebär konvex skrov av nonzero viktning bas målpunkter kan inte innehålla andra bas målpunkter. Om vi löser LP problemet med simplex metoden, varje funktionspunkt i mallen kommer att ha högst tre icke-noll vikt målpunkter. Optimeringen reduceras till bara en snabb nedstigning genom några trianglar i målpunkten utrymme för varje plats. Mationsproblem. Vi konstruerar linjära program rekursivt, baserat på tidigare sökresultat, gradvis och systematiskt krymper varje webbplats förtroende region. Vi konvexerar dock den ursprungliga kostnadsfunktionen igen (dvs. vi "konvergerar") i den mindre regionen. Figur 3 visar detta förfarande. Vi använder ankare för att kontrollera förtroenderegionerna. För att lokalisera ankare använder vi en konsekvent avrundningsprocess 2 till föregående stegs LP-lösning. Den nya förtroenderegionen för varje plats är en mindre rektangulär region med ankaret3⁄4till exempel, en region centrerad på motsvarande ankare. Exempel 1 illustrerar den successiva konvexeringsprocessen för ett enkelt 1D-matchningsproblem. Exempel 1 (1D problem). Anta att det finns två platser {1, 2}, och för varje plats {1, 7} är målpunkten inställd. Den objektiva funktionen är I detta exempel antar vi att matchningskostnaderna är {c(1, j)} {1.1, 6, 2, 7, 5, 3, 4}, {c(2, j)} {5, 5, 5, 1, 5, 1, 5} och 0.5. Med vårt system löser vi problemet genom de sekventiella LP: LP 0, LP 1, och LP 2. I LP 0 är förvaltningsregionerna för områdena 1 och 2 båda [1, 7]. Skapa LP 0 baserat på vårt schema motsvarar att lösa ett ungefärligt problem där vi ersätter {c(1, j)} och {c(2, j)} med deras nedre konvexa skrov (se figur 4, nästa sida). Steg LP 0 använder grundetiketter {1, 6, 7} för plats 1 och grundetiketter {1, 4, 6, 7} för plats 2. Därefter har LP 0 lösningen 1,1  på 0.4, 1,6 på 0,6, 1,7 på 0, 1 på 0 (0.4 på 1 r 0,6 på 6) på 4 och 2,4 på 1, 2,1 på 2,6 på 2,7 på 0, 2 på 4. Baserat på reglerna för val av ankar, 2 vi fixa plats 2 med LP 0 lösning 4, och söka efter den bästa målpunkten för plats 1 i regionen [1, 7] med hjälp av den ickelinjära målfunktionen. Detta ger oss ankaret 3 för plats 1. Med en liknande metod för plats 2, får vi dess ankare 4. Dessutom får vi LP 1:s förtroenderegion på [1, 5] ́[2, 6] genom att krympa den tidigare förtroenderegionens diameter med en faktor på 2. LP 1's lösning är 1  på 3 och 2 på 4. Det nya ankaret är 3 för plats 1 och 4 för plats 2. Baserat på LP 1, LP 2 har en ny förtroenderegion [2, 4] [3, 5]. Dess lösning är 1  på 3 och 2 på 4. Eftersom 3 och 4 är ankarplatserna för områdena 1 och 2, och i nästa iteration krymper diametern till noll, upphör iterationen. Det är inte svårt att verifiera att konfigurationen 1  på 3, 2 på 4 uppnår det globala minimum. Intressant nog, för ovanstående exempel, ICM och graf klipp endast hitta ett lokalt minimum, om ini- tial värden inte är korrekt inställda. För ICM, om 2 är inställd på 6 och uppdateringen är från 1, Iterationen kommer att falla i ett lokalt minimum som motsvarar 1  på 6 och 2 på 6. Diagramklippschemat baserat på förlängning kommer att ha samma problem om vi ställer in de initiala värdena på både 1 och 2 till 6. Exempel 2 (2D problem). Figur 5 visar hur vi matchar en triangel i röran med successiv konvexisering. Figuren illustrerar förtroenderegionens uppdaterings- och konvexeringsprocess för två punkter på mallen. De svarta rektanglarna i figurerna 5d, 5e och 5f anger förvaltningsregionerna för de två utvalda punkterna i tre på varandra följande LP-steg. Siffrorna 5g till 5l visar de konvexerade matchande kostnadsytorna för varje plats i dessa förtroenderegioner. Ett mycket litet antal hörn som motsvarar de basmålpunkter stöder dessa konvexa ytor. Det på varandra följande trestegsprogrammet för konvexifiering lokaliserar målet på ett korrekt sätt i rörigt tillstånd. Med simplex metoden, en uppskattning av en på varandra följande recvexifiering LP: s genomsnittliga komplexitet är O( på engelska), där S är uppsättningen av mall funktionspunkter och L är den målpunkt som anges. Experimenten bekräftar också att vårt optimeringssystems genomsnittliga komplexitet ökar långsammare med målpunktens storlek än tidigare metoder, t.ex. trosförökning, vars genomsnittliga komplexitet är proportionell mot 2 L. Efter hållning matchning från en mall till ett målobjekt, måste vi bestämma hur liknande dessa två konstellationer av matchade punkter är och om det matchande resultatet motsvarar samma hållning som i exemplet. Vi använder följande mängder för att mäta skillnaden mellan mallen och det matchande objektet. Vi definierar först mått D som den genomsnittliga parvisa längden förändringar från mallen till målet. För att kompensera för den globala deformationen uppskattar vi en global affintransform baserad på matchningen och applicera den på mallpunkterna innan vi beräknar D. Vi normaliserar D ytterligare med avseende på mallens genomsnittliga kantlängd. Det andra måttet är den genomsnittliga funktionsmatchningskostnaden M. Vi definierar matchningspoängen helt enkelt som den linjära kombinationen av D och M. Experiment visar att vi bara behöver ca 100 slumpmässigt utvalda funktionspunkter för att beräkna D och M. Vi kan utöka denna hållningsmatchningsmetod till att matcha videosekvenser för att upptäcka åtgärder 2 genom att införa en center-kontinuitetsbegränsning. Vi utförde experiment för att jämföra vårt matchningsprogram med en trosutbredning och ICM med hjälp av syntetisk marksanningsdata. Andra experiment testade det föreslagna systemet för att upptäcka mänskliga kroppsställningar med hjälp av verkliga videosekvenser. 30 IEEE MultiMedia Vi jämförde prestandan av successiv konvexifiering LP (SC-LP) med trosförökning och ICM för binär objektdetektion i skräp. I våra experiment genererar vi mallarna genom att slumpmässigt placera 50 svarta prickar i en 128-128 vit bakgrundsbild. Vi syntetiserar sedan en 256 ́256 målbild genom att slumpmässigt översätta och störa blockpunkt positioner från dem i mallen. Därefter lägger vi till slumpmässiga bullerpunkter till målbilden för att simulera bakgrundsklump-
Bildmatchning på successiv konvexisering och linjär programmering REF kan framgångsrikt känna igen mänskliga ställningar i belamrade bilder och videor Yogaposer, skridsko- och baseballställningar är erkända med hjälp av detta tillvägagångssätt.
Recognizing Posture in Pictures with Successive Convexification and Linear Programming
{'venue': 'IEEE MultiMedia', 'journal': 'IEEE MultiMedia', 'mag_field_of_study': ['Computer Science']}