Detta papper presenterar en algoritm för uppskattning av rörelse av texturerade objekt som genomgår icke-rigid deformationer över en sekvens av bilder. En aktiv meshmodell, som är ett finit element deformerbart membran, introduceras för att uppnå en effektiv representation av globala och lokala deformationer. Nätet är konstruerat med ett adaptivt trianguleringsförfarande som placerar fler trianglar över höga detaljområden. Genom robust minsta kvadratteknik och modalanalys uppnås en effektiv uppskattning av globala objektdeformationer, baserat på en uppsättning glesa förskjutningsmätningar. En lokal warpning procedur tillämpas sedan för att minimera intensiteten matchning fel mellan efterföljande bilder, och därmed uppskatta lokala deformationer. Bland de viktigaste bidragen av detta papper är nya tekniker som utvecklats för att förvärva kunskap om objektdynamiken och strukturen direkt från bildsekvensen även i avsaknad av tidigare intelligens om scenen. I synnerhet utvecklas först ett grovt-till-fint estimeringssystem som anpassar modellen till lokalt deformerande egenskaper. Därefter används de viktigaste komponenterna modal analys för att ackumulera kunskap om objektdynamiken. Denna kunskap utnyttjas slutligen för att begränsa objektets deformation. Problemet med att spåra modellen över tiden tas upp, och ett nytt förslag som kompenserar förutsägelser föreslås för att underlätta detta. En ny metod för bestämning av de dynamiska huvudaxlarna för deformation utvecklas. De experimentella resultaten visar effektiviteten och robustheten i det föreslagna systemet, som har många potentiella tillämpningar inom områdena bildkodning, bildanalys och datorgrafik. I detta papper anser vi problemet med att spåra ett icke-rigid objekt med hjälp av en sekvens av bilder. Behovet av icke-rigid rörelseuppskattning uppstår i många tillämpningar av aktuellt intresse inom områdena bildförståelse, bildkodning och datorgrafik. Exempel på sådana tillämpningar är: mycket låg bithastighetskodning där ett robust, artefaktfri rörelsemodelleringssystem krävs; deformationsanalys av vävnadsbilder för att underlätta medicinsk diagnos; och naturliga grafikanimeringar baserade på bildförvrängning. Uppskattningen av icke-rigid eller delvis rigid rörelse är föremål för ökad uppmärksamhet i den senaste litteraturen. I [1, 2] objekt modellerades som delvis stel, medan i [3, 4] objekt rörelse beskrevs som en perturbation av stel rörelse. För att korrekt beskriva icke-rigida deformationer, fysikbaserade modeller har också föreslagits [5, 6]. Dessa simulerar formen och det dynamiska beteendet hos fysiska objekt. År [7] utvecklades det fysikbaserade paradigmet med aktiva konturer, vilket simulerade ett elastiskt material som deformerats av krafter som motsvarar bildintensitetsgradienter. Dessa resultat utvidgades till 3D-fallet genom att använda finita element modeller för att spåra 3D-funktionspunktkorrespondenser i [8, 9]. För att få en analytisk beskrivning av formen och deformationen av objekten, den finita element metod användes i [9, 10, 11]. Metoder med finita element visade sig bättre hantera provtagningsproblemet vid användning av finita-differentierade metoder. Alla ovanstående algoritmer används för att upptäcka och spåra bildfunktioner, såsom intensitet kantgränser, men de kan inte ge en så kallad kanonisk representation [12], dvs.. En analytisk beskrivning av deformationen vid varje objektpunkt. En annan brist med fysikbaserad modellering är att de modeller som produceras är grova och tidigare antaganden om modellparametrarna behövs. En kanonisk representation erhölls i [11] där icke-rigid rörelse modellering utförs via finita element analys, genom att extrahera "deformation lägen" av objektet. Dessa utgör en frekvensordnad ortonormal bas av objektets deformationsutrymme. Även om den modal sönderdelningsteknik som används frikopplar graderna av frihet för objektets deformation, vilket ger fördelar när det gäller att anpassa modellen till data, är det faktiska antalet frihetsgrader inte känt på förhand. Som en lösning på detta problem föreslog [11] att högfrekvenslägen skulle kastas överbord. Detta resulterar dock i förlust av lokala rörelseegenskaper. Dessutom ger de deformationslägen, som motsvarar de generaliserade symmetriaxlarna i formen, endast en suboptimal grund, i det att de inte minimerar felet att representera de faktiska deformationerna som en linjär kombination av element av en minimal bas. Detta fel minimeras när de "huvudaxlar av deformation", som beskrivs i avsnitt V i detta papper, används. I [13] används en aktiv kontur för att spåra objektgränsen. Rörelsevektorer i det inre av objektet interpoleras från gränsen deformeringsvektorer med hjälp av en 2D triangulär mesh. I detta papper använder vi en aktiv mesh för att uppskatta den icke-rigid rörelse av texturerade 2D objekt. En 2D-triangulär mesh placeras över objektet. Efterföljande bilder registreras genom att uppskatta nodala deformationer baserat på minimering av en energifunktion. Denna funktion inkluderar lokal intensitetsmatchning, under lokala såväl som globala smidighet begränsningar, i en grov-till-fin strategi. Den föreslagna algoritmen använder metoder som liknar de warpbaserade rörelseberäkningstekniker som införs i [14, 15] och [16, 17, 18]. I [14, 15] placeras en enhetlig maska över bilden, och rörelse uppskattas genom lokal förvrängning av noderna på maskan. Algoritmen i [16] består av ett nodpunktsvalsförfarande, följt av triangulering med hjälp av valda nodpunkter. Maskan förfinas i rörelsefel områden genom 2 införandet av nya noder och omtriangulation. Algoritmen är beräkningsintensiv och
Inom området prediktiv spårning liknar Malassiotis REF:s arbete strukturen i vår strategi (även om den underliggande modellen är annorlunda): en triangulär mesh beräknas för att täcka den 2-D-bilden av ett texturerat deformerbart objekt av intresse.
Tracking textured deformable objects using a finite-element mesh
{'venue': 'IEEE Trans. Circuits Syst. Video Techn.', 'journal': 'IEEE Trans. Circuits Syst. Video Techn.', 'mag_field_of_study': ['Computer Science']}