Vi formulerar ett probabilistiskt ramverk för samtidig regionbaserad 2D-segmentering och 2D till 3D pose tracking, med hjälp av en känd 3D-modell. Med tanke på en sådan modell strävar vi efter att maximera diskrimineringen mellan statistiska förgrunds- och bakgrundsutseendemodeller, genom direkt optimering av 3D-positionsparametrarna. Förgrundsregionen avgränsas av nollnivå-uppsättningen av en signerad avstånd inbäddning funktion, och vi definierar en energi över denna region och dess omedelbara bakgrundsmiljö baserat på pixel-wise bakåt medlemskap sannolikheter (i motsats till sannolikheter). Vi härleder differentialerna av denna energi med avseende på pose parametrar av 3D objektet, vilket innebär att vi kan göra en sökning efter rätt pose med hjälp av standard gradient-baserade icke-linjära minimering tekniker. Vi föreslår nya förbättringar på pixelnivå baserat på tidskonsistens och förbättrad online utseende modell anpassning. Dessutom leder enkla förlängningar av vår metod till multi-kamera och multi-objekt spårning som en del av samma ramverk. Den parallella karaktären hos en stor del av bearbetningen i vår algoritm innebär att den är kompatibel med GPU-acceleration, och vi ger detaljer om vår realtidsimplementation, som vi använder för att generera experimentella resultat på både verkliga och artificiella videosekvenser, med ett antal 3D-modeller. Dessa experiment visar nyttan av att använda pixel-wise posteriors snarare än sannolikheter, och visa upp kvaliteter, såsom robusthet till ocklusions och rörelse oskärpa (och även vissa fellägen), av vår tracker.
På samma sätt används pixel-wise bakre sannolikheter REF för att bestämma att bildpixlar runt modellprojektion hör till förgrunden eller bakgrunden.
PWP3D: Real-Time Segmentation and Tracking of 3D Objects
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}