Sammanfattning Detta papper behandlar problemet med icke-rigid video registrering, eller beräkning av optiskt flöde från en referensram till var och en av de efterföljande bilderna i en sekvens, när kameran visar deformerbara objekt. Vi utnyttjar den höga korrelationen mellan 2D banor av olika punkter på samma icke-rigid yta genom att anta att förskjutningen av någon punkt genom hela sekvensen kan uttryckas på ett kompakt sätt som en linjär kombination av en låg-rankad rörelsebas. Denna subrymdsbegränsning fungerar effektivt som en kursregleringsterm som leder till tidsmässigt konsekvent optiskt flöde. Vi formulerar det som en robust mjuk begränsning inom ett varierat ramverk genom att bestraffa flödesfält som ligger utanför det lågrankade grenröret. Den resulterande energifunktion kan frikopplas till optimeringen av ljusstyrkans kontinuitet och rumsliga legaliseringstermer, vilket leder till ett effektivt optimeringssystem. Dessutom föreslår vi ett nytt optimeringssystem för fallet med vektorvärderade bilder, baserat på dubblering av datatermen. Detta gör att vi kan utöka vår strategi för att hantera färgbilder som resulterar i betydande förbättringar av registreringsresultaten. Slutligen tillhandahåller vi ett nytt referensdataset, baserat på rörelsedata från en flagga som viftar i vinden, med tät marksanning optiskt flöde för utvärdering av multiframe optiska flödesalgoritmer för icke-rigida ytor. Våra experiment visar att vårt föreslagna tillvägagångssätt överträffar toppmodernt optiskt flöde och täta icke-rigida registreringsalgoritmer.
För att upptäcka ocklusioner föreslår vi ett nytt lättviktssystem som bygger på REF.
A Variational Approach to Video Registration with Subspace Constraints
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Medicine', 'Computer Science']}