Abstrakt. Samtidig spårning i realtid av händer som manipulerar och interagerar med externa objekt har många potentiella tillämpningar i förstärkt verklighet, konkreta datorer och bärbara datorer. Men på grund av svåra ocklusioner, snabba rörelser och enhetliga hand utseende, gemensamt spårning hand och objekt pose är mer utmanande än att spåra någon av de två separat. Många tidigare metoder tar till komplexa multi-camera setups för att åtgärda ocklusionsproblem och ofta använder dyra segmentering och optimering steg som gör realtidsspårning omöjlig. I detta dokument föreslår vi en realtidslösning som använder en enda RGB-D-kamera. Kärnan i vår strategi är en 3D ledad Gaussian blandning anpassning strategi skräddarsydd för handobjekt spårning som möjliggör snabb pose optimering. Inställningsenergin använder nya regularizers för att ta itu med ocklusioner och hand-objekt kontakter. För ökad robusthet styr vi optimeringen med diskriminerande delklassificering av handen och segmentering av objektet. Vi utförde omfattande experiment på flera befintliga dataset och introducerar en ny kommenterad hand-objekt dataset. Kvantitativa och kvalitativa resultat visar de viktigaste fördelarna med vår metod: snabbhet, noggrannhet och robusthet.
Arbetet i REF föreslog en realtidslösning som använder en enda råvaru RGB-D-kamera för att spåra handmanipulation.
Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}