Pose uppskattning är ett grundläggande steg i många artificiella vision uppgifter. Den består av att uppskatta 3D-pose av ett objekt med avseende på en kamera från objektets 2D-projektion. Nuvarande toppmoderna implementationer fungerar på bilder. Dessa implementationer är beräknings dyrt, särskilt för realtidsapplikationer. Scener med en snabb dynamik som överstiger 30-60 Hz kan sällan bearbetas i realtid med konventionell hårdvara. Detta dokument presenterar en ny metod för händelsebaserad 3D-objekt pose estimation, med full användning av den höga tidsupplösningen (1 μs) av asynkrona visuella händelser från en enda neuromorf kamera. Med en första uppskattning av pose, varje inkommande händelse används för att uppdatera pose genom att kombinera både 3D och 2D kriterier. Vi visar att den asynkrona höga temporal upplösningen av den neuromorfiska kameran gör att vi kan lösa problemet på ett inkrementellt sätt och uppnå realtidsprestanda med en uppdateringshastighet på flera hundra kHz på en konventionell bärbar dator. Vi visar att den höga temporal upplösningen av neuromorfa kameror är en viktig funktion för att utföra korrekt pose uppskattning. Experiment tillhandahålls som visar algoritmens prestanda på verkliga data, inklusive snabbt rörliga objekt, ocklusioner och fall där den neuromorfiska kameran och objektet båda är i rörelse.
Den första 3D-spårningsmetoden föreslogs i REF, som uppskattar 3D utgör uppskattning av stela objekt.
Neuromorphic Event-Based 3D Pose Estimation
{'venue': 'Front. Neurosci.', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}