I detta arbete föreslår vi ett nytt ramverk för oövervakat lärande för händelsekameror som bara lär sig rörelseinformation från händelseströmmen. I synnerhet föreslår vi en input representation av händelserna i form av en diskretiserad volym som upprätthåller den timliga fördelningen av händelserna, som vi passerar genom ett neuralt nätverk för att förutsäga händelsernas rörelse. Denna rörelse används för att försöka ta bort varje rörelse oskärpa i händelsebilden. Vi föreslår sedan en förlust funktion tillämpas på rörelsen kompenserad händelse bild som mäter rörelsen suddig i denna bild. Vi utbildar två nätverk med detta ramverk, ett för att förutsäga optiskt flöde, och ett för att förutsäga egorörelser och djup, och utvärdera dessa nätverk på Multi Vehicle Stereo Event Camera dataset, tillsammans med kvalitativa resultat från en mängd olika scener.
I REF använder de ytterligare ett händelseformat för att träna två nätverk för att förutsäga flöde, kamera ego-rörelse och djup för statiskt landskap.
Unsupervised Event-Based Learning of Optical Flow, Depth, and Egomotion
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}