Händelsekameror är synsensorer som registrerar asynkrona strömmar av ljusstyrkeförändringar per pixel, som kallas "händelser". De har tilltalande fördelar jämfört med rambaserade kameror för datorseende, inklusive hög temporal upplösning, hög dynamisk räckvidd, och ingen rörelse oskärpa. På grund av den glesa, icke-uniforma spatiotemporala layouten av händelsesignalen aggregerar mönsterigenkänningsalgoritmer vanligtvis händelser till en rutnätsbaserad representation och därefter bearbetar den genom en standardseende pipeline, t.ex. Convolutional Neural Network (CNN). I detta arbete introducerar vi en allmän ram för att omvandla händelseströmmar till rutnätsbaserade representationer genom en sekvens av olika operationer. Vårt ramverk har två huvudsakliga fördelar: (i) gör det möjligt att lära sig input event representation tillsammans med den uppgift dedikerade nätverket i ett slutsätt, och (ii) fastställer en taxonomi som förenar majoriteten av extant händelse representationer i litteraturen och identifierar nya. Empiriskt visar vi att vår strategi för att lära sig händelserepresentationen end-to-end ger en förbättring på cirka 12 % av den optiska flödesuppskattningen och objektigenkänningen över de senaste metoderna. Kvalitativa resultat kan ses i följande video: https://youtu.be/bQtSx59GXRY. Projektets kod kommer att släppas snart.
Det mest nära relaterat till det nuvarande arbetet lär sig REF en tät representation end-to-end direkt från råa händelser.
End-to-End Learning of Representations for Asynchronous Event-Based Data
{'venue': 'In proc. ICCV 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}