Vi introducerar ett kompakt nätverk för holistisk scenflödesuppskattning, kallad SENSE, som delar gemensamma kodare funktioner bland fyra nära relaterade uppgifter: optisk flödesuppskattning, skillnadsuppskattning från stereo, ocklusionsuppskattning och semantisk segmentering. Vår nyckelinsikt är att delningsfunktioner gör nätverket mer kompakt, inducerar bättre funktioner representationer, och kan bättre utnyttja interaktioner mellan dessa uppgifter för att hantera delvis märkta data. Med en delad kodare kan vi flexibelt lägga till avkodare för olika uppgifter under träningen. Denna modulära design leder till en kompakt och effektiv modell vid inferencetid. Genom att utnyttja samspelet mellan dessa uppgifter kan vi införa destillation och självövervakade förluster utöver övervakade förluster, som bättre kan hantera delvis märkta realworld data. SENSE uppnår toppmoderna resultat på flera optiska flödesriktmärken och löper lika snabbt som nätverk som är särskilt utformade för optiskt flöde. Den jämför också gynnsamt mot teknikens tillstånd på stereo och scenflöde, samtidigt som den konsumerar mycket mindre minne.
Ungefär som i en multi-task lärande setup använder SENSE REF en delad kodare för alla fyra uppgifter, som kan utnyttja interaktioner mellan de olika uppgifterna och leder till ett kompakt nätverk.
SENSE: a Shared Encoder Network for Scene-flow Estimation
{'venue': 'International Conference on Computer Vision 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}