Djupflöde Separat lärande Gemensamt lärande (Vårt) Bild. 1 : Gemensamt lärande v.s. Separat inlärning. Ensiktsdjupsförutsägelse och optisk flödesuppskattning är två mycket korrelerade uppgifter. Befintligt arbete tar dock ofta upp dessa två uppgifter isolerat. I detta dokument föreslår vi en ny cross-task konsekvens förlust att par utbildning av dessa två problem med hjälp av omärkta monokulära videor. Genom att upprätthålla de underliggande geometriska begränsningarna visar vi avsevärt förbättrade resultat för båda uppgifterna. Abstrakt. Vi presenterar en oövervakad inlärningsram för att samtidigt träna single-view djup förutsägelse och optiska flödesuppskattning modeller med omärkta videosekvenser. Befintliga oövervakade metoder utnyttjar ofta ljusstyrkans kontinuitet och rumslig jämnhet före att träna djup eller flödesmodeller. I detta dokument föreslår vi att den geometriska konsekvensen ska utnyttjas som ytterligare tillsynssignaler. Vår kärnidé är att för stela regioner kan vi använda det förutsagda scendjupet och kamerans rörelse för att syntetisera 2D optiskt flöde genom att bakåtprojicera det inducerade 3D scenflödet. Skillnaden mellan det stela flödet (från djupförutsägelse och kamerarörelse) och det uppskattade flödet (från optisk flödesmodell) gör att vi kan införa en cross-task konsistensförlust. Medan alla nätverk är gemensamt optimerade under utbildningen, kan de tillämpas självständigt vid provtillfället. Omfattande experiment visar att våra djup- och flödesmodeller på ett gynnsamt sätt jämför med toppmoderna oövervakade metoder.
Zou m.fl. REF utnyttjar överensstämmelse mellan djup och optiskt flöde för att förbättra prestandan.
DF-Net: Unsupervised Joint Learning of Depth and Flow using Cross-Task Consistency
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}