Vi tar itu med den oövervakade inlärningen av flera sammankopplade problem i lågnivåseendet: enbildsdjupsförutsägelse, kamerarörelseuppskattning, optiskt flöde och segmentering av en video in i den statiska scenen och rörliga regioner. Vår centrala insikt är att dessa fyra grundläggande visionsproblem är kopplade till geometriska begränsningar. Att lära sig att lösa dem tillsammans förenklar därför problemet, eftersom lösningarna kan förstärka varandra. Vi går längre än tidigare arbete genom att utnyttja geometri mer explicit och segmentera scenen i statiska och rörliga regioner. Därför introducerar vi konkurrenssamarbete, ett ramverk som underlättar den samordnade utbildningen av flera specialiserade neurala nätverk för att lösa komplexa problem. Konkurrenskraftiga samarbete fungerar ungefär som förväntan-maximering, men med neurala nätverk som fungerar som båda konkurrenter för att förklara pixlar som motsvarar statiska eller rörliga regioner, och som medarbetare genom en moderator som tilldelar pixlar att vara antingen statiska eller självständigt rörliga. Vår nya metod integrerar alla dessa problem i en gemensam ram och samtidigt skäl om segmenteringen av scenen i rörliga objekt och den statiska bakgrunden, kamerans rörelse, djupet av den statiska scenen struktur, och det optiska flödet av rörliga objekt. Vår modell är tränad utan någon handledning och uppnår toppmodern prestanda bland gemensamma oövervakade metoder på alla delproblem. .......................................
Ranjan m.fl. REF föreslår en konkurrenskraftig samarbetsram som underlättar den samordnade utbildningen av flera specialiserade neurala nätverk för att lösa gemensamma problem.
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}