I det här dokumentet presenterar vi en metod för att använda 2D-2D punktmatcher mellan bilder tagna under olika bildförhållanden för att träna ett konvolutionellt neuralt nätverk för semantisk segmentering. Enforcing etikettkonsistens över matcherna gör den slutliga segmenteringsalgoritmen robust till säsongsmässiga förändringar. Vi beskriver hur dessa 2D-2D-matcher kan genereras med liten mänsklig interaktion genom geometriskt matchande punkter från 3D-modeller byggda från bilder. Två cross-season korrespondens dataset skapas som ger 2D-2D-matcher över säsongförändringar samt från dag till natt. Datauppsättningarna görs tillgängliga för allmänheten för att underlätta ytterligare forskning. Vi visar att tillägg av korrespondens som extra övervakning under träning förbättrar segmenteringen prestanda i det konvolutionella neurala nätverket, vilket gör det mer robust till säsongsmässiga förändringar och väderförhållanden.
Under utbildningen använder vi 2D-2D-punktsmatcher REF för att främja enhetlighet i segmenteringarna över säsongsmässiga förändringar och olika väderförhållanden.
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}