Djupa konvolutionella nätverk för semantisk bildsegmentering kräver vanligtvis storskaliga märkta data, t.ex. ImageNet och MS COCO, för förutbildning i nätverk. För att minska annoteringsinsatserna föreslås nyligen självövervakad semantisk segmentering för att förutbilda ett nätverk utan några etiketter som tillhandahålls av människor. Nyckeln till denna nya inlärningsform är att utforma en proxyuppgift (t.ex. bildfärgning), från vilken en diskriminerande förlust kan formuleras på omärkta data. Många proxyuppgifter saknar dock de kritiska övervakningssignaler som kan ge upphov till diskriminerande representation för uppgiften för segmentering av målbilden. Självtillsynens resultat är alltså fortfarande långt ifrån den övervakade förutbildningen. I denna studie övervinner vi denna begränsning genom att införa en "mix-and-match" (M&M) inställningsfas i självövervakningsledningen. Den föreslagna metoden är lätt att ansluta till många självövervakningsmetoder och använder inte fler kommenterade prover än den ursprungliga processen. Ändå är det kapabel att öka prestanda målbild segmentering uppgift att överträffa fullt övervakad för tränad motsvarighet. Förbättringen möjliggörs genom att man bättre utnyttjar de begränsade pixelvisa kommentarerna i måldatauppsättningen. I synnerhet introducerar vi först "mix"-stadiet, som glest tar prover och blandar lappar från det mål som satts upp för att återspegla rik och varierad lokal patchstatistik över målbilder. En "match" scen bildar sedan en klassvis ansluten graf, som kan användas för att härleda en stark triplet-baserad discriminativ förlust för finjustering av nätverket. Vårt paradigm följer standard praxis i befintliga självövervakade studier och inga extra data eller märkning krävs. Med den föreslagna M&M-metoden kan för första gången en självövervakningsmetod uppnå jämförbar eller till och med bättre prestanda jämfört med dess förtränade ImageNet-motsvarighet på både PASCAL VOC2012-datauppsättning och CityScapes-datauppsättning.
I REF föreslås en mix-and-matchningsstrategi som en föregångare till finjustering på måldomänen.
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}