Mänskliga nyckelpunkter är en välstuderad representation av människor. Vi undersöker hur vi kan använda keypoint-modeller för att förbättra personsegmentering på instansnivå. Huvudidén är att utnyttja begreppet en distanstransform av oracle förutsatt keypoints eller uppskattad keypoint värmekartor som en tidigare för person exempel segmentering uppgift inom ett djupt neuralt nätverk. För utbildning och utvärdering tar vi hänsyn till alla de bilder från COCO där både segmentering och mänskliga nyckelpunkter finns tillgängliga. Vi visar först hur orakel keypoints kan öka prestandan hos befintlig mänsklig segmentering modell under inference utan någon utbildning. Därefter föreslår vi en ram för att direkt lära sig en djup instans segmentering modell som är beroende av mänsklig pose. Experimentella resultat visar att vid olika Intersection Over Union (IOU)-trösklar, i en begränsad miljö med orakelnyckelpunkter, uppnår segmenteringsnoggrannheten 10% till 12% relativa förbättringar jämfört med en stark baslinje för orakelbindningslådor. I en mer realistisk miljö, utan oraklet nyckelpunkter, den föreslagna djup person instans segmentering modell som är villkorad på mänsklig pose uppnå 3,8% till 10,5% relativa förbättringar jämfört med dess starkaste baslinje för ett djupt nätverk tränas endast för segmentering.
Tripathi m.fl. REF visar påverkan av mänsklig pose tidigare på personfaktisk segmentering.
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}