I detta dokument studerar vi uppgiften att upptäcka semantiska delar av ett föremål, t.ex. ett hjul i en bil, under partiell ocklusion. Vi föreslår att alla modeller ska tränas utan att man ser ocklusioner samtidigt som man kan överföra den inlärda kunskapen för att hantera ocklusioner. Denna inställning lindrar svårigheten att samla in en exponentiellt stor datauppsättning för att täcka ocklusionsmönster och är mer nödvändig. I detta scenario ger de förslagsbaserade djupa nätverken, som RCNN-serien, ofta otillfredsställande resultat, eftersom både förslagets extraktions- och klassificeringsfaser kan förvirras av de irrelevanta ockludrarna. För att ta itu med detta föreslog [25] en omröstningsmekanism som kombinerar flera lokala visuella signaler för att upptäcka semantiska delar. De semantiska delarna kan fortfarande upptäckas även om vissa visuella signaler saknas på grund av ocklusioner. Denna metod är dock manuellt utformad, vilket är svårt att optimera på ett end-to-end sätt. I detta dokument presenterar vi DeepVoting, som införlivar den robusthet [25] som visas i ett djupt nätverk, så att hela rörledningen kan optimeras gemensamt. Specifikt lägger det till två lager efter de mellanliggande funktionerna i ett djupt nätverk, t.ex. pool-4 lagret av VGGNet. Det första lagret extraherar bevis för lokala visuella signaler, och det andra lagret utför en röstningsmekanism genom att använda det rumsliga förhållandet mellan visuella signaler och semantiska delar. Vi föreslår också en förbättrad version DeepVoting+ genom att lära sig visuella signaler från sammanhang utanför objekt. I experiment uppnår DeepVoting betydligt bättre prestanda än flera baslinjemetoder, inklusive Faster-RCNN, för semantisk deldetektering under ocklusion. Dessutom, Deep-Roting har förklaring eftersom detektionsresultaten kan diagnostiseras genom att titta upp röstsignalerna.
Deep Voice REF föreslår att man utnyttjar rumslig information mellan visuella och semantiska delar och även lär sig visuella signaler från sammanhanget utanför ett objekt.
DeepVoting: A Robust and Explainable Deep Network for Semantic Part Detection Under Partial Occlusion
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}