I detta papper presenterar vi övervakning-för-registrering, en oövervakad strategi för att förbättra precisionen av ansikts landmärken detektorer på både bilder och video. Vår viktigaste iakttagelse är att upptäckterna av samma landmärke i angränsande ramar bör stämma överens med registrering, dvs. optiskt flöde. Intressant nog är koherensen av optiskt flöde en källa till övervakning som inte kräver manuell märkning, och kan utnyttjas under detektorutbildning. Till exempel kan vi i träningsförlustfunktionen hävda att en upptäckt landmärke vid ram t‐1 följt av optisk flödesspårning från ram t‐1 till ram t bör sammanfalla med platsen för detektion vid ram t. I huvudsak, övervakning by-registrering ökar utbildningsförlust funktion med en registreringsförlust, vilket utbildning detektorn att ha utgång som inte bara är nära annoteringar i märkta bilder, men också överensstämmer med registrering på stora mängder omärkta videor. End-to-end utbildning med registreringsförlusten möjliggörs genom en differentiable Lucas-Kanade operation, som beräknar optisk flödesregistrering i det främre passet, och back-propagates gradienter som uppmuntrar temporal samstämmighet i detektorn. Utgången av vår metod är en mer exakt bildbaserad landmärkesdetektor, som kan appliceras på enstaka bilder eller video. Med övervakning-för-registrering, visar vi (1) förbättringar i ansikts landmärke upptäckt på både bilder (300W, ALFW) och video (300VW, Youtube-Celebraities), och (2) betydande minskning av jittering i video upptäckter.
I REF föreslogs en metod för övervakning för registrering, som i hög grad använde omärkta videor för utbildning av en landmärkesdetektor.
Supervision-by-Registration: An Unsupervised Approach to Improve the Precision of Facial Landmark Detectors
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}