Vi överväger scenarier där vi vill utföra gemensam scen förståelse, objektspårning, aktivitetsigenkänning, och andra uppgifter i miljöer där flera människor bär kroppsslitna kameror medan en tredje person statisk kamera också fångar scenen. För att göra detta måste vi etablera person-nivåkorrespondenser över första- och tredjepersonsvideor, vilket är utmanande eftersom kamerabäraren inte är synlig från sin egen egocentriska video, vilket förhindrar användning av direkt funktionsmatchning. I detta dokument föreslår vi en ny semi-Siamese Convolutional Neural Network-arkitektur för att ta itu med denna nya utmaning. Vi formulerar problemet som att lära sig en gemensam inbäddning utrymme för första och tredje person videor som beaktar både rumsliga och rörelse-domäner. En ny triplet förlustfunktion är utformad för att minimera avståndet mellan rätt första och tredje person matcher samtidigt maximera avståndet mellan felaktiga. Denna end-to-end-strategi presterar betydligt bättre än flera baslinjer, bland annat genom att lära sig de första och tredje person-funktioner som är optimerade för att matcha tillsammans med själva distansmåttet.
Fläkt et al. REF studerade ett liknande problem genom att lära sig en gemensam funktion inbädda utrymme från första och tredje person videor med ett två-stream semi-Siamese nätverk.
Identifying First-Person Camera Wearers in Third-Person Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}