Genom detta dokument införs ett nytt tillvägagångssätt för uppgiftsinsamling inom ramen för fotgängarspårning, genom att man inför ett tvåstegsprogram för lärande för att matcha par av upptäckter. För det första tränas ett Siamese convolutional neural network (CNN) för att lära sig deskriptorer som kodar lokala spatio-temporala strukturer mellan de två indatabildsplåster, agregerande pixelvärden och optisk flödesinformation. För det andra kombineras en uppsättning kontextuella egenskaper som härrör från positionen och storleken på de jämförda inmatningsplåstren med CNN-utgången med hjälp av en gradienthöjande klassificering för att generera den slutliga matchningsannolikheten. Denna inlärningsmetod valideras med hjälp av en linjär programmeringsbaserad multi-person tracker som visar att även en enkel och effektiv tracker kan överträffa mycket mer komplexa modeller när den matas med våra lärda matchande sannolikheter. Resultat på offentligt tillgängliga sekvenser visar att vår metod uppfyller toppmoderna standarder i flera personer spårning.
I Ref föreslår till exempel författarna att man lär sig funktioner med hjälp av en siamesiska CNN för multimodala ingångar (bilder och optiska flödeskartor).
Learning by tracking: Siamese CNN for robust target association
{'venue': 'Computer Vision and Pattern Recognition Conference Workshops (CVPRW). DeepVision: Deep Learning for Computer Vision. 2016', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}