Vi föreslår en oövervakad metod för referensupplösning i instruktionsvideor, där målet är att tidsbundet koppla en enhet (t.ex. "dressing") till handlingen (t.ex. "mix yoghurt") som producerade den. Den viktigaste utmaningen är de oundvikliga visuella-lingvista tvetydigheter som uppstår till följd av förändringarna i både utseendet och det att en varelse refererar i videon. Denna utmaning förstärks av det faktum att vi strävar efter att lösa referenser utan tillsyn. Vi tar itu med dessa utmaningar genom att lära oss en gemensam visuallingvistisk modell, där språkliga signaler kan bidra till att lösa de visuella tvetydigheterna och vice versa. Vi verifierar vårt tillvägagångssätt genom att lära oss vår modell oövervakat genom att använda mer än två tusen ostrukturerade matlagningsvideor från YouTube, och visar att vår visuella-lingvistiska modell avsevärt kan förbättras på toppmodern språklig endast modell på referensupplösning i instruktionsvideor.
Huang m.fl. REF fokuserar på sådana tvetydigheter som orsakas av det förändrade utseendet och det hänvisningsuttrycket, och syftar till att lösa referenser utan övervakning.
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}