Vi tar itu med problemet med att automatiskt lära sig de viktigaste stegen för att slutföra en viss uppgift, till exempel att byta ett bildäck, från en uppsättning berättade instruktionsvideor. Bidragen från detta dokument är trefaldiga. För det första utvecklar vi en ny oövervakad inlärningsmetod som drar nytta av den kompletterande karaktären hos indatavideon och tillhörande berättande. Metoden löser två klusterproblem, ett i text och ett i video, som tillämpas en efter varandra och kopplas samman genom gemensamma begränsningar för att få en enda sammanhängande sekvens av steg i båda formerna. För det andra samlar vi in och antecknar en ny utmanande datauppsättning av riktiga instruktionsvideor från Internet. Datasetet innehåller cirka 800.000 ramar för fem olika uppgifter 1 som inkluderar komplexa interaktioner mellan människor och objekt, och fångas i en mängd olika inomhus- och utomhusinställningar. För det tredje visar vi experimentellt att den föreslagna metoden automatiskt kan upptäcka, på ett oövervakat sätt, de viktigaste stegen för att uppnå uppgiften och lokalisera stegen i inmatningsvideorna.
Alayrac m.fl. REF-modellen berättade instruktionsvideor för att lära sig sekvensen av de viktigaste stegen för att slutföra en viss uppgift.
Unsupervised Learning from Narrated Instruction Videos
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}