Abstract-Automatiska assistenter kunde vägleda en person eller en robot vid utförandet av nya uppgifter, såsom byte av bildäck eller omplantering av en anläggning. Att skapa sådana assistenter är dock inte trivialt och kräver förståelse för visuellt och verbalt innehåll i en video. Mot detta mål tar vi här upp problemet med att automatiskt lära sig de viktigaste stegen i en uppgift från en uppsättning berättade instruktionsvideor. Vi utvecklar en ny oövervakad inlärningsstrategi som drar nytta av den kompletterande karaktären hos indatavideon och tillhörande berättande. Metoden samlar i tur och ordning textvisa och visuella representationer av en uppgift, där de två klusterproblemen är kopplade till gemensamma begränsningar för att uppnå en enda sammanhängande sekvens av steg i båda tillvägagångssätten. För att utvärdera vår metod samlar vi in och kommenterar en ny utmanande datauppsättning av riktiga instruktionsvideor från Internet. Datasetet innehåller videor för fem olika uppgifter med komplexa interaktioner mellan människor och objekt, fångade i en mängd olika inomhus- och utomhusinställningar. Vi visar experimentellt att den föreslagna metoden automatiskt kan upptäcka, lära och lokalisera de viktigaste stegen i en uppgift i inmatningsvideor.
REF utformar en metod för att automatiskt upptäcka de viktigaste stegen för specifika uppgifter, såsom "brygga kaffe" och "ändra däck", från berättad instruktionsvideor.
Learning from Narrated Instruction Videos