Detta dokument presenterar en oövervakad strategi för att automatiskt extrahera videobaserad vägledning om objektanvändning, från egocentrisk video och bärbar blickspårning, samlas in från flera användare medan de utför uppgifter. Metoden i) upptäcker aktivitet relevanta objekt, ii) bygger en modell för varje, iii) skiljer olika sätt på vilka varje upptäckt objekt har använts och vi) upptäcker beroenden mellan objektinteraktioner. Arbetet undersöker med hjälp av utseende, position, rörelse och uppmärksamhet, och presenterar resultat med hjälp av varje och en kombination av relevanta funktioner. Dessutom presenteras ett skalbart tillvägagångssätt online och jämförs med resultat offline. I tidningen föreslås en metod för att välja en lämplig videoguide som ska visas för en nybörjare användare som anger hur man använder ett objekt, enbart utlöst av användarens blick. Det potentiella hjälpmedelsläget kan också rekommendera ett objekt som ska användas härnäst baserat på den inlärda sekvensen av objektinteraktioner. Tillvägagångssättet testades på en mängd olika dagliga uppgifter som att initiera en skrivare, förbereda en kaffe och sätta upp en gymmaskin.
Damen presenterade också ett oövervakat tillvägagångssätt mot automatisk videobaserad vägledning i miniatyr och i helt bärbar form REF.
You-Do, I-Learn: Egocentric Unsupervised Discovery of Objects and their Modes of Interaction Towards Video-Based Guidance
{'venue': 'Comput. Vis. Image Underst.', 'journal': 'Comput. Vis. Image Underst.', 'mag_field_of_study': ['Computer Science']}