Potentialen för agenter, vare sig förkroppsligad eller programvara, att lära sig genom att observera andra agenter som utför förfaranden som involverar objekt och handlingar är rik. Nuvarande forskning om automatisk inlärning bygger i hög grad på åtgärdsetiketter eller videotexter, även under utvärderingsfasen, vilket gör dem ogenomförbara i verkliga scenarier. Detta leder till vår fråga: Kan en procedurs mänskliga-konsensusstruktur läras av en stor uppsättning långa, okonsekventa videor (t.ex. instruktionsvideor från YouTube) med endast visuella bevis? För att besvara denna fråga inför vi problemet med processsegmentering för att segmentera ett videoförfarande i kategorioberoende procedursegment. Eftersom inga storskaliga dataset är tillgängliga för detta problem, samlar vi in en storskalig procedur segmentering dataset med procedursegment tidsmässigt lokaliserad och beskrivs; vi använder matlagningsvideor och namnge datasetet YouCookII 1. Vi föreslår ett återkommande nätverk på segmentsnivå för att generera procedursegment genom att modellera beroendena mellan segment. De genererade segmenten kan användas som förbehandling för andra uppgifter, såsom tät videotextning och händelsetolkning. Vi visar i våra experiment att den föreslagna modellen överträffar konkurrenskraftiga baslinjer i processsegmentering.
REF föreslog en metod för att generera procedursegment för YouCook2-data.
Towards Automatic Learning of Procedures from Web Instructional Videos
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}