Vi tar itu med problemet med finkornig aktivitet lokalisering från tidsmässigt otrimmade webbvideor. Vi antar att endast svaga kommentarer på videonivå finns tillgängliga för utbildning. Målet är att använda dessa svaga etiketter för att identifiera temporalsegment som motsvarar åtgärderna, och lära sig modeller som generaliserar till okonstruerade webbvideor. Vi finner att webbbilder som frågas ut av actionnamn tjänar som vällokaliserade höjdpunkter för många åtgärder, men är Bullily märkt. För att lösa detta problem föreslår vi en enkel men effektiv metod som tar svaga videoetiketter och bullriga bildetiketter som ingång, och genererar lokala handlingsramar som utgång. Detta uppnås genom cross-domain överföring mellan videoramar och webbbilder, med hjälp av förtränade djupa konvolutionella neurala nätverk. Vi använder sedan de lokaliserade handlingsramarna för att träna upp handlingsigenkänningsmodeller med långsiktiga korttidsminnesnätverk. Vi samlar in en finkornig sport action data som FGA-240 av mer än 130.000 YouTube-videor. Den har 240 finslipade åtgärder inom 85 idrottsaktiviteter. Övertygande resultat visas på FGA-240-datasetet, samt THUMOS 2014-localization-datasetet med otrimmade träningsvideor.
Sol och al. REF använder webbbilder som innan LSTM-modellen tränas för att förbättra aktivitetslokaliseringsprestandan med endast kommentarer på videonivå.
Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images
{'venue': "MM '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}