Videoförståelse är ett av de mest utmanande ämnena i datorseendet. I detta dokument presenteras en fyra-stegs video förståelse pipeline för att samtidigt erkänna alla atomiska åtgärder och den enskilda pågående aktiviteten i en video. Denna pipeline använder objekt och rörelser från videon och ett grafbaserat nätverk för kunskapsrepresentation som tidigare referens. Två djupa nätverk utbildas för att identifiera objekt och rörelser i varje videosekvens i samband med en åtgärd och låga bildfunktioner används för att identifiera objekt som är av intresse för videosekvensen. Förtroendepoäng tilldelas objekt av intresse för att representera deras engagemang i handlingen och till rörelseklasser baserade på resultat från ett djupt neuralt nätverk som klassificerar en pågående handling i video till rörelseklasser. Förtroendepoäng beräknas för varje kandidat funktionell enhet att associera dem med en åtgärd med hjälp av ett nätverk för kunskapsrepresentation, objektkonfidenser och rörelsekonfidenser. Varje åtgärd är därför associerad med en funktionell enhet, och sekvensen av åtgärder utvärderas för att identifiera den enda aktivitet som förekommer i videon. Den kunskapsrepresentation som används i rörledningen kallas det funktionella objektorienterade nätverket, som är ett grafbaserat nätverk som är användbart för kodning av kunskap om manipuleringsuppgifter. Experiment utförs på en datauppsättning av matlagningsvideor för att testa den föreslagna algoritmen med åtgärdsinferens och aktivitetsklassificering. Experiment visar att användningen av ett funktionellt objektorienterat nätverk förbättrar videoförståelsen avsevärt. Index Terms-Video förståelse, aktivitet förståelse, video kunskap representation.
I REF föreslogs ett ramverk för videoförståelse som använder ett djupt konvolutionsnätverk tillsammans med en kunskapsrepresentation.
Long Activity Video Understanding Using Functional Object-Oriented Network
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}