Utseende och rörelse är två viktiga komponenter för att skildra och karakterisera videons innehåll. För närvarande har de två strömmodellerna uppnått toppmoderna föreställningar om videoklassificering. Utvinning av rörelseinformation, särskilt i form av optiska flödesfunktioner, är dock extremt kostsamt att beräkna, särskilt för storskalig videoklassificering. I detta dokument föreslår vi ett rörelsehallucinationsnätverk, nämligen MoNet, för att föreställa sig de optiska flödesfunktionerna från utseendet, utan att förlita sig på den optiska flödesberäkningen. Speciellt, MoNet modellerar temporal relationen av utseende funktioner och utnyttjar kontextuella relationer av de optiska flödesfunktionerna med samtidiga anslutningar. Omfattande experimentella resultat visar att det föreslagna MoNet effektivt och effektivt kan hallucinera de optiska flödesfunktionerna, som tillsammans med utseendefunktionerna konsekvent förbättrar videoklassificeringens prestanda. Dessutom kan MoNet bidra till att minska nästan hälften av beräknings- och datalagringsbördorna för den två-ströms videoklassificeringen. Vår kod finns på https://github.com/ YongyiTang92/MoNet-Features.
Monet modellerar tidsförhållandet mellan utseende funktioner och samtidigt beräknar kontextuell relation av optiska flödesfunktioner med hjälp av LSTM REF.
Hallucinating Optical Flow Features for Video Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}