För många applikationer med begränsad beräkning, kommunikation, lagring och energiresurser finns det ett absolut behov av datorseende metoder som kan välja en informativ delmängd av indatavideon för effektiv bearbetning i eller nära realtid. I litteraturen finns det två relevanta grupper av tillvägagångssätt: att generera en "trailer" för en video eller snabbspolning medan du tittar på/behandlar videon. Den första gruppen stöds av video summering tekniker, som kräver behandling av hela videon för att välja en viktig delmängd för att visa för användarna. I den andra gruppen beror aktuella snabbspolningsmetoder antingen på manuell styrning eller automatisk anpassning av uppspelningshastigheten, som ofta inte ger en korrekt representation och som fortfarande kan kräva bearbetning av varje ram. I denna uppsats introducerar vi FastForwardNet (FFNet), en förstärkningslärande agent som får inspiration från videosammanfattning och gör snabbspolning annorlunda. Det är ett online-ramverk som automatiskt snabbspolar en video och presenterar en representativ delmängd av ramar för användare i farten. Det kräver inte att hela videon behandlas, utan bara den del som väljs av snabbspolaren, vilket gör processen mycket beräkningseffektiv. Vår föreslagna metods online-karaktär gör det också möjligt för användarna att börja snabbspola när som helst i videon. Experiment på två verkliga dataset visar att vår metod kan ge bättre representation av indatavideon (ca 6%-20% förbättring av täckningen av viktiga bilder) med mycket mindre bearbetningskrav (mer än 80% minskning av antalet bearbetade ramar).
Senast, Lan et al. REF introducerade FastForwardNet (FFNet), en förstärkning inlärningsbaserad metod som väljer de viktigaste ramarna utan att bearbeta hela videon.
FFNet: Video Fast-Forwarding via Reinforcement Learning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}