Titta på en 360 • sportvideo kräver en tittare att kontinuerligt välja en visningsvinkel, antingen genom en sekvens av musklick eller huvudrörelser. För att avlasta betraktaren från denna "360 piloting" uppgift föreslår vi "djup 360 pilot" -en djupt lärande-baserad agent för piloting genom 360 • sportvideor automatiskt. Vid varje ram observerar agenten en panoramabild och har kunskap om tidigare valda synvinklar. Uppgiften för agenten är att skifta den aktuella visningsvinkeln (dvs. åtgärd) till nästa föredragna (dvs. mål). Vi föreslår att direkt lära sig en online-policy av agenten från data. Vi använder oss särskilt av en toppmodern objektdetektor för att föreslå några objekt av intresse (gula lådor i Bild. 1).................................................................. Därefter används ett återkommande neuralt nätverk för att välja huvudobjektet (gröna streckrutor i Bild. 1).................................................................. Med tanke på huvudobjektet och tidigare valda visningsvinklar, går vår metod tillbaka en förskjutning i visningsvinkel för att flytta till nästa. Vi använder den policy gradient teknik för att gemensamt träna vår pipeline, genom att minimera: (1) en regressionsförlust som mäter avståndet mellan de utvalda och marken sanning tittarvinklar, (2) en jämnhet förlust uppmuntrar smidig övergång i visningsvinkel, och (3) maximerar en förväntad belöning för att fokusera på ett förgrundsobjekt. För att utvärdera vår metod byggde vi en ny 360-Sports video dataset bestående av fem sportdomäner. Vi tränade domänspecifika agenter och uppnådde den bästa prestandan på att se vinkelvalnoggrannhet och användarnas preferenser jämfört med [53] och andra baslinjer.
I REF presenteras en metod för lotsning genom 360 sportvideor.
Deep 360 Pilot: Learning a Deep Agent for Piloting through 360° Sports Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}