Vi presenterar en modell som använder en enda förstapersonsbild för att generera en egocentrisk basketrörelsesekvens i form av en 12D kamera konfigurationsbana, som kodar en spelares 3D-plats och 3D-huvud orientering genom hela sekvensen. För att göra detta introducerar vi först ett framtida konvolutionellt neuralt nätverk (CNN) som förutsäger en inledande sekvens av 12D-kamerakonfigurationer, som syftar till att fånga hur verkliga spelare rör sig under en en-mot-ett basketmatch. Vi introducerar också ett målkontrollnätverk, som utbildas för att verifiera att en viss kamerakonfiguration överensstämmer med de slutliga målen för riktiga basketspelare en mot en. Därefter föreslår vi ett omvänt syntesförfarande för att syntetisera en förfinad sekvens av 12D-kamerakonfigurationer som (1) tillräckligt matchar de initiala konfigurationer som förutspås av den framtida CNN, medan (2) maximerar utgången av målkontrollantens nätverk. Slutligen, genom att följa den bana som är resultatet av den förfinade kamerakonfigurationssekvensen, får vi den fullständiga 12D rörelsesekvensen. Vår modell genererar realistiska basket motion sekvenser som fångar målen för verkliga spelare, outperforming standard djupt lärande metoder såsom återkommande neurala nätverk (RNNs), långa kortsiktiga minnesnätverk (LSTMs) och generativa kontrariska nätverk (GANs).
Bertasius m.fl. REF tog upp problemet med rörelseplanering för att generera en egocentrisk basketrörelsesekvens i form av en 12-d kamerakonfigurationsbana.
Egocentric Basketball Motion Planning from a Single First-Person Image
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}