Vi introducerar ett tillvägagångssätt för att konvertera monoljud inspelat av en 360 • videokamera till rumsligt ljud, en representation av fördelningen av ljud över hela visningssfären. Rumsligt ljud är en viktig komponent i uppslukande 360 • videovisning, men rumsliga ljudmikrofoner är fortfarande sällsynta i nuvarande 360 • videoproduktion. Vårt system består av end-to-end utbildningsbara neurala nätverk som separerar enskilda ljudkällor och lokaliserar dem på visningssfären, beroende på multi-modal analys av ljud och 360 • videoramar. Vi introducerar flera dataset, inklusive en filmade oss själva, och en in-the-wild från YouTube, bestående av 360 • videor uppladdade med rumsligt ljud. Under utbildningen fungerar mark-truth rumsligt ljud som självsupervision och en blandad ner monospår bildar ingången till vårt nätverk. Med vårt tillvägagångssätt visar vi att det är möjligt att härleda den rumsliga platsen för ljudkällor baserade endast på 360 • video och en mono ljudspår.
Parallellt arbete till vår REF genererar ambisonics (audio för hela visningssfären) givet 360 • video och dess monoljud.
Self-Supervised Generation of Spatial Audio for 360 Video
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}