Även 360°cameras underlätta fånga av panoramabilder, är det fortfarande utmanande att lägga till realistiska 360°audio som smälter in i den fångade scenen och synkroniseras med kamerans rörelse. Vi presenterar en metod för att lägga till scen-medvetna rumsliga ljud till 360° videos i typiska inomhusscener, med endast en konventionell enkanals mikrofon och en högtalare. Vi observerar att den sena efterklangen av ett rums impulsreaktion vanligtvis används rumsligt och riktningsmässigt. Utnyttja detta faktum, föreslår vi en metod som syntetiserar riktningen impulsrespons mellan någon källa och lyssnande platser genom att kombinera en syntetiserad tidig efterklang del och en uppmätt sen efterklang svans. Den tidiga efterklang simuleras med hjälp av en geometrisk akustisk simulering och förbättras sedan med hjälp av en frekvensmoduleringsmetod för att fånga rumsresonanser. Den sena efterklangen utvinns ur ett registrerat impulssvar, med en noggrant vald tidsperiod som skiljer den sena efterklangen från den tidiga efterklangen. I våra valideringar visar vi att vårt syntetiserade rumsliga ljud stämmer väl överens med inspelningar med hjälp av amisoniska mikrofoner. Slutligen visar vi styrkan i vår metod i flera tillämpningar.
Det finns också verk för att lägga till scen-medveten rumslig ljud till 360 • videor i typiska inomhusscener REF genom att använda en konventionell mono-kanal mikrofon och en högtalare och genom att analysera strukturen på scenen.
Scene-aware audio for 360° videos
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Engineering']}