Människor kan föreställa sig en scen från ett ljud. Vi vill att maskiner ska göra det genom att använda villkorliga generativa kontradiktoriska nätverk (GAN). Genom att tillämpa teknikerna inklusive spektral norm, projiceringsdiskriminator och extra klassificering, jämfört med naiva villkorade GAN, kan modellen generera bilder med bättre kvalitet i termer av både subjektiva och objektiva utvärderingar. Nästan tre fjärdedelar av människor är överens om att vår modell har förmågan att generera bilder relaterade till ljud. Genom att mata in olika volymer av samma ljud, vår modell ut olika skalor av förändringar baserat på volymerna, visar att vår modell verkligen vet förhållandet mellan ljud och bilder i viss utsträckning.
Som människa kan föreställa sig en scen baserad på ljud, Wan et al. REF introducerar en ny uppgift att göra maskintänkande som människor och framgångsrikt använt villkorlig GAN för att generera bilder från ljud.
Towards Audio to Scene Image Synthesis using Generative Adversarial Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}