Trots de betydande framsteg som gjorts under de senaste åren är bildtextteknikerna fortfarande långt ifrån perfekta. Domar som framställts med hjälp av befintliga metoder, t.ex. De som bygger på RNN är ofta alltför stela och saknar variabilitet. Denna fråga är relaterad till en inlärningsprincip som allmänt används i praktiken, det vill säga att maximera sannolikheten för utbildning prover. Denna princip uppmuntrar till hög likhet med "jord-sanningen" undertexter, samtidigt som andra rimliga beskrivningar undertrycks. Konventionella mätvärden, t.ex. BLEU och METEOR förespråkar också sådana restriktiva metoder. I detta dokument utforskar vi ett alternativt tillvägagångssätt, i syfte att förbättra naturen och mångfalden - två väsentliga egenskaper hos mänskligt uttryck. Särskilt föreslår vi en ny ram baserad på villkorliga Generativa Adversarial Networks (CGN), som tillsammans lär sig en generator för att producera beskrivningar som är beroende av bilder och en utvärderare för att bedöma hur väl en beskrivning passar det visuella innehållet. Det är värt att notera att utbildning en sekvensgenerator är nontrivial. Vi övervinna svårigheten genom policy Gradient, en strategi som härrör från förstärkning Lärande, som gör det möjligt för generatorn att få tidig feedback på vägen. Vi testade vår metod på två stora dataset, där den var konkurrenskraftig mot verkliga människor i vår användarstudie och överträffade andra metoder på olika uppgifter.
REF använder villkorligt generativt kontradiktoriskt nätverk (GAN) för att generera olika bildtext i enlighet med ingångsbullret.
Towards Diverse and Natural Image Descriptions via a Conditional GAN
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}