Automatisk generering av naturligt språk från bilder har väckt stor uppmärksamhet. I denna uppsats tar vi ett steg längre för att undersöka generation av poetiskt språk (med flera rader) till en bild för automatisk poesiskapelse. Denna uppgift omfattar flera utmaningar, bland annat upptäcka poetiska ledtrådar från bilden (t.ex. hopp från grönt), och generera dikter för att tillfredsställa både relevans för bilden och poetiskhet på språknivå. För att lösa ovanstående utmaningar formulerar vi diktgenerationens uppgift i två korrelerade deluppgifter genom mångsidig utbildning via policygradient, genom vilken den tvärmodala relevansen och poetiska språkstilen kan säkerställas. För att ta fram poetiska ledtrådar från bilder föreslår vi att vi lär oss en djupt kopplad visuell-poetisk inbäddning, där den poetiska representationen från objekt, känslor 1 och scener i en bild kan läras gemensamt. Två discriminativa nätverk introduceras ytterligare för att vägleda diktgenerationen, inklusive en multimodal discriminator och en dikt-stil discriminator. För att underlätta forskningen, har vi släppt två diktdatauppsättningar av mänskliga annoterare med två distinkta egenskaper: 1) den första mänskliga kommenterade bild-till-poem par dataset (med 8, 292 par totalt), och 2) att datera den största offentliga engelska dikten corpus dataset (med 92, 265 olika dikter totalt). Omfattande experiment utförs med 8K-bilder, bland vilka 1.5K-bilden väljs slumpmässigt för utvärdering. Både objektiva och subjektiva utvärderingar visar de överlägsna föreställningarna mot de toppmoderna metoderna för diktgenerering från bilder. En falk äter under solnedgången. Falken står på jorden. Som en falk vid nattens jakt som den svarte riddaren väntar på att ta över kampen Med allt sitt sinne och kan Turing test utförs med över 500 mänskliga ämnen, bland vilka 30 utvärderare är poesiexperter, visar effektiviteten i vår strategi.
Uppgiften att syntetisera flera rader poesi för en given bild REF utförs genom att extrahera poetiska ledtrådar från bilder.
Beyond Narrative Description: Generating Poetry from Images by Multi-Adversarial Training
{'venue': "MM '18", 'journal': None, 'mag_field_of_study': ['Sociology', 'Computer Science']}