Abstrakt. Bildtextering är en multimodal uppgift som omfattar datorseende och behandling av naturligt språk, där målet är att lära sig en kartläggning från bilden till dess beskrivning av det naturliga språket. I allmänhet, karteringsfunktionen läras från en utbildning uppsättning av bild-caption par. För vissa språk finns det dock kanske inte någon stor bildtext med parade kortus. Vi presenterar en strategi för detta oparade bildtextproblem genom språksvängning. Vår metod kan effektivt fånga egenskaperna hos en bildtextur från pivotspråket (kinesiska) och anpassa den till målspråket (engelska) med hjälp av en annan pivot-mål (kinesiska-engelska) mening parallell corpus. Vi utvärderar vår metod på två bild-till-engelska referensdataset: MSCOCO och Flickr30K. Kvantitativa jämförelser mot flera referensmetoder visar hur effektiv vår metod är.
Gu m.fl. REF adress oparade bildtexturering från ett annat perspektiv, med hjälp av ett mellanspråk där parade data finns tillgängliga, och sedan översätta bildtexten till målspråket med hjälp av parallell corpora.
Unpaired Image Captioning by Language Pivoting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}