Att skapa en ny textbeskrivning av en bild är ett intressant problem som kopplar samman datorseende och bearbetning av naturligt språk. I detta dokument presenterar vi en enkel modell som kan generera beskrivande meningar med en provbild. Denna modell har ett starkt fokus på syntaxen i beskrivningarna. Vi tränar en rent bilinjär modell som lär sig ett mått mellan en bildrepresentation (genererad från ett tidigare utbildat Convolutional Neural Network) och fraser som används för att beskriva dem. Systemet kan sedan härleda fraser från ett givet bildprov. Baserat på syntaxstatistik föreslår vi en enkel språkmodell som kan producera relevanta beskrivningar för en given testbild med hjälp av de fraser som härleds. Vår strategi, som är betydligt enklare än toppmoderna modeller, uppnår jämförbara resultat i två populära datauppsättningar för uppgiften: Flickr30k och den nyligen föreslagna Microsoft COCO.
I REF, Lebret et al. förutsäga fraser från en bild och kombinera dem med en enkel språkmodell för att generera beskrivningen.
Phrase-based Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}