Abstract-Vi presenterar ett system för att automatiskt generera naturliga språkbeskrivningar från bilder. Detta system består av två delar. Den första delen, innehållsplanering, jämnar ut produktionen av datorseendebaserade detekterings- och igenkänningsalgoritmer med statistik som bryts från stora pooler av visuellt beskrivande text för att bestämma de bästa innehållsorden att använda för att beskriva en bild. Det andra steget, ytligt förverkligande, väljer ord för att konstruera naturliga språk meningar baserat på det förutsagda innehållet och allmän statistik från naturligt språk. Vi presenterar flera metoder för att realisera ytan steg och utvärdera var och en med hjälp av automatiska mått av likhet med mänskliga genererade referensbeskrivningar. Vi samlar också in påtvingade val mänskliga utvärderingar mellan beskrivningar från den föreslagna generationen systemet och beskrivningar från konkurrerande metoder. Det föreslagna systemet är mycket effektivt när det gäller att framställa relevanta meningar för bilder. Det genererar också beskrivningar som är särskilt sannare med det specifika bildinnehållet än tidigare arbete.
Vi använder liknande synbaserade ingångar - object detektorer, modifier klassificerare, och prepositionella funktioner - till några mycket nyligen arbete med att generera enkla beskrivningar för bilder REF, men fokusera på att förbättra meningsgenerering metodologi och producera beskrivningar som är mer sanna för mänskliga genererade beskrivningar.
BabyTalk: Understanding and Generating Simple Image Descriptions
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Medicine', 'Computer Science']}