Människors informationsbehov är i huvudsak multimodalt till sin natur, vilket gör det möjligt att utnyttja situationen på bästa möjliga sätt. Vi introducerar en datauppsättning för sekventiell processuell (hur till) textgenerering från bilder i matlagningsdomänen. Datasetet består av 16,441 matlagning recept med 160,479 bilder i samband med olika steg. Vi sätter upp en baslinje som motiveras av den bäst presterande modellen i termer av mänsklig utvärdering för Visual Story Telling (Visual Story Telling) uppgift. Dessutom introducerar vi två modeller för att införliva högnivåstruktur lärd av en Finite State Machine (FSM) i neural sekventiell genereringsprocess genom: (1) Scaffolding Structure in Decoder (SSiD) (2) Scaffolding Structure in Loss (SSiL). Vår bäst presterande modell (SSIL) uppnår en METEOR-poäng på 0,31, vilket är en förbättring med 0,6 jämfört med utgångsmodellen. Vi gjorde också mänsklig utvärdering av de genererade grundrecepten, vilket visar att 61% fann att vår föreslagna (SSiL) modell är bättre än grundmodellen när det gäller övergripande recept. Vi diskuterar också analys av resultatet som belyser viktiga NLP-frågor för framtida riktningar.
REF införde nyligen ett dataset för att generera recept på texttillagning från en sekvens av bilder och föreslog två modeller för att integrera strukturen i processens textgenerering från bilder.
Storyboarding of Recipes: Grounded Contextual Generation
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}