En bild är värd tusen ord. Inte förrän nyligen lade vi dock märke till några framgångshistorier i förståelsen av visuella scener: en modell som kan upptäcka/namnge objekt, beskriva deras attribut och känna igen deras relationer/interaktioner. I detta dokument föreslår vi en frasbaserad hierarkisk modell för långkortfristigt minne (phi-LSTM) för att generera bildbeskrivning. Den föreslagna modellen kodar mening som en sekvens av kombination av fraser och ord, i stället för en sekvens av ord ensam som i dessa konventionella lösningar. De två nivåerna av denna modell är dedikerade till i) lära sig att generera bild relevanta substantiv fraser, och ii) producera lämplig bildbeskrivning från fraserna och andra ord i corpus. Genom att anta ett konvolutionellt neuralt nätverk för att lära sig bildfunktioner och LSTM för att lära sig ordet sekvens i en mening, har den föreslagna modellen visat bättre eller konkurrenskraftiga resultat i jämförelse med de state-of-the-art modeller på Flickr8k och Flickr30k datauppsättningar.
REF föreslår en fras LSTM modell, som har två nivåer av LSTMs, en för att modellera meningen som består av fraser, och en annan för att generera ord i en fras.
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}