Nyligen har det funnits ett stort intresse för att automatiskt generera beskrivningar för en bild. De flesta befintliga språkmodellbaserade metoder för denna uppgift lär sig att generera en bildbeskrivning ord för ord i sin ursprungliga ordordning. Men för människor är det mer naturligt att först lokalisera objekten och deras relationer och sedan utveckla varje objekt och beskriva anmärkningsvärda egenskaper. Vi presenterar en grov-till-fin metod som sönderdelar den ursprungliga bildbeskrivningen till en skelett mening och dess attribut, och genererar skelett mening och attribut fraser separat. Genom denna nedbrytning, vår metod kan generera mer exakt och nya beskrivningar än den tidigare state-of-the-art. Experimentella resultat på MS-COCO och en större skala Stock3M datauppsättningar visar att vår algoritm ger konsekventa förbättringar över olika utvärderingsmått, särskilt på SPICE metrisk, som har mycket högre korrelation med mänskliga betyg än de konventionella mätvärdena. Dessutom kan vår algoritm generera beskrivningar med varierande längd och dra nytta av den separata kontrollen av skelettet och attributen. Detta möjliggör bildbeskrivningsgenerering som bättre passar användarens preferenser.
Wang m.fl. REF lade fram en grov-till-fin metod, som beskrev bildens bildtext i två delar, en huvudklausul (skelett mening) och en mängd olika egenskaper (attribut) av objektet.
Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}