Automatiskt generera en beskrivning av ett naturligt språk av en bild har lockat intressen nyligen både på grund av dess betydelse i praktiska tillämpningar och eftersom det ansluter två stora artificiell intelligens områden: datorseende och behandling av naturligt språk. Befintliga metoder är antingen top-down, som börjar från en kärna av en bild och omvandla den till ord, eller bottom-up, som kommer med ord som beskriver olika aspekter av en bild och sedan kombinera dem. I detta dokument föreslår vi en ny algoritm som kombinerar båda tillvägagångssätten genom en modell av semantisk uppmärksamhet. Vår algoritm lär sig att selektivt ägna sig åt semantiska konceptförslag och sammanfoga dem till dolda tillstånd och utgångar av återkommande neurala nätverk. Urvalet och fusionen utgör en återkoppling som kopplar ihop uppifrån-och-ned-beräkningen och nedifrån-och-upp-beräkningen. Vi utvärderar vår algoritm på två offentliga riktmärken: Microsoft COCO och Flickr30K. Experimentella resultat visar att vår algoritm avsevärt överträffar de senaste metoderna konsekvent över olika utvärderingsmått.
Du och Al. I REF föreslås att man selektivt tar hänsyn till konceptförslag i dekodern.
Image Captioning with Semantic Attention
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}