Bildtextering är ett utmanande problem på grund av komplexiteten i att förstå bildinnehållet och olika sätt att beskriva det på naturligt språk. Nya framsteg i djupa neurala nätverk har avsevärt förbättrat utförandet av denna uppgift. De flesta state-of-the-art metoder följer en kodare-dekoder ram, som genererar rubriker med hjälp av en sekventiell återkommande förutsägelse modell. I detta dokument inför vi dock en ny ram för beslutsfattande för bildtext. Vi använder ett "policynätverk" och ett "värdenätverk" för att tillsammans generera bildtexter. Policynätverket fungerar som en lokal vägledning genom att ge förtroende för att förutsäga nästa ord enligt det nuvarande tillståndet. Dessutom fungerar värdenätverket som en global och framåtblickande vägledning genom att utvärdera alla möjliga utvidgningar av det nuvarande tillståndet. I huvudsak justerar den målet att förutsäga de rätta orden mot målet att skapa bildtexter som liknar de grundläggande sanningstexterna. Vi utbildar båda nätverken med hjälp av en modell för skådespelar-kritisk förstärkningsutbildning, med en ny belöning definierad av visuell-semantisk inbäddning. Omfattande experiment och analyser av Microsoft COCO dataset visar att det föreslagna ramverket överträffar toppmoderna metoder över olika utvärderingsmått.
Ren och al. I Ref föreslogs en ny ram för beslutsfattande som använder både "policynätverket" och "värdenätverket" för att generera beskrivningar.
Deep Reinforcement Learning-Based Image Captioning with Embedding Reward
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}