Bildtextning kräver ofta en stor uppsättning av träning bild-sentence par. I praktiken är det dock alltid dyrt att skaffa sig tillräckligt med träningspar, vilket gör att de senaste bildtextmodellerna är begränsade i sin förmåga att beskriva objekt utanför träningsskorpora (dvs. nya objekt). I detta dokument presenterar vi Long Short-Term Memory with Copying Mechanism (LSTM-C) -en ny arkitektur som innehåller kopiering i Convolutional Neural Networks (CNN) plus Recurrent Neural Networks (RNN) bildtextning ram, för att beskriva nya objekt i bildtexter. Specifikt används fritt tillgängliga objektigenkänningsdata för att utveckla klassificeringar för nya objekt. Vår LSTM-C integrerar sedan fint den vanliga meningsgenereringen ord för ord av en dekoder RNN med kopieringsmekanism som istället kan välja ord från nya objekt på rätt ställen i utmatningsmeningen. Omfattande experiment utförs på både MSCOCO bildtextning och Im-ageNet dataset, som visar förmågan hos vår föreslagna LSTM-C arkitektur att beskriva nya objekt. Dessutom rapporteras överlägsna resultat jämfört med toppmoderna djupa modeller.
Nyligen integrerar REF den vanliga RNN-baserade dekodern med kopieringsmekanism som samtidigt kan kopiera de upptäckta nya objekten till utmatningssatsen.
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}