Vi tar upp personaliseringsfrågor kring bildtextering, som ännu inte har diskuterats i tidigare forskning. För en frågebild syftar vi till att skapa en beskrivande mening som redovisar förkunskaper såsom användarens aktiva ordförråd i tidigare dokument. Som tillämpningar av personlig bildtextning tar vi itu med två uppgifter efter automatisering: hashtag förutsägelse och eftergenerering, på vår nyligen insamlade Instagram dataset, bestående av 1.1M inlägg från 6.3K användare. Vi föreslår en ny bildtextmodell som heter Context Sequence Memory Network (CSMN). Dess unika uppdateringar över tidigare minnesnätverksmodeller inkluderar (i) att utnyttja minnet som ett arkiv för flera typer av kontextinformation, (ii) att lägga till tidigare genererade ord i minnet för att fånga långsiktig information utan att drabbas av problemet med försvinnande gradient, och (iii) att anta CNN-minnesstruktur för att gemensamt representera närliggande beställda minnesplatser för bättre kontextförståelse. Med kvantitativa utvärderingar och användarstudier via Amazon Mechanical Turk visar vi effektiviteten hos de tre nya funktionerna i CSMN och dess prestandaförbättring för personlig bildtextning över toppmoderna bildtextmodeller.
REF föreslår ett konvolutionellt läsminnesnätverk för personlig bildkapsylering.
Attend to You: Personalized Image Captioning with Context Sequence Memory Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}