Abstrakt. I detta dokument närmar vi oss det nya problemet med segmentering av en bild baserad på ett naturligt språkuttryck. Detta skiljer sig från traditionell semantisk segmentering över en fördefinierad uppsättning semantiska klasser, som t.ex. frasen "två män sitter på den högra bänken" kräver segmentering endast de två personerna på den högra bänken och ingen står eller sitter på en annan bänk. Tidigare metoder som lämpar sig för denna uppgift var begränsade till en fast uppsättning kategorier och/eller rektangulära regioner. För att producera pixelvis segmentering för språket uttryck föreslår vi en end-to-end trainingable återkommande och convolutional nätverksmodell som gemensamt lär sig att bearbeta visuell och språklig information. I vår modell används ett återkommande LSTM-nätverk för att koda referensuttrycket till en vektorrepresentation, och ett helt konvolutionellt nätverk används för att extrahera en rumslig funktionskarta från bilden och mata ut en rumslig responskarta för objektet. Vi demonstrerar på ett referensdataset att vår modell kan producera kvalitetssegmentering utifrån det naturliga språkuttrycket, och överträffar baslinjemetoderna med stor marginal.
Hu m.fl. REF introducerade problemet med segmentering av bilder baserat på ett naturligt språkuttryck; deras metod för sammanslagning av bilder och text i ett konvolutionellt neuralt nätverk (CNN) var genom att sammanfalla funktioner som extraherats från båda metoderna och följt av en konvolution.
Segmentation from Natural Language Expressions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}