Vi betraktar problemet med att referera bildsegmentering. Med tanke på en inmatningsbild och ett naturligt språkuttryck är målet att segmentera det objekt som språkuttrycket i bilden hänvisar till. Befintliga verk på detta område behandlar språkuttrycket och indatabilden separat i sina representationer. De fångar inte tillräckligt många långsiktiga samband mellan dessa två metoder. I detta dokument föreslår vi en modul för cross-modal självuppmärksamhet (CMSA) som effektivt fångar upp de långsiktiga beroendena mellan språkliga och visuella egenskaper. Vår modell kan på ett anpassningsbart sätt fokusera på informativa ord i det refererande uttrycket och viktiga regioner i indatabilden. Dessutom föreslår vi en grindad fusionsmodul på flera nivåer för att selektivt integrera självuppmärksamma korsmodala funktioner som motsvarar olika nivåer i bilden. Denna modul styr informationsflödet av funktioner på olika nivåer. Vi validerar det föreslagna tillvägagångssättet för fyra utvärderingsdataset. Vårt föreslagna tillvägagångssätt överträffar konsekvent befintliga toppmoderna metoder.
I REF föreslås det tvärmodala nätverket för självuppmärksamhet för att fånga upp de långsiktiga beroendena mellan språkliga och visuella sammanhang och en grindad fusion på flera nivåer används sedan för att extrahera en exakt segmenteringsmask.
Cross-Modal Self-Attention Network for Referring Image Segmentation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}