Vi undersöker problemet med språkbaserad bildredigering (LBIE). Med tanke på en källbild och en beskrivning av ett naturligt språk vill vi skapa en målbild genom att redigera källbilden baserat på beskrivningen. Vi föreslår ett generiskt modelleringsramverk för två deluppdrag av LBIE: språkbaserad bildsegmentering och bildfärgning. Ramverket använder återkommande uppmärksamma modeller för att sammansmälta bild- och språkfunktioner. Istället för att använda en fast stegstorlek, introducerar vi för varje region av bilden en termineringsgrind för att dynamiskt avgöra efter varje slutsats steg om att fortsätta extrapolera ytterligare information från textbeskrivningen. Ramverkets effektivitet är validerad på tre datauppsättningar. Först introducerar vi ett syntetiskt dataset, kallat CoSAL, för att utvärdera LBIE-systemets end-to-end-prestanda. För det andra visar vi att ramverket leder till toppmodern prestanda för bildsegmentering på ReferIt-datauppsättningen. För det tredje presenterar vi den första språkbaserade färgning resultat på Oxford-102 Blommor dataset.
Chen och Al. REF presenterade en ram inriktad på bildsegmentering och färgläggning med en återkommande uppmärksam modell.
Language-Based Image Editing with Recurrent Attentive Models
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}