Att lära sig infoga en objektexemple i en bild på ett semantiskt sammanhängande sätt är ett utmanande och intressant problem. För att lösa det krävs a) bestämma en plats för att placera ett föremål på platsen och b) bestämma dess utseende på platsen. En sådan objektinsättning modell kan potentiellt underlätta många bildredigering och scen tolkning program. I detta dokument, föreslår vi en end-to-end utbildningsbara neurala nätverk för uppgiften att infoga en objekt instans mask av en specificerad klass i den semantiska etiketten karta över en bild. Vårt nätverk består av två generativa moduler där den ena bestämmer var den införda objektmasken ska vara (dvs. plats och skala) och den andra bestämmer hur objektmaskens form (och ställning) ska se ut. De två modulerna är sammankopplade via ett rumsligt omvandlingsnät och är gemensamt utbildade. Vi utformar ett inlärningsförfarande som utnyttjar både övervakade och oövervakade data och visar vår modell kan infoga ett objekt på olika platser med olika utseenden. Vi genomför omfattande experimentella valideringar med jämförelser med starka baslinjer för att verifiera det föreslagna nätverkets effektivitet.
Denna fråga lindras i REF genom att lära sig den gemensamma fördelningen av platsen och formen för ett objekt som är betingat på den semantiska etikettkartan.
Context-Aware Synthesis and Placement of Object Instances
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}