Sketch är en viktig media för människan att kommunicera idéer, som speglar överlägsenheten av mänsklig intelligens. Studier av skiss kan i stort sett sammanfattas i igenkänning och generering. Befintliga modeller på bildigenkänning misslyckades med att uppnå tillfredsställande prestanda på skissklassificering. Men för skissgenerering, en nyligen genomförd studie föreslog en sekvens-till-sekvens variational-auto-encoder (VAE) modell kallas skiss-rnn som kunde generera skisser baserade på mänskliga ingångar. Modellen uppnådde fantastiska resultat när man ombads lära sig en kategori av objekt, t.ex. ett djur eller ett fordon. Prestandan sjönk dock när flera kategorier matades in i modellen. Här föreslog vi en modell kallad skiss-pix2seq som kunde lära sig och rita flera kategorier av skisser. Två ändringar gjordes för att förbättra skiss-rnn modellen: en är att ersätta den dubbelriktade återkommande neurala nätverket (BRNN) kodare med en konvolutional neurala nätverk(CNN); den andra är att ta bort Kullback-Leibler divergens från den objektiva funktionen av VAE. Experimentella resultat visade att modeller med CNN-kodare överträffade dem med RNN-kodare för att generera skisser i människostil. Visualisering av latent utrymme illustrerade att avlägsnandet av KL-divergence gjorde kodaren lära sig en bakre av latent utrymme som återspeglade särdragen i olika kategorier. Dessutom hade kombinationen av CNN-kodare och avlägsnandet av KL-divergence, dvs. skisspix2seq-modellen, bättre prestanda när det gäller att lära sig och skapa skisser av flera kategorier och visade lovande resultat i kreativa uppgifter.
Baserat på Turing Test drar författarna till REF slutsatsen att modellerna med CNN-kodare överträffade dem med RNN-kodare för att generera skisser av mänsklig stil.
Sketch-pix2seq: a Model to Generate Sketches of Multiple Categories
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}