Abstrakt. Vi presenterar en metod för att generera färgade 3D-former från naturligt språk. I detta syfte lär vi oss först gemensamma inbäddningar av friform textbeskrivningar och färgade 3D former. Vår modell kombinerar och utökar lärande genom association och metriska inlärningsmetoder för att lära sig implicita tvärmodala anslutningar, och producerar en gemensam representation som fångar de många-till-många sambanden mellan språk och fysiska egenskaper i 3D-former såsom färg och form. För att utvärdera vårt tillvägagångssätt samlar vi in en stor uppsättning naturliga språkbeskrivningar för fysiska 3D-objekt i ShapeNet-datasetet. Med detta lärda gemensamma inbäddning vi visar text-till-form hämtning som överträffar baslinje strategier. Med hjälp av våra inbäddningar med en ny villkorad Wasserstein GAN ram, genererar vi färgade 3D former från text. Vår metod är den första att ansluta naturligt språk text med realistiska 3D objekt som uppvisar rika variationer i färg, textur och form detalj.
Chen och Al. REF lär gemensamma inbäddningar av språkbeskrivningar och färgade 3D-objekt.
Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}