Ett viktigt problem för både grafik och vision är att syntetisera nya vyer av ett 3D-objekt från en enda bild. Detta är särskilt utmanande på grund av den partiella observerbarheten inneboende i att projicera ett 3D-objekt på bildutrymmet, och illposition av infererande objekt form och pose. Men vi kan träna ett neuralt nätverk för att ta itu med problemet om vi begränsar vår uppmärksamhet till specifika objektkategorier (i våra fall ansikten och stolar) för vilka vi kan samla in gott om träningsdata. I detta dokument föreslår vi en ny återkommande convolutional encoder-dekoder nätverk som är utbildad end-to-end om uppgiften att rendera roterade objekt från en enda bild. Den återkommande strukturen gör det möjligt för vår modell att fånga långsiktiga beroenden längs en sekvens av omvandlingar. Vi demonstrerar kvaliteten på dess förutsägelser för mänskliga ansikten på Multi-PIE-datasetet och för en datauppsättning av 3D-stolsmodeller, samt visar dess förmåga att lösa upp latenta faktorer av variation (t.ex. identitet och pose) utan att använda full övervakning.
På samma sätt syntetiserar REF 3D-objekt från en enda bild via en koddecoder-arkitektur som lär sig latenta representationer baserat på rotationsfaktorn.
Weakly-supervised Disentangling with Recurrent Transformations for 3D View Synthesis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}