Video-till-video syntes (vid2vid) syftar till att omvandla en ingång semantisk video, såsom videor av mänskliga poser eller segmentering masker, till en utgående fotorealistisk video. Även om den senaste tekniken av vid2vid har utvecklats avsevärt, befintliga metoder har två stora begränsningar. Först är de datahungriga. Många bilder av ett mänskligt objekt eller en scen krävs för utbildning. För det andra har en inlärd modell begränsad generaliseringsförmåga. En pose-to-human vid2vid modell kan endast syntetisera poser av en enda person i träningssetet. Den generaliserar inte för andra människor som inte är i träningssetet. För att ta itu med begränsningarna, föreslår vi några bilder vid2vid ram, som lär sig att syntetisera videor av tidigare osynliga ämnen eller scener genom att utnyttja några exempel bilder av målet vid testtid. Vår modell uppnår denna några-shot generalisering kapacitet via en ny nätverksviktgenerering modul med hjälp av en uppmärksamhetsmekanism. Vi utför omfattande experimentella valideringar med jämförelser med starka baslinjer med hjälp av flera storskaliga videodatauppsättningar, inklusive mänskliga dansvideor, tal-head-videor och street-scen-videor. De experimentella resultaten verifierar den föreslagna ramens effektivitet när det gäller att åtgärda de två begränsningarna i befintliga vid2vid-strategier. Koden finns på vår hemsida. Föravtryck. Under granskning.
Wang m.fl. föreslå de få-shot Vid2Vid ram REF, som använder en noggrant utformad viktgenerering modul för att syntetisera videor som realistiskt återspeglar stilen på inmatningsbilden och layouten av villkorliga segmenteringskartor.
Few-shot Video-to-Video Synthesis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}