Frame interpolation försök att syntetisera mellanliggande ramar ges en eller flera på varandra följande videoramar. Under de senaste åren har djupt lärande, och i synnerhet konvolutionella neurala nätverk, lyckats ta itu med problem med datorseende på låg och hög nivå, inklusive interpolering av ramar. Det finns två huvudsakliga strävanden i denna forskningslinje, nämligen algoritmeffektivitet och återuppbyggnadskvalitet. I detta dokument presenterar vi ett multi-scale generative adversarial network for frame interpolation (FIGAN). För att maximera effektiviteten i vårt nätverk föreslår vi en ny flerskalig resterande estimeringsmodul där det förutsagda flödet och den syntetiserade ramen konstrueras på ett grovtofint sätt. För att förbättra kvaliteten på syntetiserade mellanvideoramar övervakas vårt nätverk gemensamt på olika nivåer med en perceptuell förlustfunktion som består av en kontradiktorisk och två innehållsförluster. Vi utvärderar det föreslagna tillvägagångssättet med hjälp av en samling av 60fps-videor från YouTube-8m. Våra resultat förbättrar den toppmoderna noggrannheten och effektiviteten, och en subjektiv visuell kvalitet som är jämförbar med den bäst presterande interpoleringsmetoden.
Van Amersfoort m.fl. REF utformar ett generativt nätverk för raminterpolering, där förutsägelsen om optiskt flöde och syntesen av ramar konstrueras på ett grovt till fint sätt.
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}