Vi fäster en extra standardkamera till en ljusfältskamera med en stativskruv, så att de enkelt kan bäras tillsammans. b) Ingångarna består av en standardvideo med 30 fps och en ljusfältssekvens på 3 fps. (c) Vårt system genererar sedan en 30 fps ljusfältsvideo, som kan användas för ett antal tillämpningar såsom att omfokusera och ändra synsätt som videon spelar. Ljusfältskameror har många fördelar jämfört med traditionella kameror, eftersom de gör det möjligt för användaren att ändra olika kamerainställningar efter inspelning. Att fånga upp ljusfält kräver dock en enorm bandbredd för att spela in data: en modern ljusfältskamera kan bara ta tre bilder per sekund. Detta hindrar nuvarande ljusfältskameror från att fånga ljusfältsvideor. Temporal interpolation i sådan extrem skala (10x, från 3 fps till 30 fps) är ogenomförbar eftersom för mycket information kommer att saknas helt mellan angränsande ramar. Istället utvecklar vi en hybrid bildsystem, lägga till en annan standard videokamera för att fånga temporal information. Med en 3 fps ljusfältssekvens och en standard 30 fps 2D-video kan vårt system sedan generera en full ljusfältsvideo på 30 fps. Vi använder en inlärningsbaserad metod, som kan brytas ned i två steg: spatio-temporell flödesuppskattning och utseendeuppskattning. Flödesberäkningen sprider vinkelinformationen från ljusfältets sekvens till 2D-videon, så att vi kan förvränga indatabilder till målvyn. Uppskattningen av utseendet kombinerar sedan dessa förvrängda bilder för att mata ut de sista pixlarna. Hela processen är tränad end-to-end med hjälp av konvolutionella neurala nätverk. Experimentella resultat visar att vår algoritm överträffar nuvarande videointerpoleringsmetoder, möjliggör konsumentljusfältsvideografi, och gör applikationer som omfokusering och parallax visa generation som kan uppnås på videor för första gången.
Metoden för syntetisering av ljusfältsvideor föreslogs av Wang et al. REF med hjälp av ett hybridkamerasystem som består av en allmän DSLR-kamera och en ljusfältskamera.
Light field video capture using a learning-based hybrid imaging system
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}