Ljusfältsavbildningen är begränsad i sina krav på beräkningsbearbetning av hög provtagning för både rumsliga och vinkelmässiga dimensioner. Enbilders ljusfältskameror offrar rumslig upplösning för att prova vinkelperspektiv, vanligtvis genom att multiplexa inkommande strålar på ett 2D-sensorsystem. Medan denna upplösning kan återvinnas med hjälp av kompressiv avkänning, dessa iterativa lösningar är långsamma i att bearbeta ett ljusfält. Vi presenterar en djupinlärning strategi med hjälp av en ny, två gren nätverk arkitektur, som består gemensamt av en autoencoder och en 4D CNN, för att återställa en hög upplösning 4D ljusfält från en enda kodad 2D-bild. Detta nätverk minskar återuppbyggnadstiden avsevärt samtidigt som man uppnår genomsnittliga PSNR-värden på 26-32 dB på en mängd olika ljusfält. I synnerhet minskas rekonstruktionstiden från 35 minuter till 6,7 minuter jämfört med ordboksmetoden för likvärdig visuell kvalitet. Dessa rekonstruktioner utförs med små provtagnings-/kompressionsförhållanden så låga som 8 %, vilket möjliggör billigare kodade ljusfältskameror. Vi testar vårt nätverk rekonstruktioner på syntetiska ljusfält, simulerade kodade mätningar av verkliga ljusfält fångas från en Lytro Illum kamera, och verkliga kodade bilder från en anpassad CMOS diffractive ljusfält kamera. Kombinationen av komprimerande ljusfältsinspelning med djup inlärning möjliggör potentialen för realtidssystem för inspelning av ljusfältsvideo i framtiden.
På liknande sätt får REF komprimerade ljusfältsrekonstruktioner från enkelkodade 2D-avbildningar med hjälp av en gemensam autoenkoder och 4D-CNN-arkitektur.
Compressive Light Field Reconstructions Using Deep Learning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'mag_field_of_study': ['Computer Science']}