Vi tar itu med problemet med berättelsebaserad tidssammanfattning av långa 360 • videor. Vi föreslår en ny minnesnätverksmodell som heter Past- Future Memory Network (PFMN), där vi först beräknar poängen av 81 normala synfält (NFOV) region förslag beskärs från indata 360 • video, och sedan återställa en latent, kollektiv sammanfattning med hjälp av nätverket med två externa minnen som lagrar inbäddningar av tidigare valda subshots och framtida kandidat subshots. Våra stora bidrag är tvåfaldiga. För det första är vårt arbete det första att ta upp berättelsebaserad tidssammanfattning av 360 • videor. För det andra är vår modell det första försöket att utnyttja minnesnätverk för videosammanfattningsuppgifter. För utvärdering utför vi tre uppsättningar experiment. Först undersöker vi vyn valmöjligheten för vår modell på Pano2Vid datasetet [42]. För det andra utvärderar vi tidssammanfattningen med en nysamlad 360 • videodatauppsättning. Slutligen experimenterar vi vår modells prestanda i en annan domän, med bildbaserad berättande VIST dataset [22]. Vi verifierar att vår modell uppnår toppmoderna resultat på alla uppgifter.
En ny modell med namnet Past- Future Memory Network (PFMN) föreslogs av REF på 360 • videor.
A Memory Network Approach for Story-Based Temporal Summarization of 360° Videos
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}