I detta dokument föreslås en effektiv videokodningsmetod med hjälp av audiovisuell uppmärksamhet, som bygger på observationen att ljudavgivande regioner i en audiovisuell sekvens drar tittarnas uppmärksamhet till sig. För det första presenteras en lokaliseringsalgoritm för audiovisuella källor, där ljudkällan identifieras med hjälp av korrelationen mellan ljudsignalen och den visuella rörelseinformationen. Lokaliseringsresultatet används sedan för att koda olika regioner i scenen med olika kvalitet på ett sådant sätt att regioner nära källan kodas med högre kvalitet än de som ligger långt från källan. Detta genomförs inom ramen för H.264/AVC genom tilldelning av olika kvantiseringsparametrar för olika regioner. Genom experiment med både standard- och högupplösningssekvenser visas att den föreslagna metoden kan ge betydande kodningsvinster över det konstanta kvantiseringsläget för H.264/AVC utan märkbar försämring av upplevd kvalitet.
För samma mål författare av REF genomföra en effektiv videokodning algoritm baserad på audiovisuell fokusering uppmärksamhet där ljudkälla identifieras från korrelationen mellan ljud-och visuell rörelseinformation.
Efficient video coding based on audio-visual focus of attention
{'venue': 'J. Vis. Commun. Image Represent.', 'journal': 'J. Vis. Commun. Image Represent.', 'mag_field_of_study': ['Computer Science']}