Använda fokus på uppmärksamhet (FoA) som en perceptuell process i bild och video komprimering tillhör välkända metoder för att öka kodning effektivitet. Det har visat sig att foveated kodning, när komprimering kvalitet varierar mellan bilden beroende på region av intresse, är effektivare än den alternativa kodning, när alla regioner komprimeras på ett liknande sätt. Emellertid, utbredd användning av sådan foveated kompression har förhindrats på grund av två huvudsakliga motstridiga orsaker, nämligen komplexiteten och effektiviteten av algoritmer för FoA-detektion. Ett sätt runt dessa är att använda så mycket information som möjligt från scenen. Eftersom de flesta videosekvenser har ett tillhörande ljud, och dessutom, i många fall finns det en korrelation mellan ljud och visuellt innehåll, audiovisuella FoA kan förbättra effektiviteten i detektionsalgoritmen samtidigt som den förblir av låg komplexitet. I detta dokument diskuteras en enkel men effektiv audiovisuell FoA-algoritm baserad på korrelation av dynamik mellan ljud- och videosignalkomponenter. Resultat av audiovisuell FoA-detektionsalgoritm beaktas därefter för foveated kodning och kompression. Detta tillvägagångssätt genomförs i H.265/HEVC-enkoder som producerar en bitström som är helt kompatibel med alla H.265/HEVC-dekoder. Inverkan av audiovisuellt FoA i den upplevda kvaliteten på audiovisuella sekvenser med hög och ultrahög definition undersöks och mängden vinst i komprimeringseffektivitet analyseras.
Ett liknande tillvägagångssätt tillämpas på HD video komprimering i REF.
Audiovisual focus of attention and its application to Ultra High Definition video compression
{'venue': 'Electronic Imaging', 'journal': None, 'mag_field_of_study': ['Engineering', 'Computer Science']}