Abstract-Vi överväger att modellera synligheten av enskilda och flera paket förluster i H.264 videor. Vi föreslår en modell för att förutsäga synligheten av flera paketförluster och visa dess prestanda på dubbla förluster (två närliggande paketförluster). Vi extraherar de faktorer som påverkar synligheten med hjälp av en reducerad referensmetod. Vi förutspår sannolikheten för att en förlust syns med hjälp av en generaliserad linjär modell. Vi uppnår MSE-värden (mellan faktiska och förväntade sannolikheter) på 0,0253 respektive 0,0398 för individuella respektive dubbla förluster. Vi undersöker också effekten av olika faktorer på synligheten. Indexvillkor: Video codecs, Kvalitetskontroll I. INLEDNING Komprimerade videoströmmar som överförs över heterogena nätverk upplever visuella kvalitetsförsämringar på grund av olika faktorer som fördröjning, jitter, paketförlust, drift (på grund av skalbarhet) och komprimeringsartefakter. Att kunna kvantifiera den perceptuella kvalitetsförsämringen på grund av dessa faktorer är viktigt för en nätverkskvalitetsövervakning. Objektiva kvalitetsåtgärder som PPNR korrelerar inte väl med subjektiva resultat. Det aktuella arbetet fokuserar på att modellera kvalitetsförsämringen i H.264-videon på grund av paketförluster genom att förutsäga paketförlustens synlighet. Att förutsäga synligheten av en paketförlust är användbart av flera skäl. Förpackningar som är perceptuellt viktiga kan få mer felskydd (ojämlikt felskydd). Om man tilldelar varje paket perceptuell betydelse vid kodaren, kan paketen med lägre betydelsenivå kasseras, om bufferten i en nätverksnod svämmar över. För det tredje kan synbarheten för paketförluster vara mycket användbar för noggrann övervakning av nätverkskvalitet i realtid. I vårt tidigare arbete [1] tittade vi på problemet med att förutsäga synligheten av enskilda paketförluster i MPEG-2 bitström. Videoöverföring via internet eller trådlösa länkar kännetecknas dock vanligtvis av spruckna förluster. Stuhlmuller m.fl. [2] analyserade förvrängningen (MSE) av isolerade paketförluster. De använde också en linjär additiv modell för att kvantifiera förvrängningen av flera paketförluster. I [3], Författarna jämför spruckna förluster med isolerade förluster av samma kombinerade längd. De drar slutsatsen att a) förlustmönstret har en betydande inverkan på snedvridningen, b) sprickbildning leder till större snedvridning än ett lika stort antal isolerade förluster. Chakareski m.fl. [4] föreslog ett system för att förutsäga den snedvridning som uppstår till följd av stora förluster. I detta dokument utökar vi vårt tidigare arbete [1] på två sätt. Först modellerar vi synligheten av isolerade paketförluster i H.264 istället för MPEG-2 bitström. Vi använder rörelsekompenserade fel dölja (MCEC) för att dölja förluster, i stället för noll fel dölja (ZEC). För det andra, vi modellerar synligheten av flera paket förluster för H.264. Vi definierar en multipel förlust som en uppsättning N individuella förluster som inträffar i nära temporal närhet. Vi introducerar en modellram för att förutsäga synligheten av en multipel paketförlust och vi undersöker resultatet av detta tillvägagångssätt när N = 2 (dubbel förlust). Vi jämför vikten av faktorer mellan isolerade och dubbla förlustfall. Avsnitt II beskriver utformningen av det subjektiva experimentet. Avsnitt III diskuterar de faktorer vi använder för att förutsäga synligheten av en förlust. Avsnitt IV beskriver vår modelleringsmetod, medan avsnitt V ger resultat. Vi utförde subjektiva tester för att få fram grundsanning om synligheten av paketförluster. Tittarnas uppgift är att indikera när de ser en artefakt eller abnormitet. Våra tester är enstaka stimuli tester, så tittarna visas bara videor med paketförluster, inte originalvideor. Vi antar att en paketförlust innebär förlust av en enda skiva, nämligen en horisontell rad makroblock (MBs)". Det initiala fel som orsakas av en paketförlust beror på avkodningens fel döljande strategi. Vi använder rörelsekompenserad fel döljning (MCEC). Det ursprungliga felet med denna metod är mindre än det av noll-terror döljande metod som används i vårt tidigare arbete [1]. Videosekvenserna i det subjektiva testet är muterade resedokumentärer med SIF-upplösning (352 x 240) och 30 fps. De kodas och avkodas med hjälp av den utökade profilen av H.264 JM Version 9.1 Codec. Vår kodning struktur är I B P B P B... P B med en GOP storlek på 20 ramar. För P-ramar använder vi två referensramar för rörelsekompensation: en långsiktig och en kortsiktig. Den långsiktiga referensramen är alltid I-ramen för det nuvarande GOP. Vi följer den vanliga överenskommelsen om att den kortsiktiga referensramen ska vara den tidigare P-ramen. B-ramar använder framtidens P-ram och antingen referensram för dubbelriktad förutsägelse. Vi använder fin kvantisering (28) utan hastighetskontroll, så att de enda artefakterna i de förlorade videorna beror på paketförlust. Dekodern döljer de förlorade skivorna med MCEC där döljande rörelsevektorn uppskattas som medianen för rörelsevektorerna i omgivande block. Vi är intresserade av synligheten av individuella och flera paket förluster. I praktiken tenderar paketförluster att uppstå tillsammans. Olika förluster inom en multipel paket förlust interagerar med varandra; den totala effekten är inte summan av enskilda effekter. Denna interaktion kan vara antingen fysisk eller perceptuell. Fysisk interaktion orsakas av inter-frame förutsägelse. Perceptuell interaktion orsakas av den nära närheten (spatial eller temporal) av förlusterna. Här studerar vi den totala effekten av två paketförluster (dubbel förlust) som inträffar tillsammans. En dubbel förlust kännetecknas av den rumsliga separationen D mellan de två förlusterna i MB-enheter (dvs. D = 1 innebär att de två paketförlusterna påverkar intilliggande skivor) och av den tidsmässiga separationen T mellan de två förlusterna i antal ramar. I vårt fall varierar D från 0 till 14 (15 skivor i varje ram). T varierar från 0 till 5 ramar (maximal separation på 1/6 av en sekund). Vi väljer sex videor på 6 minuter vardera, uppdelade i 4 sekunder intervall kallas slots, producerar 90 slots per video och 540 slots totalt. En förlust (individuell/dubbel) införs under de första tre sekunderna av varje kortplats. Den sista sekunden är reserverad för att skapa en vakt intervall, vilket förhindrar interaktion mellan förluster över slots och ger tittaren tid att svara på den nuvarande förlusten innan nästa förlust inträffar. Vi designar 4 individuella förluster för varje slot och använder alla 6 kombinationer av individuella förlustpar för att få 6 dubbla förluster. Inom varje tidsram, antingen exakt en av dessa 4 individuella förluster kommer att visas, eller exakt två av dem kommer att visas (dubbel förlust). De individuella förlusterna är utformade så att mängden dubbla förluster är ungefär jämnt fördelade över D och T. Eftersom vi har 10 olika förluster (4 individuella och 6 dubbla) som kan införas i en slot, 10 olika förlorade versioner skapas från varje källvideo. Varje förlustvideo har både individuella och dubbla förluster, men i olika slots. Totalt införde vi 2160 individuella förluster och 3240 dubbla förluster. Under det subjektiva testet visas endast en uppsättning 6 förlustvideor. Varje uppsättning av förlustvideor utvärderades av 12 tittare, för totalt 120 tittare. För att hjälpa tittarna att förstå sin uppgift, visar vi dem en 1-minuters pilot utbildning video innan själva testet. Tittare får veta att de kommer att titta på videor som påverkas av paketförluster. När de ser en synlig artefakt eller ett fel, bör de trycka på mellanslagstangenten. Efter det subjektiva testet genererar vi en tabell över tittarnas booleska svar, motsvarande om de såg en förlust eller inte. Detta definierar den grundläggande sanningen för sannolikheten för synlighet för varje förlust. I detta papper använder vi en Reduced-Reference (RR) metod för att förutsäga synligheten av paketförluster. En RR-metod har tillgång till dekoderns rekonstruerade video (med förluster) och faktorer som extraheras från den kodade videon. Vi klassificerar de faktorer som avgör paket-förlust synlighet i ContentOberoende och Content-Dependent Faktorer. Innehållsoberoende faktorer beror endast på platsen för förlusten, inte på dess faktiska innehåll. Vi överväger två innehållsoberoende faktorer. HGT [1] definieras som höjden på den förlorade delen i en viss ram, där skivorna numreras uppifrån och ner. FRAMETYPE är den typ av ram (B/P/I) som påverkas av paketförlusten och behandlas som en kategorisk faktor. FRAMETYPE ML är motsvarigheten till FRAMETYPE för det dubbla (flera) förlustfallet. Mellan de två berörda ramarna representerar FRAMETYPE ML den typ som tillhör en högre kategori. Kategori I är högre än kategori P, vilket är högre än kategori B. Innehållsberoende faktorer, å andra sidan, beror på det faktiska videoinnehållet på platsen för förlusten, såsom Rörelse, Kontrast, etc. Vi använder följande: 1) Initial Mean Squared Error (IMSE) är MSE mellan den felfria rekonstruerade MB och den förlorade dolda MB. Faktorer AVGIMSE och MAXIMSE är den genomsnittliga och maximala IMSE för alla MBs i en viss skiva. 2) Restenergi är energin (summan av kvadrater av alla DCT koefficienter) av restvärdet efter rörelse kompensation. Om en skiva går förlorad, så även om MCEC gör ett perfekt jobb med att uppskatta de förlorade rörelsevektorerna, skiljer sig den resulterande delen fortfarande från originalet. Restenergin, beräknad på basis av MB, är ett sätt att bedöma omfattningen av denna skillnad. AVGRSENGI och MAXRSENGI är
De utvärderar inverkan av flera faktorer som bygger på subjektiva tester och understryker vikten av ramtyp samt den obetydliga rörelse vid användning av rörelse kompenserade fel dölja (MCEC) tekniker REF.
Predicting H.264 Packet Loss Visibility using a Generalized Linear Model
{'venue': '2006 International Conference on Image Processing', 'journal': '2006 International Conference on Image Processing', 'mag_field_of_study': ['Engineering', 'Computer Science']}