Högeffektiv videokodning (HEVC) minskar avsevärt bithastigheter över den pågående H.264-standarden men på bekostnad av extremt hög kodning komplexitet. I HEVC förbrukar quad-tree-partitionen av kodenheten (CU) en stor del av HEVC-kodningens komplexitet, på grund av bruteforce-sökningen efter hastighetsstörningsoptimering (RDO). Därför föreslås i detta dokument ett djupt lärande tillvägagångssätt för att förutsäga CU-partitionen för att minska HEVC-komplexiteten vid både intra- och inter-moder, som bygger på konvolutionella neurala nätverk (CNN) och långsiktiga och kortsiktiga minne (LSTM) nätverk. För det första upprättar vi en storskalig databas med omfattande CU partitionsdata för HEVC intra-och inter-modes. Detta möjliggör djupt lärande på CU-partitionen. För det andra representerar vi CU-partitionen av en hel kodningsenhet (CTU) i form av en hierarkisk CU-partitionskart (HCPM). Sedan föreslår vi ett tidigt avstängt hierarkiskt CNN (ETH-CNN) för att lära sig förutsäga HCPM. Följaktligen kan kodning komplexiteten hos intra-mode HEVC drastiskt minskas genom att brute-force-sökningen ersätts med ETH-CNN för att bestämma CU-partitionen. För det tredje föreslås en tidigt avstängd hierarkisk LSTM (ETH-LSTM) för att lära sig den tidsmässiga korrelationen mellan CU-partitionen. Därefter kombinerar vi ETH-LSTM och ETH-CNN för att förutsäga CU-partitionen för att minska HEVC-komplexet för intermode. Slutligen visar experimentella resultat att vårt tillvägagångssätt överträffar andra state-of-the-art metoder för att minska HEVC komplexitet både inom och mellan lägen. Index Terms-High efficiency videokodning, komplexitetsreduktion, djupinlärning, konvolutionella neurala nätverk, långsiktiga och kortsiktiga minnesnätverk.
Detta tillvägagångssätt utvidgades i REF för att minska kodningstiden för både intra- och inter modes med hjälp av en kombination av ett CNN med en långsiktig korttidsminnesarkitektur (LSTM).
Reducing Complexity of HEVC: A Deep Learning Approach
{'venue': 'Published in IEEE Transactions on Image Processing, Oct. 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}