Deduplicering är en effektiv teknik för att minska datamängderna, och den används för att minska problemet med enorma datavolymer i stora datalagringssystem. Innehållsdefinierad buckling (CDC) är den mest använda algoritmen i deduplikationssystem. Den förväntade bitstorleken är en viktig parameter för CDC, och den påverkar den dubbla elimineringskvoten (DER) signifikant. Vi samlade ihop två realistiska dataset för att utföra ett experiment. De experimentella resultaten visade att den nuvarande metoden att ställa in den förväntade bitstorleken till 4 KB eller 8 KB empiriskt inte kan optimera DER. Därför presenterar vi en logistikbaserad matematisk modell för att avslöja det dolda förhållandet mellan den förväntade bitstorleken och DER. Denna modell ger en teoretisk grund för att optimera DER genom att ställa in den förväntade bitstorleken på ett rimligt sätt. Vi använde de insamlade dataseten för att verifiera den här modellen. De experimentella resultaten visade att R2-värdena, som beskriver lämplighetens godhet, är över 0,9 och bekräftar riktigheten av denna matematikmodell. Baserat på DER-modellen diskuterade vi hur man gör DER nära det optimala genom att ställa in den förväntade bitstorleken på ett rimligt sätt.
För en förbättring, Wang et al. REF avslöjade det dolda förhållandet mellan DER och förväntad bitstorlek genom att utforma en logistikbaserad matematisk modell för att ge en teoretisk grund för denna typ av metod.
A Logistic Based Mathematical Model to Optimize Duplicate Elimination Ratio in Content Defined Chunking Based Big Data Storage System
{'venue': 'Symmetry', 'journal': 'Symmetry', 'mag_field_of_study': ['Computer Science']}