Kunskap om den allmänna grafstrukturen på World Wide Web är viktig för att förstå de sociala mekanismer som styr dess tillväxt, för att utforma rankningsmetoder, för att ta fram bättre krypande algoritmer och för att skapa exakta modeller av dess struktur. I detta dokument beskriver och analyserar vi en stor, offentligt tillgänglig krypning av webben som samlades in av Common Crawl Foundation 2012 och som innehåller över 3,5 miljarder webbsidor och 128,7 miljarder länkar. Denna krypning gör det möjligt att observera utvecklingen av den underliggande strukturen av World Wide Web under de senaste 10 åren: vi analyserar och jämför, bland annat, gradfördelningar, konnektivitet, genomsnittliga avstånd, och strukturen av svagt/starkt anslutna komponenter. Vår analys visar att, vilket framgår av tidigare forskning [17], några av de egenskaper som tidigare observerats av Broder et al. [10] är mycket beroende av artefakter i krypningsprocessen, medan andra verkar vara mer strukturella. Vi bekräftar existensen av en jätte starkt ansluten komponent; vi finner dock, som observerats av andra forskare [12, 5, 3], mycket olika proportioner av noder som kan nå eller som kan nås från den gigantiska komponenten, tyder på att den "bow-tie struktur" som beskrivs i [10] är starkt beroende av krypningsprocessen, och till det bästa av vår nuvarande kunskap är inte en strukturell egenskap av webben. Viktigare, statistiska tester och visuell inspektion av sizerank tomter visar att fördelningen av ingradera, utgradera och storlekar av starkt anslutna komponenter är inte makt lagar, i motsats till vad som tidigare rapporterats för mycket mindre krypningar, även om de kan vara tung-tailed. Vi tillhandahåller också för första gången noggrann mätning av avståndsbaserade funktioner, med hjälp av nyligen införda algoritmer som skala till storleken på vår crawl [8].
En nyare studie bekräftar förekomsten av en stor starkt ansluten komponent, men visar att andra funktioner som "bowtie" struktur kan vara beroende av krypningsprocessen som producerade webbgrafen REF.
Graph structure in the web --- revisited: a trick of the heavy tail
{'venue': "WWW '14 Companion", 'journal': None, 'mag_field_of_study': ['Computer Science']}