Kunskap om den allmänna grafstrukturen på World Wide Web är viktig för att förstå de sociala mekanismer som styr dess tillväxt, för att utforma rankningsmetoder, för att ta fram bättre krypande algoritmer och för att skapa exakta modeller av dess struktur. I det här dokumentet analyserar vi en stor webbgraf. Grafen extraherades från en stor allmänt tillgänglig webb krypning som samlades in av Common Crawl Foundation 2012. Grafen täcker över 3,5 miljarder webbsidor och 128,7 miljarder hyperlänkar. Vi analyserar och jämför, bland annat, gradfördelningar, konnektivitet, genomsnittliga avstånd och strukturen hos svagt/starkt anslutna komponenter. Vi genomför vår analys på tre olika nivåer av aggregering: sida, värd, och pay-level domän (PLD) (en "dot nivå" över offentliga suffix). Vår analys visar att, vilket framgår av tidigare forskning (Serrano et al., 2007), några av de egenskaper som tidigare observerats av Broder et al., 2000 är mycket beroende av artefakter av krypningsprocessen, medan andra verkar vara mer strukturella. Vi bekräftar förekomsten av en jätte starkt ansluten komponent; vi finner dock, som observerats av andra forskare (Donato et al., 2005; Boldi et al., 2002; Baeza-Yates och Poblete, 2003), mycket olika proportioner av noder som kan nå eller som kan nås från den gigantiska komponenten, tyder på att "bow-tie struktur" som beskrivs av Broder et al. är starkt beroende av krypningsprocessen, och till det bästa av vår nuvarande kunskap är inte en strukturell egendom av webben. Viktigare, statistiska tester och visuell inspektion av storleksranka tomter visar att fördelningen av ingradera, utgradera och storlekar av starkt anslutna komponenter på sidan och värdgraf är inte makt lagar, i motsats till vad som tidigare rapporterats för mycket mindre krypningar, även om de kan vara tung svans. Om vi aggregerar på pay-level-domänen, uppstår dock en maktlag. Vi tillhandahåller också för första gången noggrann mätning av avståndsbaserade funktioner, med hjälp av nyligen införda algoritmer som skala till storleken på vår crawl (Boldi och Vigna, 2013).
En större datauppsättning analyserades av Meusel et al. REF från en crawl, som tillhandahålls av Common Crawl Foundation, samlades under första halvåret 2012 och släpptes i augusti samma år.
The Graph Structure in the Web : Analyzed on Different Aggregation Levels
{'venue': 'J. Web Science', 'journal': 'J. Web Science', 'mag_field_of_study': ['Computer Science']}