Deep Web, d.v.s. innehåll dolt bakom HTML-formulär, har länge erkänts som en betydande lucka i sökmotor täckning. Eftersom det representerar en stor del av de strukturerade data på webben, att få tillgång till Deep-Web innehåll har varit en långvarig utmaning för databasgemenskapen. Detta dokument beskriver ett system för att ta fram Deep-Web-innehåll, dvs. pre-computing inlagor för varje HTML-formulär och lägga till de resulterande HTML-sidorna i ett sökmotorindex. Resultaten av vår ytbehandling har införlivats i Google sökmotor och idag kör mer än tusen frågor per sekund till Deep-Web innehåll. Att möta Deep Web innebär flera utmaningar. För det första är vårt mål att indexera innehållet bakom många miljoner HTML-formulär som spänner över många språk och hundratals domäner. Detta kräver ett tillvägagångssätt som är helt automatiskt, mycket skalbart och mycket effektivt. För det andra har ett stort antal formulär textindata och kräver giltiga indatavärden som ska lämnas in. Vi presenterar en algoritm för att välja ingångsvärden för textsökningsingångar som accepterar nyckelord och en algoritm för att identifiera ingångar som endast accepterar värden av en viss typ. För det tredje, HTML-formulär har ofta mer än en ingång och därmed en naiv strategi för att räkna upp hela Cartesian produkten av alla möjliga ingångar kan resultera i ett mycket stort antal webbadresser genereras. Vi presenterar en algoritm som effektivt navigerar sökområdet för möjliga inmatningskombinationer för att identifiera endast de som genererar webbadresser som lämpar sig för inkludering i vårt webbsökindex. Vi presenterar en omfattande experimentell utvärdering som bekräftar effektiviteten hos våra algoritmer.
Madhavan m.fl. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. REF beskrev ett system för att hantera djup webbinnehåll, d.v.s. pre-computing inlagor för varje HTML-formulär och lägga till de resulterande HTML-sidorna i ett sökmotorindex.
Google's Deep Web crawl
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}