مع نمو الويب تم إنشاء محركات البحث وأدلة الويب لتتبع صفحات على شبكة الإنترنت والسماح للناس للعثور على الأشياء و كان أول محرك بحث ويب كامل النص ويبكرولر في عام 1994 قبل ويبكرولر(WebCrawler) تم البحث عن عناوين صفحة ويب فقط و تم إنشاء محرك بحث مبكر آخر ليكوس في عام 1993 كمشروع جامعي وكان أول من حقق النجاح التجاري خلال أواخر 1990s كانت كل من الدلائل على شبكة الإنترنت ومحركات البحث على شبكة الإنترنت شعبية ياهو!