Em 1996, Brewster Kahle, com Bruce Gilliat, desenvolveu um software para rastrear e baixar todas as páginas da World Wide Web acessíveis ao público, a hierarquia Gopher, o sistema de boletins Netnews (Usenet) e o software para download. As informações coletadas por esses &quot;rastreadores&quot; não incluem todas as informações disponíveis na Internet, pois grande parte dos dados é restrita pelo editor ou armazenada em bancos de dados que não são acessíveis. Esses &quot;rastreadores&quot; também respeitam o padrão de exclusão de robôs para websites cujos proprietários optam por não aparecer nos resultados de pesquisa ou serem armazenados em cache. Para superar inconsistências em sites parcialmente em cache, o Archive-It.org foi desenvolvido em 2005 pelo Internet Archive como um meio de permitir que instituições e criadores de conteúdo coletem e preservem voluntariamente coleções de conteúdo digital e criem arquivos digitais.
Qual site foi criado para atenuar problemas com cópias incompletas de sites?
Arquivo-It.org