Vào năm 1996 , Brewster_Kahle , với Bruce_Gilliat , đã phát_triển phần_mềm để thu_thập dữ_liệu và tải xuống tất_cả các trang_web World_Wide có_thể truy_cập công_khai , hệ_thống phân_cấp Gopher , hệ_thống bảng thông_báo của NetNews ( Usenet ) và phần_mềm có_thể tải xuống .Thông_tin được thu_thập bởi các " trình thu_thập thông_tin " này không bao_gồm tất_cả các thông_tin có sẵn trên Internet , vì phần_lớn dữ_liệu bị hạn_chế bởi nhà_xuất_bản hoặc được lưu_trữ trong cơ_sở_dữ_liệu không_thể truy_cập được .Những " trình thu_thập thông_tin " này cũng tôn_trọng tiêu_chuẩn loại_trừ robot cho các trang_web có chủ_sở_hữu lựa_chọn chúng không xuất_hiện trong kết_quả tìm_kiếm hoặc được lưu_trữ .Để khắc_phục sự không nhất_quán trong các trang_web được lưu trong bộ_nhớ cache một phần , Archive-it.org đã được phát_triển vào năm 2005 bởi Lưu_trữ Internet như một phương_tiện cho_phép các tổ_chức và người tạo nội_dung tự_nguyện thu_hoạch và bảo_tồn các bộ sưu_tập nội_dung kỹ_thuật_số và tạo lưu_trữ kỹ_thuật_số .
Những người thu_thập thông_tin nào tuân_thủ khi xác_định trang_web nào cần ghi ?
Tiêu_chuẩn loại_trừ robot