Thuật ngữ được sử dụng cho các chương trình tự động truy cập trang web và ghi lại hệ thống bảng họ tìm thấy là gì?
Trong 1996 Brewster Kahle, với Bruce Gilliat, phát triển phần mềm để thu thập thông tin và tải về tất cả các trang web World Wide Web truy cập công khai, hệ thống phân cấp Gopher, hệ thống bảng thông báo Netnews (Usenet) và phần mềm có thể tải xuống. Thông tin được thu thập bởi những "thu thập thông tin" này không bao gồm tất cả các thông tin có sẵn trên Internet, vì phần lớn dữ liệu bị hạn chế bởi nhà xuất bản hoặc được lưu trữ trong cơ sở dữ liệu không thể truy cập được. Những "thu thập thông tin" này cũng tôn trọng tiêu chuẩn loại trừ robot cho các trang web mà chủ sở hữu chọn chúng không xuất hiện trong kết quả tìm kiếm hoặc được lưu trữ. Để khắc phục sự không nhất quán trong các trang web được lưu trữ một phần, Archive-It.org được phát triển trong 2005 bởi Internet Archive như một phương tiện cho phép các tổ chức và người tạo nội dung tự nguyện thu hoạch và bảo quản các bộ sưu tập nội dung kỹ thuật số và tạo tài liệu lưu trữ kỹ thuật số.