Internet Archive là loại giao thức nào?
Robots.txt được sử dụng như một phần của Tiêu chuẩn loại trừ Robots, một giao thức tự nguyện mà Internet Archive tôn trọng, không cho phép các bot lập chỉ mục một số trang nhất định được tác giả của nó phác hoạ là ngoài giới hạn. Kết quả là, Internet Archive đã không có sẵn một số trang web hiện không thể truy cập được thông qua Wayback Machine. Hiện tại, Internet Archive áp dụng các quy tắc robots.txt hồi tố; nếu một trang web chặn Internet Archive, chẳng hạn như Healthcare Advocates, bất kỳ trang nào được lưu trữ trước đó từ tên miền cũng sẽ không có sẵn. Trong trường hợp các trang web bị chặn, chỉ có tệp robots.txt được lưu trữ.