Robots.txt được sử_dụng như một phần của tiêu_chuẩn loại_trừ robot , một giao_thức tự_nguyện , lưu_trữ Internet tôn_trọng việc không cho_phép các bot lập chỉ mục một_số trang nhất_định được mô_tả bởi người tạo của nó là ngoài giới_hạn .Do_đó , kho lưu_trữ Internet đã không có sẵn một_số trang_web hiện không_thể truy_cập được thông_qua máy Wayback .Hiện_tại , Lưu_trữ Internet áp_dụng các quy_tắc robot.txt hồi_tố ; Nếu một trang_web chặn kho lưu_trữ Internet , chẳng_hạn như những người ủng_hộ chăm_sóc sức_khoẻ , bất_kỳ trang lưu_trữ nào trước_đây từ tên_miền cũng không có sẵn .Trong trường_hợp các trang_web bị chặn , chỉ có tệp robot.txt được lưu_trữ .
Tệp nào được sử_dụng để thực_hiện các quyền được thúc_đẩy bởi tiêu_chuẩn loại_trừ robot ?
Robot.txt