O Robots.txt é usado como parte do Robots Exclusion Standard, um protocolo voluntário que o Internet Archive respeita e que impede os bots de indexarem certas páginas delineadas pelo seu criador como fora dos limites. Como resultado, o Internet Archive tornou indisponíveis vários sites que agora estão inacessíveis através da Wayback Machine. Atualmente, o Arquivo da Internet aplica as regras do robots.txt retroativamente; Se um site bloquear o Internet Archive, como os Healthcare Advocates, todas as páginas arquivadas anteriormente do domínio também ficarão indisponíveis. Nos casos de sites bloqueados, somente o arquivo robots.txt é arquivado.
Que tipo de protocolo é o padrão de exclusão de robôs?
voluntário