Cependant, l'outil Robots.txt peut facilement résoudre un tel problème en identifiant toutes les pages qui ont été bloquées de l'exploration.
Otú ọ dị, Robots.txt ngwa ngwa nwere ike ịmepụta nsogbu dị otú a n'ụzọ dị mfe site na ịmatakwu niile peeji nke a na-egbochi ya.