Cependant, l'outil Robots.txt peut facilement résoudre un tel problème en identifiant toutes les pages qui ont été bloquées de l'exploration.
Otú ọ dị, ngwá ọrụ Robots.txt nwere ike idozi nsogbu dị otú ahụ n'ụzọ dị mfe site na iji pinpointing ọ bụla peeji nke a gbochibidoro ịgba.