Il n'est pas recommandé de bloquer l'accès des robots d'exploration au contenu en double de votre site Web, que ce soit à l'aide d'un fichier robots.txt ou d'autres méthodes.
Google anaghị akwado igbochi crawler ịnweta ọdịnaya abụọ na weebụsaịtị gị, ma jiri faịlụ robots.txt ma ọ bụ ụzọ ndị ọzọ.