معيار استبعاد الروبوتات
معيار استبعاد الروبوتات  ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات  وهو معيار يستخدم بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستخدم بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع

نبذة تاريخية 
تم اقتراح هذا المعيار بواسطة مارتن كوستر، عندما كان يعمل في ، في فبراير 1994.

حول هذا المعيار 
بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم، ومحرك بحث بيدو.

أمثلة 
 بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي:

 مثال 1
 يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، ال (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات
 User-agent: *
Disallow:
 نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ

 مثال 3
 المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات (دليل):
 User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

 مثال 4
 المثال التالي لا يسمح بالتعامل مع ملف معين
 User-agent: *
Disallow: /directory/file.html
 لاحظ أن جميع الملفات الأخرى في الدليل المحدد سوف تتم معالجتها.

 مثال 5
 المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب
User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
Disallow: /

 مثال 6
 المثال التالي لاثنين من الروبوتات محدديين لعدم الدخول لدليل واحد محدد:

User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
User-agent: Googlebot
Disallow: /private/

 ملاحظة: يمكن استخدام هذه الطريقة لمنع البوتات لمحركات البحث عند عمل تطوير موقع وحتى الإنتهاء من تطويره حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع

مثال 7
 المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدامها بدون تأثير نهائيا:

# Comments appear after the "#" symbol at the start of a line, or after a directive
User-agent: * # match all bots
Disallow: / # keep them out

انظر أيضا 
 زاحف الشبكة
 بوت إنترنت

مصادر ومراجع 

بوتات
تحسين محركات البحث
ويب
معيار استبعاد الروبوتات و يعرف ب اسم آخر و هو بروتكول استبعاد الروبوتات و هو معيار يستخدم ب واسطة أي موقع ويب ل الاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر ، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجة ها أو المناطق التي لا يجب معرفت ها ، الروبوتات تستخدم ب واسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع ، ليس كل الروبوتات تتعاون مع المعايير و المقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة ، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية ، معيار استبعاد الروبوتات مقترن دائما ب خريطة الموقع نبذة تاريخية تم اقتراح هذا المعيار ب واسطة مارتن كوستر ، عندما كان يعمل في ، في فبراير حول هذا المعيار بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج ومحرك بحث ياهو ! الذي تم ضم ه لبينج وإيه أو إل ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم ، ومحرك بحث بيدو . أمثلة بعض ال أمثلة على قدرات و ما يتم كتابة ه في هذا الملف ك التالي : مثال 1 يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع ، ال ( * ) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية ل كل الروبوتات User - agent : * Disallow : نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ مثال 3 المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات ( دليل ) : User - agent : * Disallow : / cgi - bin / Disallow : / tmp / Disallow : / junk / مثال 4 المثال التالي لا يسمح ب التعامل مع ملف معين User - agent : * Disallow : / directory / file.html لاحظ أن جميع الملفات الأخرى في ال دليل المحدد سوف تتم معالجة ها . مثال 5 المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب User - agent : BadBot # replace ' BadBot ' with the actual user - agent of the bot Disallow : / مثال 6 المثال التالي لاثنين من الروبوتات محدديين ل عدم الدخول ل دليل واحد محدد : User - agent : BadBot # replace ' BadBot ' with the actual user - agent of the bot User - agent : Googlebot Disallow : / private / ملاحظة : يمكن استخدام هذه الطريقة ل منع البوتات لمحركات البحث عند عمل تطوير موقع و حتى الإنتهاء من تطوير ه حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع مثال 7 المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدام ها ب دون تأثير نهائيا : # Comments appear after the " # " symbol at the start of a line , or after a directive User - agent : * # match all bots Disallow : / # keep them out انظر أيضا زاحف الشبكة بوت إنترنت مصادر ومراجع بوتات تحسين محركات البحث ويب