اختبار وصول زواحف الذكاء الاصطناعي
اعرف أي زواحف الذكاء الاصطناعي والبحث يسمح لها ملف robots.txt بزيارة صفحة ما، وهل يعامل خادمك معرّفاتها بشكل مختلف عن متصفح عادي.
اختبار وصول زواحف الذكاء الاصطناعي أداة مجانية تفحص هل يسمح ملف robots.txt لزواحف مثل GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وPerplexityBot بصفحة معيّنة. كما ترسل إلى خادمك معرّف كل زاحف وتقارن الرد بمتصفح عادي، وتوضح بصراحة أن الزواحف الحقيقية قد تُعامَل بشكل مختلف.
آخر تحديث:
ماذا يفحص اختبار وصول زواحف الذكاء الاصطناعي؟
يجيب عن سؤالين للصفحة التي تدخلها تحديداً: ماذا يطلب robots.txt من كل زاحف ذكاء اصطناعي، وهل يردّ خادمك على معرّف هذا الزاحف بشكل مختلف عن متصفح عادي؟
- قرار robots.txt: نطبّق قواعد كل رمز زاحف على مسار الصفحة كما يصف RFC 9309 (أكثر المجموعات تحديداً، وأطول قاعدة مطابقة، ويفوز Allow عند التعادل).
- استجابة الخادم: نطلب الصفحة مرة لكل معرّف زاحف ومرة كمتصفح عادي دون اتباع التحويلات، ونقارن رموز الحالة وصفحات التحدّي.
- أوامر الصفحة: noindex وnosnippet وnoai في وسم meta robots أو ترويسة X-Robots-Tag.
النتيجة حكم لكل زاحف: مسموح، أو محظور بـ robots.txt، أو الخادم يردّ بشكل مختلف، أو غير حاسم.
ما زواحف الذكاء الاصطناعي الموجودة ولأي غرض؟
تشغّل معظم الشركات زواحف منفصلة للتدريب والبحث والجلب بطلب المستخدم، فيمكنك السماح بغرض وحظر آخر. ويتبع الجدول وثائق الجهات المشغّلة نفسها.
| الزاحف | الشركة | الغرض بحسب الجهة المشغّلة |
|---|---|---|
| GPTBot | OpenAI | يجمع محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي |
| OAI-SearchBot | OpenAI | يُظهر المواقع في نتائج بحث ChatGPT |
| ChatGPT-User | OpenAI | يفتح الصفحات حين يطلب شخص ذلك من ChatGPT؛ وقد لا تنطبق عليه قواعد robots.txt |
| ClaudeBot | Anthropic | يجمع محتوى قد يسهم في تدريب النماذج |
| Claude-SearchBot | Anthropic | يحسّن جودة نتائج البحث في Claude |
| Claude-User | Anthropic | يفتح الصفحات حين يطرح مستخدم Claude سؤالاً |
| PerplexityBot | Perplexity | يُظهر المواقع ويربط بها في بحث Perplexity؛ ولا يُستخدم لتدريب النماذج الأساسية |
| Perplexity-User | Perplexity | زيارات بطلب المستخدم؛ ويتجاهل عموماً robots.txt |
| Google-Extended | رمز في robots.txt دون زاحف مستقل: يتحكم في الاستخدام لتدريب Gemini والإسناد، ولا يؤثر في بحث Google | |
| Applebot-Extended | Apple | رمز في robots.txt لا يزحف: يتحكم في استخدام بيانات Applebot لتدريب نماذج Apple التوليدية |
يشمل الاختبار أيضاً Applebot وBingbot وGooglebot وAmazonbot وDuckAssistBot وMistralAI-User وmeta-externalagent وmeta-externalfetcher وCCBot وBytespider.
كيف أقرأ الأحكام؟
- مسموح: يسمح robots.txt بالصفحة وردّ الخادم على معرّف الزاحف كما يردّ على متصفح.
- مسموح في robots.txt ولم يُختبر الخادم: لم يُرسل طلب، إما لأن الرمز لا يزحف وإما لأن الزاحف يُتحقق منه عبر عنوان IP (Googlebot وBingbot).
- محظور بـ robots.txt: تنطبق قاعدة Disallow. تحقق من المجموعة التي جاءت منها.
- الخادم يردّ بشكل مختلف: رمز 403 أو 429 أو صفحة تحدٍّ أو لا رد، بينما حصل المتصفح على الصفحة. راجع جدار الحماية أو حماية CDN من الروبوتات أو قواعد أمان الاستضافة.
- غير حاسم: فشل طلب المقارنة نفسه، فلا يمكن استنتاج شيء عن الخادم.
إذا حُظرت زواحف البحث وأدوات الجلب بطلب المستخدم فلا يستطيع مساعدو الذكاء الاصطناعي العثور على الصفحة أو فتحها عبر هذه القنوات.
كيف أسمح لزاحف ذكاء اصطناعي أو أحظره؟
أضف إلى robots.txt مجموعة تسمّي الزاحف. فالمجموعة التي تبدأ بـ User-agent: GPTBot وتحتوي Disallow: / تحظر ذلك الزاحف من الموقع كله، بينما يسمح Allow: / بدخوله. والمجموعة المسمّاة تحل محل قواعد User-agent: * لذلك الزاحف ولا تُضاف إليها.
- اسمح لزواحف البحث وطلبات المستخدم إذا أردت أن تظهر في إجابات الذكاء الاصطناعي.
- قرّر بشأن زواحف التدريب على حدة. فحظرها خيار يتعلق باستخدام المحتوى وليس بالظهور.
- لا تعتمد على robots.txt لحماية الأسرار. فهو طلب، وبعض أدوات الجلب التي يطلقها المستخدم قد تتجاهله.
يكتب مولّد robots.txt هذه المجموعات لك، وينشئ مولّد llms.txt ملفاً ملخّصاً اختيارياً.
لماذا قد يُعامَل الزاحف الحقيقي بشكل مختلف عن هذا الاختبار؟
يرسل هذا الاختبار معرّف user-agent لكل زاحف من عنوان خادمنا. أما الزواحف الحقيقية فتأتي من نطاقات عناوين الجهات المشغّلة، وكثير من جدران الحماية وشبكات CDN تتحقق من هذه النطاقات بدل الوثوق بالمعرّف. ولهذا تنشر الجهات المشغّلة قوائم عناوين IP.
- قد يحظر جدار يفحص عناوين IP الزاحف الحقيقي ويمرّر هذا الاختبار، أو العكس.
- القاعدة التي تحظر بحسب user-agent تظهر هنا عادةً.
- لجواب حاسم ابحث عن طلبات الزاحف في سجلات خادمك وقارن عناوين IP الخاصة بها بالقائمة التي تنشرها الجهة المشغّلة.
على المواقع الواقعة خلف CDN أو جدار حماية تطبيقات الويب، مثل موقع شركة ثنائي اللغة على نطاق .ae، أن تنتبه لهذه النقطة. راجع أيضاً خدمتنا الاستضافة والأمان.
الأسئلة الشائعة
هل يُخرج حظر GPTBot موقعي من بحث ChatGPT؟
لا. توثّق OpenAI زواحف منفصلة: GPTBot للمحتوى الذي قد يُستخدم لتدريب نماذجها وOAI-SearchBot لبحث ChatGPT، فيمكنك حظر أحدهما والسماح بالآخر. أما ChatGPT-User الذي يُستخدم حين يطلب شخص من ChatGPT فتح صفحة فهو زاحف ثالث، وتقول OpenAI إن قواعد robots.txt قد لا تنطبق عليه.
هل يؤثر حظر Google-Extended في بحث Google؟
لا. تصف Google الرمز Google-Extended بأنه رمز في robots.txt بلا user agent مستقل. فهو يتحكم في استخدام المحتوى الذي زحفت إليه Google لتدريب Gemini والإسناد، وتنص Google على أنه لا يؤثر في إدراج الموقع في بحث Google. ويزحف إلى البحث نفسه Googlebot، وهذا الاختبار لا يفحصه إلا في robots.txt.
لماذا يقول الاختبار إن خادمي يردّ بشكل مختلف؟
أعاد خادمك لمعرّف ذلك الزاحف حالة مختلفة، مثل 403 أو 429، أو صفحة تحدٍّ أو لا رد، بينما حصل طلب متصفح عادي على الصفحة. وهذا يشير عادةً إلى جدار حماية أو قاعدة روبوتات في CDN أو إعداد أمان في الاستضافة. وغالباً يُتحقق من الزواحف الحقيقية بعنوان IP، فتأكد من سجلات خادمك قبل تغيير القواعد.
هل يكفي robots.txt لإبعاد أنظمة الذكاء الاصطناعي؟
لا. هو طلب تلتزم به الزواحف الملتزمة وليس ضبط وصول. وتوثّق الجهات المشغّلة أن بعض أدوات الجلب التي يطلقها المستخدم، مثل ChatGPT-User وPerplexity-User، قد لا تلتزم به. والمحتوى الذي يجب أن يبقى خاصاً يحتاج إلى مصادقة وليس إلى قاعدة في robots.txt.
ماذا يرسل الاختبار إلى موقعي؟
طلباً واحداً للصفحة التي أدخلتها بمعرّف متصفح عادي، وطلباً لملف robots.txt، وطلباً لكل معرّف زاحف: نحو عشرين طلباً في المجموع، تُرسل من خادمنا خلال ثوانٍ دون اتباع التحويلات. لا يُرسَل أي نموذج ولا تُحفظ ملفات تعريف الارتباط. ولكل اتصال عدد محدود من الاختبارات كل بضع دقائق.
صفحات ذات صلة
المصادر
شاهد نموذج تصميم لنشاطك أنت
تصفّح نماذج تصميم خيالية من مئات القطاعات. لا ترى نوع نشاطك؟ أخبرنا بما تعمل عبر واتساب وسنجهّز لك نموذج تصميم مجانياً دون أي التزام.
