منشئ robots.txt
أنشئ ملف robots.txt لمحركات البحث وزواحف الذكاء الاصطناعي، واختبر أي مسار عليه، ثم انسخ الملف أو نزّله. كل شيء يعمل داخل متصفحك.
منشئ robots.txt أداة مجانية تبني ملف robots.txt يخبر محركات البحث وزواحف الذكاء الاصطناعي بالأجزاء التي يجوز لها جلبها من موقعك. اختر إعداداً جاهزاً، وعدّل كل بوت، وأضف المسارات الممنوعة وخريطة الموقع، ثم انسخ الناتج أو نزّله. ويوضح اختبار مدمج هل المسار مسموح. تعمل الأداة داخل متصفحك.
آخر تحديث:
ما هو ملف robots.txt؟
ملف robots.txt ملف نصي بسيط في جذر موقعك يطلب من الزواحف تحديد المسارات التي يجوز لها جلبها. تقرأه محركات البحث وزواحف الذكاء الاصطناعي قبل الزحف، وقواعده معرّفة في بروتوكول استبعاد الروبوتات (RFC 9309).
| السطر | المعنى |
|---|---|
| User-agent: GPTBot | القواعد التالية تخص هذا الزاحف. والرمز * يعني كل الزواحف الأخرى. |
| Disallow: /admin/ | لا تجلب العناوين التي تبدأ بـ /admin/. |
| Allow: /admin/help/ | استثناء داخل مسار ممنوع. |
| Disallow: /*.pdf$ | الرمز * يطابق أي نص، والرمز $ يدل على نهاية العنوان. |
| Sitemap: https://www.example.ae/sitemap.xml | مكان خريطة موقعك. |
عند تطابق أكثر من قاعدة تفوز الأكثر تحديداً أي الأطول، وعند التساوي تفوز Allow. ويتبع مربع الاختبار في هذه الأداة المنطق نفسه.
كيف أنشئ ملف robots.txt وأرفعه؟
اختر إعداداً جاهزاً، وعدّل البوتات والمسارات، ثم ارفع الملف إلى جذر النطاق الذي يخصه ليُفتح على العنوان https://www.example.ae/robots.txt.
- اختر إعداداً جاهزاً: الموصى به، أو السماح لكل البوتات، أو منع كل بوتات الذكاء الاصطناعي.
- أضف المسارات التي لا يجوز لأي بوت جلبها، مساراً في كل سطر، مثل /admin/.
- أضف عنوان خريطة الموقع ليجدها الزاحفون.
- افتح جدول البوتات وحدّد الزواحف أو ألغِ تحديدها واحداً واحداً.
- انسخ النص أو نزّل robots.txt وارفعه إلى المجلد الجذر لموقعك.
- افتح العنوان المباشر في المتصفح لتتأكد أنه يظهر كنص عادي.
يحتاج كل مضيف إلى ملفه الخاص، فالنطاق الفرعي مثل shop.example.ae يحتاج robots.txt مستقلاً. ولا يُرسل شيء مما تدخله إلى خادمنا، ولا تجلب الأداة موقعك أبداً.
أي زواحف الذكاء الاصطناعي أسمح لها وأيها أمنع؟
انظر إلى زواحف الذكاء الاصطناعي على أنها ثلاث مهام مختلفة: تدريب نموذج، وبناء فهرس بحث، وجلب صفحة لأن مستخدماً طلب ذلك من مساعد. ويمكنك السماح ببعضها ومنع غيرها.
| الزاحف | المالك | الغرض |
|---|---|---|
| GPTBot | OpenAI | تدريب النماذج |
| OAI-SearchBot | OpenAI | نتائج بحث ChatGPT |
| ChatGPT-User | OpenAI | جلب صفحة بطلب من المستخدم |
| ClaudeBot | Anthropic | تدريب النماذج |
| Claude-SearchBot | Anthropic | نتائج بحث Claude |
| PerplexityBot | Perplexity | فهرس بحث Perplexity |
| Google-Extended | رمز تحكم لتدريب Gemini؛ لا يؤثر في بحث Google | |
| Applebot-Extended | Apple | رمز تحكم للانسحاب من تدريب الذكاء الاصطناعي لدى Apple |
| Bingbot | Microsoft | إجابات Bing وCopilot |
| CCBot | Common Crawl | مجموعة بيانات مفتوحة تستخدمها نماذج كثيرة |
| Bytespider | ByteDance | زاحف تدريب |
يسمح الإعداد الموصى به لبوتات البحث وطلبات المستخدم ويمنع زواحف التدريب. وقد يقلل منع زواحف البحث من فرصة استخدام صفحاتك في إجابات هذه المساعدات، لذا قرّر عن قصد. والقائمة مجمعة من وثائق البوتات العامة لدى الجهات المزوّدة وتتغير مع الوقت، فأعد مراجعتها دورياً.
ما الأخطاء التي يجب تجنبها؟
أخطر الأخطاء منع الموقع كله عن غير قصد، والظن بأن robots.txt يخفي الصفحات. راجع ما يلي قبل الرفع.
- سطر Disallow: / متبقٍّ من موقع تجريبي. فهو يطلب من كل الزواحف البقاء بعيداً عن الموقع الفعلي.
- منع مجلدات CSS وJavaScript. فقد تعجز محركات البحث عن عرض صفحاتك بشكل صحيح.
- كتابة مسارات سرية. الملف علني، فأي مسار تكتبه فيه يراه الجميع.
- استخدامه لحذف صفحة من Google. المنع يوقف الزحف لا الفهرسة. ولإبقاء صفحة خارج النتائج استخدم وسم noindex واترك الصفحة قابلة للزحف.
- نسيان قواعد المجموعات. الزاحف المذكور في مجموعته الخاصة يتجاهل مجموعة *، ولذلك تكرر الأداة قواعدك العامة للبوتات المسموحة.
هل robots.txt وسيلة لمنع البوتات من الوصول إلى موقعي؟
لا. ملف robots.txt طلب وليس وسيلة تحكم في الوصول. ينص RFC 9309 على أن قواعده ليست شكلاً من أشكال التفويض بالوصول. الزواحف الملتزمة تتبعه، وقد تتجاهله غيرها، ويستطيع أي شخص فتح الرابط في المتصفح.
للمحتوى السري استخدم تسجيل الدخول أو قواعد الخادم أو جدار الحماية. ولمعرفة هل تصل الزواحف الحقيقية إلى صفحاتك دون أن يحجبها جدار حماية، جرّب اختبار وصول بوتات الذكاء الاصطناعي. ولوصف موقعك لمساعدات الذكاء الاصطناعي اطلع على منشئ llms.txt.
الأسئلة الشائعة
أين أضع ملف robots.txt؟
ارفعه إلى جذر نطاقك ليُفتح على your-domain/robots.txt، مثل https://www.example.ae/robots.txt. والملف الموضوع في مجلد فرعي يُتجاهل. ويحتاج كل مضيف، بما فيه كل نطاق فرعي، إلى ملفه الخاص. وبعد الرفع افتح العنوان في المتصفح لتتأكد أنه يظهر كنص عادي، وأعد اختبار الملف كلما عدّلته حتى لا تمنع صفحات مهمة عن غير قصد.
هل يحذف robots.txt صفحة من Google؟
لا. هو يطلب من الزواحف ألا تجلب الصفحة، لكن الصفحة الممنوعة قد تظهر في النتائج إذا ربطت بها مواقع أخرى. ولإبقاء صفحة خارج نتائج البحث أضف وسم noindex واترك الصفحة قابلة للزحف ليُقرأ الوسم. ومنع الصفحة مع إضافة noindex معاً لن ينجح.
هل أمنع زواحف الذكاء الاصطناعي في موقع نشاطي؟
يعتمد على أهدافك. كثير من الأعمال يريد الظهور في إجابات بحث الذكاء الاصطناعي، فيسمح لزواحف البحث وطلبات المستخدم وتمنع زواحف التدريب فقط. وإن لم تكن متأكداً فابدأ بالإعداد الموصى به، وراجعه مع صاحب المحتوى لديك، وأعد النظر فيه كلما غيّرت الجهات زواحفها.
هل تلتزم كل البوتات بـ robots.txt؟
لا. تذكر محركات البحث ومزودو الذكاء الاصطناعي المعروفون أن زواحفهم الرئيسية تتبعه، لكن بعض أدوات الجلب التي يطلقها المستخدم والجهات السيئة قد لا تلتزم. وبما أن الملف علني وطوعي فلا يحمي الصفحات الخاصة. استخدم المصادقة أو قواعد جدار الحماية عندما يجب ألا تكون الصفحة متاحة.
ما سطر Content-Signal وهل أضيفه؟
Content-Signal سطر أحدث واختياري يعبّر عن تفضيلات البحث وإجابات الذكاء الاصطناعي وتدريبه. وليس جزءاً من معيار RFC 9309 وكثير من الزواحف تتجاهله، فاعتبره إعلان نية وليس منعاً. وهو مغلق افتراضياً في هذه الأداة، وقواعد Disallow هي التي تؤدي العمل الفعلي.
صفحات ذات صلة
المصادر
شاهد نموذج تصميم لنشاطك أنت
تصفّح نماذج تصميم خيالية من مئات القطاعات. لا ترى نوع نشاطك؟ أخبرنا بما تعمل عبر واتساب وسنجهّز لك نموذج تصميم مجانياً دون أي التزام.
