ما هو ملف robots.txt؟

robots.txt هو ملف نصي عادي يوضع في جذر النطاق يُخبر الزواحف الإلكترونية المهذبة بأي أجزاء من الموقع يُسمح لها بزحفها وأيها لا، باستخدام توجيهات User-agent وAllow وDisallow.

أين أضع ملف robots.txt الذي تم إنشاؤه؟

يجب وضعه في جذر نطاقك — يمكن الوصول إليه عبر https://yourdomain.com/robots.txt — وليس في دليل فرعي. تحتوي معظم منصات إدارة المحتوى ومولدات المواقع الثابتة على موقع محدد لهذا الملف.

ماذا يعني 'User-agent: *'؟

النجمة رمز بديل يعني 'جميع الزواحف' — أي قاعدة ضمن مجموعة 'User-agent: *' تنطبق على أي روبوت لا يملك مجموعته الخاصة الأكثر تحديدًا في مكان آخر من الملف.

هل يمكنني حظر محرك بحث واحد فقط والسماح للبقية؟

نعم. أضف مجموعة User-agent منفصلة باسم ذلك الروبوت المحدد وقواعد Disallow خاصة به. تنطبق القواعد فقط على الزواحف التي تطابق User-agent لتلك المجموعة تمامًا — ولا تمتد إلى روبوتات أخرى.

هل يضمن robots.txt عدم فهرسة صفحة ما؟

لا. حظر مسار في robots.txt يطلب فقط من الزواحف عدم جلبه — قد يظهر الرابط في نتائج البحث إذا كان مرتبطًا من مكان آخر. لمنع الفهرسة بشكل موثوق، استخدم وسم meta 'noindex' أو ترويسة HTTP على الصفحة نفسها.

هل يجب إضافة خريطة الموقع إلى robots.txt؟

نعم، هذه ممارسة موصى بها على نطاق واسع. إضافة سطر 'Sitemap:' يشير إلى sitemap.xml يمنح الزواحف طريقة سهلة وقياسية لاكتشافها.

ماذا يفعل تأخير الزحف، وهل تحترمه جميع محركات البحث؟

يطلب تأخير الزحف من الزاحف الانتظار عددًا محددًا من الثواني بين الطلبات لتقليل حِمل الخادم. لا يدعم Google تأخير الزحف، لكن Bing وبعض الزواحف الأخرى تحترمه.

هل يمكن أن يضر ملف robots.txt خاطئ بتحسين محركات البحث لديّ؟

نعم — 'Disallow: /' واسع تحت 'User-agent: *' يمنع زحف موقعك بالكامل، وهو خطأ شائع غير مقصود. تحقق دائمًا من الملف الذي تم إنشاؤه قبل نشره في بيئة الإنتاج.

هل تُخزّن هذه الأداة أو ترسل محتوى robots.txt الخاص بي إلى أي مكان؟

لا. يُبنى الملف بالكامل في متصفحك من حقول النموذج التي تُدخلها. لا يُرفع أو يُنقل شيء — يتم نسخ النتيجة أو تنزيلها بالكامل من جانب المتصفح.

أداة إنشاء Robots.txt — بناء ملف robots.txt مخصص

تبني أداة إنشاء Robots.txt لدينا ملف robots.txt صحيحًا نحويًا من نموذج بسيط: أضف مجموعة أو أكثر من User-agent، واذكر مسارات Allow وDisallow لكل مجموعة، واضبط اختياريًا تأخير الزحف، وأضف توجيه خريطة الموقع. تغطي الإعدادات المسبقة بنقرة واحدة الأنماط الشائعة مثل حظر /admin/ أو /api/. يتحدّث الناتج مباشرةً ويمكن نسخه أو تنزيله كملف robots.txt، جاهزًا للوضع في الدليل الجذر لموقعك.

User-agent

المسارات المراد حظرها (كل مسار في سطر)

المسارات المراد السماح بها (كل مسار في سطر)

رابط خريطة الموقع

تأخير الزحف (بالثواني)

ملف robots.txt الناتج

User-agent: *

كيفية استخدام أداة إنشاء Robots.txt — إنشاء ملف Robots.txt صالح

1
أدخل User-agent (استخدم '*' لاستهداف جميع الزواحف، أو اسم روبوت محدد مثل 'Googlebot').
2
اذكر المسارات المراد حظرها و/أو السماح بها، كل مسار في سطر، أو انقر زر إعداد مسبق للقواعد الشائعة.
3
أضف اختياريًا مزيدًا من مجموعات User-agent، ورابط خريطة الموقع، وقيمة تأخير الزحف.
4
انسخ نص robots.txt الناتج أو نزّله مباشرةً كملف robots.txt.

لماذا تستخدم أداة إنشاء Robots.txt — إنشاء ملف Robots.txt صالح؟

ملف robots.txt هو أول ما تتحقق منه الزواحف المهذبة قبل فهرسة موقعك، وخطأ نحوي واحد قد يُضعف تحسين محركات البحث بصمت عبر إخفاء صفحات كنت تريد فهرستها أو كشف صفحات كنت تريد إخفاءها. كتابة robots.txt يدويًا سهلة الخطأ بشكل خادع، خاصة عند تضمين عدة مجموعات User-agent. تفرض هذه الأداة البنية الصحيحة تلقائيًا: تجمع التوجيهات تحت User-agent الصحيح، وترتّب أسطر Disallow/Allow بشكل صحيح، وتُنتج ملفًا يطابق التنسيق الذي تتوقعه محركات البحث، مما يُزيل التخمين.

الأسئلة الشائعة

أدوات ذات صلة

أداة اختبار Robots.txt — التحقق مما إذا كان الرابط مسموحًا أو محظورًا

اختبر ما إذا كان مسار معين مسموحًا أو محظورًا بواسطة ملف robots.txt، لأي user-agent. الصق robots.txt أو اجلبه مباشرةً من أي موقع. مجانية وفورية.

فاحص خريطة الموقع — تحقّق من ملفات Sitemap XML واعثر على الروابط المعطّلة

افحص خريطة موقع XML لأي موقع إلكتروني بحثاً عن الأخطاء والروابط المعطّلة والبيانات الوصفية الناقصة. أداة مجانية للتحقق من خرائط المواقع مع فحص حالة الروابط مباشرة. بدون تسجيل.

أداة استخراج معلومات الموقع — أداة لقطة SEO والبيانات الوصفية

استخرج العنوان ووصف meta ووسوم Open Graph والعناوين وعدد الكلمات وعدد الروابط الداخلية/الخارجية من أي رابط في طلب واحد. أداة مجانية للقطة SEO.

كاشف التقنيات — تعرّف على تقنيات أي موقع

اكتشف CMS وإطار JavaScript وأدوات التحليل وشبكة CDN والخادم الذي يشغّل أي موقع. مدقق مجاني لا يتطلب تسجيلاً.