ما هو ملف Robots.txt؟

عند إنشاء موقعك، فمن المحتمل أنك تريد أن تكون على Google أو محركات البحث الأخرى.لحسن الحظ، لديهم روبوتاتهم الخاصة أو "الزحف"هذا ينظم الإنترنت إلى مؤشر المواقع. يمكن التحكم في هذه الروبوتات في كيفية تفاعلها مع موقعك من خلال ملف نصي. سيكون هذا robots.txt ملف.يحتوي هذا الملف على قواعد أن الروبوتات التي تزور موقعك يطلب منك ذلك.هذا يمكن أن يكون عموما شيء جيد ولكن يمكن أن يكون أيضا شيئا سيئا لتقييمك إذا تم إعداده بشكل غير صحيح.

كيف تبدو ملف Robots.txt؟

فيما يلي بعض الأمثلة المختلفة لما قد يبدو هذا الملف لك.

السماح لجميع برامج الوصول الكامل

وكيل المستخدم: * عدم السماح:

منع جميع وصول الروبوت

وكيل المستخدم: * عدم السماح: /

تعيين تأخير الزحف إلى 10 ثوان

وكيل المستخدم: * الزحف تأخير: 10

عن طريق تحديد تأخير الزحف لمدة 10 ثوان، فإنك تقيد هذه محركات البحث هذه لفهرسة موقع الويب الخاص بك.إذا كان لديك VPS مع كمية محدودة من الموارد ولا يتم تحسين صفحاتك للتعامل مع ارتفاع مفاجئ من حركة المرور على الويب، فقد تفكر في ترقية خادم VPS Cloud الخاص بك للحصول على مزيد من الموارد وإضافة تأخير زحف

تلك هي مجرد قالب عامة جدا لملف Robots.txt.يمكنك استخدامه لمنع الوصول إلى مجلد واحد أو حتى ملف واحد فقط إذا أراد.سيكون لكل إدخال داخل ملف Robots.txt حقل عامل مستخدم مع شيء بجانبه.يشير النجمة إلى وحدة البدل، حيث ستنطبق على الجميع.إذا كنت ترغب في تعيينه لبوت معين، فسوف تضع هذا في هذا الحقل.أي خطوط بعد ذلك سوف تنطبق على وكيل المستخدم هذا حتى يتم تحديد واحد جديد.على سبيل المثال، في الملف أدناه، بالنسبة ل Google، فإنه سيؤدي إلى حظر مجلد / TMP على الموقع، ولكن لجميع الروبوتات الأخرى، سيتم السماح لجميع المجلدات (بما في ذلك مجلد / TMP).

وكيل المستخدم: GoogleBot عدم السماح: / TMP / وكيل المستخدم: * عدم السماح:

كما ترون، يمكنك استخدام هذا لمنع الروبوتات من فهرسة الملفات الخاصة أو حتى الدلائل غير الضرورية.على الرغم من حفظ الروبوتات الموجودة على الإنترنت، إلا أن موارد مختلفة متاحة للعثور على تلك خارج.

هناك العديد من الأشياء التي يمكن أن تفعلها Robots.txt لتأثير على زحف الموقع، ولكن منع الوصول هو الأكثر شيوعا.خيارات أخرى تشمل خيار تأخير الزحف.يمكنك استخدام هذا الخيار لإجراء تأخير BOT بين الزحف الصفحات على الموقع.

إذا كان يجب أن يكون لديك أي أسئلة أو ترغب في المساعدة، فيرجى الاتصال بنا من خلال الدردشة الحية أو عن طريق تقديم تذكرة مع فريق الدعم الفني لدينا.