أهمية الملف robots في أرشفة المواقع الإلكترونية

هذا الملف مهم جداً بالنسبة للمواقع الإلكترونية, فمن خلاله يتم إعطاء صلاحيات الوصول للمجلدات و الملفات الخاصة التي لا ترغب بأرشفتها على محركات البحث. على سبيل المثال بعض المواقع الإلكترونية يكون بها لوحة تحكم خاصة بإدارة النظام فإذا تم أرشفة الصفحات الخاصة بنظام الإدارة قد تسهل وصول المخترقين لموقع الإدارة و التخمين على كلمات المرور و الوصول للحسابات … ثم يحدث ما كنت لم تتوقعه.

طريقة إضافة الملف robots.txt في الموقع

بكل بساطة, يمكنك إنشاء الملف في لوحة التحكم الخاصة بالموقع أو إنشاء الملف على حاسوبك و من ثم رفعه للموقع. إذاً في الحالتين عليك أن تفعل التالي:

• نقوم بإنشاء ملف إسمه  robots و نوعه txt.
• نقوم بوضع الملف في المجلد الرئيسي في الموقع و الذي يكون إسمه في العادة public_html.

طريقة تحديد الصلاحيات التي يمكن لمحركات البحث الوصول لها

في الملف robots.txt يمكنك أن تحدد روابط الصفحات أو الملفات التي تريد السماح بالوصول لها و روابط الصفحات أو الملفات التي لا يسمح بالوصول لها.

الأوامر التي تستخدم لتحديد الصلاحيات:

• الأمر Allow للسماح بالوصول للصفحات أو الملفات.
• الأمر Disallow لعدم السماح بالوصول إلى الصفحات أو الملفات.

مثال على طريقة تحديد صلاحيات الوصول في الملف robots.txt

User-agent: *
Allow: /vistiors/
Disallow:/admins/
Disallow: /login.php
Disallow: /*.pdf$
Disallow: /*.jpg$

أخيراً توجد بعض المهام الأخرى لملف robots تقوم بوظائف أخرى مثل تحديد موقع الملف sitemap.xml و الذي تستخدمه محركات البحث لتحسين ظهور موقعك في محركات البحث و هذا مثال لذلك.

Sitemap: https://www.example.com/sitemap.xml