أهمية الملف robots في أرشفة المواقع الإلكترونية
هذا الملف مهم جداً بالنسبة للمواقع الإلكترونية, فمن خلاله يتم إعطاء صلاحيات الوصول للمجلدات و الملفات الخاصة التي لا ترغب بأرشفتها على محركات البحث. على سبيل المثال بعض المواقع الإلكترونية يكون بها لوحة تحكم خاصة بإدارة النظام فإذا تم أرشفة الصفحات الخاصة بنظام الإدارة قد تسهل وصول المخترقين لموقع الإدارة و التخمين على كلمات المرور و الوصول للحسابات … ثم يحدث ما كنت لم تتوقعه.
طريقة إضافة الملف robots.txt في الموقع
بكل بساطة, يمكنك إنشاء الملف في لوحة التحكم الخاصة بالموقع أو إنشاء الملف على حاسوبك و من ثم رفعه للموقع. إذاً في الحالتين عليك أن تفعل التالي:
- نقوم بإنشاء ملف إسمه
robots
و نوعهtxt
. - نقوم بوضع الملف في المجلد الرئيسي في الموقع و الذي يكون إسمه في العادة
public_html
.
طريقة تحديد الصلاحيات التي يمكن لمحركات البحث الوصول لها
في الملف robots.txt
يمكنك أن تحدد روابط الصفحات أو الملفات التي تريد السماح بالوصول لها و روابط الصفحات أو الملفات التي لا يسمح بالوصول لها.
الأوامر التي تستخدم لتحديد الصلاحيات:
- الأمر
Allow
للسماح بالوصول للصفحات أو الملفات. - الأمر
Disallow
لعدم السماح بالوصول إلى الصفحات أو الملفات.
مثال على طريقة تحديد صلاحيات الوصول في الملف robots.txt
User-agent: * Allow: /vistiors/ Disallow:/admins/ Disallow: /login.php Disallow: /*.pdf$ Disallow: /*.jpg$
أخيراً توجد بعض المهام الأخرى لملف robots تقوم بوظائف أخرى مثل تحديد موقع الملف sitemap.xml
و الذي تستخدمه محركات البحث لتحسين ظهور موقعك في محركات البحث و هذا مثال لذلك.
Sitemap: https://www.example.com/sitemap.xml
الكاتب
علاء نجمي
رئيس قسم المطوّرين في نُضج الرقمية. حاصل على الشهادات الاحترافية HCIA-AI,PCAP,PCEP,CLE. كاتب ومُقدم دورات بمجال التقنية والبرمجة. مهتم بالأنظمة وحمايتها وتطويرها
تعليقات 1
أضف تعليق
تقييم المقال
لم تقم بتقييم المقال بعد!
روابط مهمة
حقوق النشر
جميع الحقوق محفوظة لموقع هرمش. لا يسمح باستخدام الشروحات لأغراض تجارية، إجراء تعديل عليها، نشرها في موقع آخر، وضع الشروحات في تطبيق أو في كتاب إلا في حال أخذ موافقة صريحة من إدارة الموقع كما أن المحتوى مسجل بواسطة DMCA و في حال قيامك بمخالفة حقوق النشر سنضطر آسفين لاتخاذ الإجراءات اللازمة.