أهمية الملف robots في أرشفة المواقع الإلكترونية
الملف robots مهم جداً بالنسبة للمواقع الإلكترونية, فمن خلاله يتم إعطاء صلاحيات الوصول للمجلدات و الملفات الخاصة التي لا ترغب بأرشفتها على محركات البحث. كيف نضيف هذا الملف, و ما هي طريقة تحديد الصلاحيات مثل الأمر allow و disallow.