عناكب محركات البحث و ملف Robots.txt
عناكب محركات البحث تقوم في العادة بالبحث عن ملف خاص في موقعك يدعى Robots.txt و هو عبارة عن ملف نصي عادي بامتداد .txt يمكنك تحريره بأي محرر نصي مثل notepad .. و هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..
تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك ان تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذه نفس الحالة بالنسبة لملف Robots.txt فهو يقوم بتوجيه عناكب البحث إلى أماكن معينة و يتحكم فيها و سنستعرض في هذا الموضوع هذه الأشياء.
في البداية يجب أن ترفع ملف Robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفره
الآن قم بفتح ملف نصي جديد باستعمال notepad و قم بتسميته Robots.txt و اختر الكود الذي يناسبك :
كود PHP:
User-agent: *
Disallow:
user-agent هو العميل أي عنكبوت محرك بحث معين .. إذا رغبت في السماح لجميع عناكب محركات البحث بالدخول إلى موقعك أكتب النجمة " * " اي جميع العناكب. Disallow: تستعمل لحجب مجلدات خاصة لا تريدها أن تظهر في نتائج البحث إذا تركتها فارغة فمعناه أنك لم تقم بمنع أي شيء و بالتالي كل شيء مسموح لأرشفته.
كود PHP:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /sql/
هذا الكود للسماح لجميع عناكب البحث بالدخول إلى موقعي ما عدى مجلدات cgi-bin و tmp و sql.
كود PHP:
User-agent: XBot
Disallow: /
في هذه الحالة XBot اي عنكبوت محرك بحث " X" لا يمكنه مشاهدة اي شيء في الموقع. بوضعك لـ : / اختصار لجميع المجلدات
كود PHP:
User-agent: XBot
Disallow: /
User-agent: *
Disallow: /private/
الفراغ الذي قمنا به بين user-agent الأولى و الثانية هو للإشارة إلى أنن سنضع أمرا جديد لعناكب البحث و بالتالي يمكنك حجب عنكبوت معين من مشاهدة موقعك في الأمر الأول و السماح لبقية عناكب محركات البحث * بأرشفة موقعك ما عدى ملف private.
بعض الأخطاء الشائعة في ملف Robots.txt :
كود PHP:
User-agent: *
Disallow /
Disallow / ينقصها نقطتان " : "
كود PHP:
User-agent: *
Disallow: *
إذا أردت منع ارشفة كل شيء استعمل " / "
كود PHP:
User-agent: *
Disallow: /tmp/
User-agent: Xbot
Disallow: /links/listing.html
Disallow: /tmp/
عناكب البحث تقرأ الملف من الاعلى الى الأسفل لذلك إذا منعت جميع العناكب في السطر الأول من زيارة ملف tmp فلا داعي لوضع الأمر التالي!
ukh;f lpv;hj hgfpe , lgt Robots>txt