شبـــكة تـيـفـا نت - عناكب محركات البحث و ملف Robots.txt

عناكب محركات البحث و ملف Robots.txt

عناكب محركات البحث تقوم في العادة بالبحث عن ملف خاص في موقعك يدعى robots.txt و هو عبارة عن ملف نصي عادي بامتداد .txt يمكنك تحريره بأي محرر نصي مثل notepad .. و هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..

تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك ان تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذه نفس الحالة بالنسبة لملف robots.txt فهو يقوم بتوجيه عناكب البحث إلى أماكن معينة و يتحكم فيها و سنستعرض في هذا الموضوع هذه الأشياء.

في البداية يجب أن ترفع ملف robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفره

الآن قم بفتح ملف نصي جديد باستعمال notepad و قم بتسميته robots.txt و اختر الكود الذي يناسبك :

كود PHP:


		
			
User-agent: * 
Disallow:

user-agent هو العميل أي عنكبوت محرك بحث معين .. إذا رغبت في السماح لجميع عناكب محركات البحث بالدخول إلى موقعك أكتب النجمة " * " اي جميع العناكب. Disallow: تستعمل لحجب مجلدات خاصة لا تريدها أن تظهر في نتائج البحث إذا تركتها فارغة فمعناه أنك لم تقم بمنع أي شيء و بالتالي كل شيء مسموح لأرشفته.

كود PHP:


		
			
User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /tmp/ 
Disallow: /sql/

هذا الكود للسماح لجميع عناكب البحث بالدخول إلى موقعي ما عدى مجلدات cgi-bin و tmp و sql.

كود PHP:


		
			
User-agent: XBot  
Disallow: /

في هذه الحالة XBot اي عنكبوت محرك بحث " X" لا يمكنه مشاهدة اي شيء في الموقع. بوضعك لـ : / اختصار لجميع المجلدات

كود PHP:


		
			
User-agent: XBot  
Disallow: / 
  
User-agent: * 
Disallow: /private/

الفراغ الذي قمنا به بين user-agent الأولى و الثانية هو للإشارة إلى أنن سنضع أمرا جديد لعناكب البحث و بالتالي يمكنك حجب عنكبوت معين من مشاهدة موقعك في الأمر الأول و السماح لبقية عناكب محركات البحث * بأرشفة موقعك ما عدى ملف private.

بعض الأخطاء الشائعة في ملف robots.txt :

كود PHP:


		
			
User-agent: *  
Disallow /

Disallow / ينقصها نقطتان " : "

كود PHP:


		
			
User-agent: *  
Disallow: *

إذا أردت منع ارشفة كل شيء استعمل " / "

كود PHP:


		
			
User-agent: * 
Disallow: /tmp/ 
  
User-agent: Xbot  
Disallow: /links/listing.html  
Disallow: /tmp/

عناكب البحث تقرأ الملف من الاعلى الى الأسفل لذلك إذا منعت جميع العناكب في السطر الأول من زيارة ملف tmp فلا داعي لوضع الأمر التالي!

Download41875