كريزما
22-07-2023, 11:19 PM
الدرس: ضبط ملف robots.txt روبوت المسؤول عن أرشفة ومنع أرشفة الروابط غير الهامة لـ XenForo
النسخة: أي نسخة من نسخة الزين فورو XenForo
نبدأ مع احد الدروس الهامة
يعرف معظمنا ان هنالك الكثير من الروابط الموجودة في مواقعنا والتي لا داعي لأرشفتها في محركات البحث, حيث تضر بوقعنا أحيانا وقد تضعف قوته في محرك البحث او قد تفقده ثقة زواره القادمين عبر محركات البحث,,
لذلك وجب عدم أرشفتها للحفاظ على مواقعنا, وهذا يتم عبر منع أرشفة هذه الروابط بملف اسمه robots.txt
من الواجب الذكر أن هذا الملف يتم وضعه في المجلد الرئيسي للموقع على الشكل التالي:
كود:
http://www.yoursite.com/robots.txt
ولو كان لدينا رابط فرعي على الشكل التالي:
كود:
http://example.yoursite.com/robots.txt
ولا يتم وضع هذا الملف في المجلدات الفرعية داخل الدومين الرئيسي هكذا
كود:
http://www.yoursite.com/community/robots.txt هذا مثال خاطئ
أو
كود:
http://example.yoursite.com/forum/robots.txt هذا مثال خاطئ
لكل سكربت سنجد أن هناك بعض الروابط المعينة التي لا يجب أن يتم أرشفتها
في درسنا سنتطرق لهذه الروابط الموجودة في منتدى من نوع XenForo
أهم هذه الروابط:
كود:
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /members/
Disallow: /logout/
Disallow: /lost-password/
Disallow: /misc/style/
Disallow: /js
Allow: /
البعض قد لا يفضل أن يتم حجب أسماء الأعضاء وملفاتهم عن محركات البحث, لذا لمن يود ذلك يتم إزالة
كود:
Disallow: /members/
ولكم خيار إضافة أي امتداد لا تودون ان يتم ارشفته أو العكس
ملاحظة: يجب الانتباه أنه في حال كان مجلد المنتدى ليس المجلد الرئيسي مثل في مجتمع معهدي فيتم إضافة المجلد كما يلي
كود:
User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Disallow: /community/conversations/
Disallow: /community/members/
Disallow: /community/logout/
Disallow: /community/lost-password/
Disallow: /community/misc/style/
Disallow: /community/js
Allow: /
حيث يتم استبدال كلمة community باسم مجلد المنتدى الخاص بك (مثلا forums, vb)..
النسخة: أي نسخة من نسخة الزين فورو XenForo
نبدأ مع احد الدروس الهامة
يعرف معظمنا ان هنالك الكثير من الروابط الموجودة في مواقعنا والتي لا داعي لأرشفتها في محركات البحث, حيث تضر بوقعنا أحيانا وقد تضعف قوته في محرك البحث او قد تفقده ثقة زواره القادمين عبر محركات البحث,,
لذلك وجب عدم أرشفتها للحفاظ على مواقعنا, وهذا يتم عبر منع أرشفة هذه الروابط بملف اسمه robots.txt
من الواجب الذكر أن هذا الملف يتم وضعه في المجلد الرئيسي للموقع على الشكل التالي:
كود:
http://www.yoursite.com/robots.txt
ولو كان لدينا رابط فرعي على الشكل التالي:
كود:
http://example.yoursite.com/robots.txt
ولا يتم وضع هذا الملف في المجلدات الفرعية داخل الدومين الرئيسي هكذا
كود:
http://www.yoursite.com/community/robots.txt هذا مثال خاطئ
أو
كود:
http://example.yoursite.com/forum/robots.txt هذا مثال خاطئ
لكل سكربت سنجد أن هناك بعض الروابط المعينة التي لا يجب أن يتم أرشفتها
في درسنا سنتطرق لهذه الروابط الموجودة في منتدى من نوع XenForo
أهم هذه الروابط:
كود:
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /members/
Disallow: /logout/
Disallow: /lost-password/
Disallow: /misc/style/
Disallow: /js
Allow: /
البعض قد لا يفضل أن يتم حجب أسماء الأعضاء وملفاتهم عن محركات البحث, لذا لمن يود ذلك يتم إزالة
كود:
Disallow: /members/
ولكم خيار إضافة أي امتداد لا تودون ان يتم ارشفته أو العكس
ملاحظة: يجب الانتباه أنه في حال كان مجلد المنتدى ليس المجلد الرئيسي مثل في مجتمع معهدي فيتم إضافة المجلد كما يلي
كود:
User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Disallow: /community/conversations/
Disallow: /community/members/
Disallow: /community/logout/
Disallow: /community/lost-password/
Disallow: /community/misc/style/
Disallow: /community/js
Allow: /
حيث يتم استبدال كلمة community باسم مجلد المنتدى الخاص بك (مثلا forums, vb)..