أحدث كتب

دليل المبتدئين لاستخدام ملف SEO robots.txt

دليل المبتدئين لاستخدام ملف SEO robots.txt 

ملف robots.txt ومدونات بلوجر.
ملف robots.txt ومدونات بلوجر. 

المقدمة:

ملف  robots.txt  هو ملف نصي يقدم توصيات فهرسة لبرامج زحف بحث Google ومحركات البحث الأخرى على الإنترنت.

أحد الأشياء الأولى التي تحتاج إلى التحقق منها وتحسينها عند العمل على تحسين محركات البحث الفنية لديك هو ملف robots.txt. يمكن أن تتسبب مشكلة أو خطأ في التكوين في ملف robots.txt الخاص بك في حدوث مشكلات خطيرة في تحسين محركات البحث والتي تؤثر سلبًا على تصنيفاتك وحركة المرور الخاصة بك.


في هذه المقالة، ستتعرف على ما هو ملف robots.txt، ولماذا تحتاجه، وكيفية تحسينه لتحسين محركات البحث.

ما هو ملف Robots.txt؟

ملف robots.txt هو ملف نصي موجود في الدليل الجذر لموقع الويب الخاص بك ويقدم لبرامج زحف محركات البحث تعليمات حول الصفحات التي يمكنهم الزحف إليها وفهرستها أثناء عملية الزحف والفهرسة.

في السيناريو النموذجي، يجب أن يحتوي ملف robots.txt على المحتويات التالية:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

يتيح ذلك لجميع الروبوتات الوصول إلى موقع الويب الخاص بك دون أي حظر. كما أنه يحدد موقع خريطة الموقع ليسهل على محركات البحث تحديد موقعه.

إذا كنت قد قرأت مقالتي السابقة حول كيفية عمل محركات البحث ، فأنت تعلم أنه أثناء مرحلة الزحف والفهرسة، تحاول محركات البحث العثور على الصفحات المتاحة على شبكة الويب العامة والتي يمكنها تضمينها في فهرسها.

عند زيارة موقع ويب، أول شيء يفعلونه هو البحث عن محتويات ملف robots.txt والتحقق منها. واعتمادًا على القواعد المحددة في الملف، يقومون بإنشاء قائمة بعناوين URL التي يمكنهم الزحف إليها ثم فهرستها لاحقًا لموقع الويب المحدد.

محتويات ملف robots.txt متاحة للعامة على الإنترنت. ما لم تتم حماية خلاف ذلك، يمكن لأي شخص عرض ملف robots.txt الخاص بك، لذا فهذا ليس المكان المناسب لإضافة المحتوى الذي لا تريد أن يراه الآخرون.

ما أهمية ملف Robots.txt؟

يعد وجود ملف robots.txt أمرًا مهمًا لعدة أسباب، حتى إذا كنت لا ترغب في استبعاد أي صفحات أو أدلة لموقع الويب الخاص بك من الظهور في نتائج محرك البحث. فيما يلي حالات الاستخدام الأكثر شيوعًا لملف robots.txt:

1. لمنع محركات البحث من الوصول إلى صفحات أو أدلة محددة بموقعك على الويب - على سبيل المثال، انظر إلى ملف robots.txt أدناه ولاحظ قواعد عدم السماح . ترشد هذه العبارات برامج زحف محركات البحث إلى عدم فهرسة الأدلة المحددة. لاحظ أنه يمكنك استخدام * كحرف بدل.

2. التحكم في الزحف - يمكن أن يكون الزحف والفهرسة مستهلكًا للغاية للموارد في موقع الويب الكبير. ستحاول برامج الزحف من محركات البحث المختلفة الزحف إلى موقعك بالكامل وفهرسته، مما قد يؤدي إلى حدوث مشكلات خطيرة في الأداء.

في هذه الحالة، يمكنك استخدام ملف robots.txt لتقييد الوصول إلى أجزاء معينة من موقع الويب الخاص بك والتي تعتبر غير مهمة لتحسين محركات البحث أو التصنيف. بهذه الطريقة، يمكنك تقليل الحمل على الخادم الخاص بك وتجعل عملية الفهرسة بأكملها أسرع.

كيف يعمل ملف Robots.txt؟

يحتوي ملف robots.txt على بنية بسيطة جدًا. هناك بعض مجموعات الكلمات الرئيسية/القيم المحددة مسبقًا والتي يمكنك استخدامها.

الأكثر شيوعًا هي وكيل المستخدم، وعدم السماح، والسماح، وتأخير الزحف، وخريطة الموقع.

وكيل المستخدم: يحدد برامج الزحف التي يجب أن تأخذ في الاعتبار التوجيهات. يمكنك استخدام * للإشارة إلى جميع برامج الزحف أو تحديد اسم الزاحف. انظر الأمثلة أدناه .

يمكنك عرض جميع الأسماء والقيم المتاحة لتوجيهات وكيل المستخدم هنا .

User-agent: *– يشمل جميع برامج الزحف.
User-agent: Googlebot– التعليمات مخصصة لـ Google bot فقط.

عدم السماح: يوجه التوجيه وكيل المستخدم (المحدد أعلاه) إلى عدم الزحف إلى عنوان URL أو جزء من موقع الويب.

يمكن أن تكون قيمة عدم السماح ملفًا محددًا، أو عنوان URL، أو دليلاً. انظر إلى المثال أدناه المأخوذ من دعم Google .


السماح: يخبر التوجيه صراحةً الصفحات أو المجلدات الفرعية التي يمكن الوصول إليها. ينطبق هذا على Googlebot فقط.

يمكنك استخدام السماح للوصول إلى مجلد فرعي محدد على موقع الويب الخاص بك، على الرغم من أن الدليل الأصلي غير مسموح به.

على سبيل المثال، يمكنك عدم السماح بالوصول إلى دليل الصور الخاص بك ولكن يمكنك السماح بالوصول إلى مجلد BMW الفرعي ضمن الصور .

User-agent: *
Disallow: /photos
Allow: /photos/bmw/

تأخير الزحف : يمكنك تحديد قيمة تأخير الزحف لإجبار برامج زحف محركات البحث على الانتظار لفترة زمنية محددة قبل الزحف إلى الصفحة التالية من موقع الويب الخاص بك. القيمة التي تدخلها هي بالمللي ثانية .

تجدر الإشارة إلى أن Googlebot لا يأخذ في الاعتبار تأخير الزحف . في معظم الحالات، لا ينبغي عليك الاستفادة من توجيه تأخير الزحف .

خريطة الموقع: يتم دعم توجيه خريطة الموقع بواسطة محركات البحث الرئيسية، بما في ذلك Google، ويتم استخدامه لتحديد موقع خريطة موقع XML الخاصة بك.

حتى إذا لم تحدد موقع خريطة موقع XML في ملف robots، فلا يزال بإمكان محركات البحث العثور عليه.

على سبيل المثال، يمكنك استخدام هذا:

Sitemap: https://example.com/sitemap.xml

هام: ملف Robots.txt حساس لحالة الأحرف. وهذا يعني أنه إذا قمت بإضافة هذا التوجيه، فلن يقوم Disallow: /File.html بحظر file.html.


كيفية إنشاء ملف Robots.txt؟

من السهل إنشاء ملف robots.txt. كل ما تحتاجه هو محرر نصوص (مثل الأقواس أو المفكرة) والوصول إلى ملفات موقع الويب الخاص بك (عبر FTP أو لوحة التحكم).

قبل البدء في عملية إنشاء ملف robots.txt، أول شيء يجب عليك فعله هو التحقق مما إذا كان لديك ملف بالفعل.

أسهل طريقة للقيام بذلك هي فتح نافذة متصفح جديدة والانتقال إلى https://www.yourdomain.com/robots.txt

إذا رأيت شيئًا مشابهًا لما هو موضح أدناه، فهذا يعني أن لديك بالفعل ملف robots.txt، ويمكنك تعديل الملف الموجود بدلاً من إنشاء ملف جديد. كيفية تعديل ملف robots.txt الخاص بك

User-agent: *
Allow: /

استخدم عميل FTP المفضل لديك واتصل بالدليل الجذر لموقع الويب الخاص بك.

يوجد ملف Robots.txt دائمًا في المجلد الجذر (www أو public_html، اعتمادًا على الخادم الخاص بك).

قم بتنزيل الملف على جهاز الكمبيوتر الخاص بك وافتحه باستخدام محرر النصوص.

قم بإجراء التغييرات اللازمة وقم بتحميل الملف مرة أخرى إلى الخادم الخاص بك.

كيفية إنشاء ملف robots.txt جديد

إذا لم يكن لديك ملف robots.txt بالفعل، فقم بإنشاء ملف .txt جديد باستخدام محرر نصوص، وأضف توجيهاتك، واحفظه، وقم بتحميله إلى الدليل الجذر لموقع الويب الخاص بك.

هام: تأكد من أن اسم ملفك هو robots.txt وليس أي شيء آخر. ضع في اعتبارك أيضًا أن اسم الملف حساس لحالة الأحرف، لذا يجب أن يكون كله بأحرف صغيرة.


أين تضع ملف robots.txt؟ يجب أن يكون ملف robots.txt موجودًا دائمًا في جذر موقع الويب الخاص بك وليس في أي مجلد.

كيفية اختبار والتحقق من صحة ملف Robots.txt الخاص بك؟

هناك ثلاث طرق لاختبار ملف robots.txt الخاص بك.

يمكنك استخدام أداة التحقق المجانية من ملف robots.txt . سيخبرك إذا كان هناك أي حظر أو مشاكل في بناء الجملة.


يمكنك عرض تقرير Robots.txt في Google Search Console، الموجود ضمن الإعدادات.


يمكنك استخدام أداة فحص عنوان URL في Google Search Console لاختبار الصفحات الفردية.

تعليقات



حجم الخط
+
16
-
تباعد السطور
+
2
-