ما هي أكثر أخطاء الزحف الشائعة ؟

دعونا نلقي المزيد من الضوء على الزحف أولاً وكيف يعمل وكيفية تجنب الأخطاء؟

تركيز – تحدث أخطاء الزحف عندما يحاول محرك البحث الوصول إلى صفحة على موقع الويب الخاص بك ولكنه يفشل فيها. دعونا نلقي المزيد من الضوء على الزحف أولاً. الزحف هو العملية التي يحاول فيها محرك البحث زيارة كل صفحة من صفحات موقعك عبر روبوت. يجد روبوت محرك البحث رابطًا إلى موقع الويب الخاص بك ويبدأ في العثور على جميع صفحاتك العامة من هناك. يزحف الروبوت الصفحات ويفهرس جميع المحتويات للاستخدام في غوغل، بالإضافة إلى إضافة جميع الروابط الموجودة على هذه الصفحات إلى كومة الصفحات التي لا يزال يتعين عليه الزحف إليها. هدفك الرئيسي بصفتك مالكًا لموقع الويب هو التأكد من أن روبوت محرك البحث يمكنه الوصول إلى جميع الصفحات على الموقع. إن فشل هذه العملية يعيد ما نسميه أخطاء الزحف.

هدفك هو التأكد من أن كل رابط على موقع الويب الخاص بك يؤدي إلى صفحة فعلية. قد يكون ذلك عبر إعادة توجيه 301، ولكن يجب أن تعيد الصفحة الموجودة في نهاية هذا الرابط دائمًا استجابة خادم 200 OK.

تقسم Google أخطاء الزحف إلى مجموعتين:

  • أخطاء الموقع. أنت لا تريد هذه، لأنها تعني أنه لا يمكن الزحف على موقعك بالكامل.
  • أخطاء عنوان URL. أنت لا تريد هذه أيضًا، ولكن نظرًا لأنها تتعلق فقط بعنوان URL واحد محدد لكل خطأ، فمن الأسهل صيانتها وإصلاحها.

دعونا نوضح ذلك.

أخطاء الموقع

أخطاء الموقع هي جميع أخطاء الزحف التي تمنع روبوت محرك البحث من الوصول إلى موقع الويب الخاص بك. يمكن أن يكون لذلك العديد من الأسباب، وهي الأكثر شيوعًا:

  • أخطاء DNS. هذا يعني أن محرك البحث غير قادر على التواصل مع الخادم الخاص بك. قد يكون معطلًا، على سبيل المثال، مما يعني أنه لا يمكن زيارة موقع الويب الخاص بك. عادة ما تكون هذه قضية مؤقتة. ستعود غوغل إلى موقع الويب الخاص بك لاحقًا وتزحف إلى موقعك على أي حال. إذا رأيت إشعارات بهذا في وحدة تحكم البحث في Google عند أخطاء الزحف، فمن المحتمل أن هذا يعني أن Google قد جربت عدة مرات وما زالت غير قادرة على ذلك.
  • أخطاء الخادم. إذا أظهرت وحدة البحث الخاصة بك أخطاء في الخادم، فهذا يعني أن الروبوت لم يكن قادرًا على الوصول إلى موقع الويب الخاص بك. ربما يكون الطلب قد حدد موعده. حاول محرك البحث (f.i.) زيارة موقعك، لكن الأمر استغرق وقتًا طويلاً حتى قدم الخادم رسالة خطأ. تحدث أخطاء الخادم أيضًا عندما تكون هناك عيوب في رمزك تمنع تحميل الصفحة. قد يعني ذلك أيضًا أن موقعك يحتوي على العديد من الزوار لدرجة أن الخادم لم يتمكن من التعامل مع جميع الطلبات. يتم إرجاع الكثير من هذه الأخطاء كرموز حالة 5xx، مثل رموز الحالة 500 و 503.
  • فشل الروبوتات. قبل الزحف، (f.i.) يحاول Googlebot الزحف على ملف robots.txt الخاص بك أيضًا، فقط لمعرفة ما إذا كانت هناك أي مناطق على موقع الويب الخاص بك تفضل عدم فهرستها. إذا لم يتمكن هذا الروبوت من الوصول إلى ملف robots.txt، فستؤجل Google الزحف حتى تتمكن من الوصول إلى ملف robots.txt. لذا تأكد دائمًا من توفره.

هذا يفسر قليلاً عن أخطاء الزحف المتعلقة بموقعك بالكامل. الآن دعونا نرى أي نوع من أخطاء الزحف قد تحدث لصفحات محددة.

أخطاء عنوان URL

كما ذكرنا، تشير أخطاء عنوان URL إلى أخطاء الزحف التي تحدث عندما يحاول روبوت محرك البحث الزحف إلى صفحة معينة من موقع الويب الخاص بك. عندما نناقش أخطاء عنوان URL، فإننا نميل إلى مناقشة أخطاء الزحف مثل (ناعمة) 404 أخطاء غير موجودة أولاً. يجب عليك التحقق بشكل متكرر من هذا النوع من الأخطاء (استخدم Google Search Console أو أدوات Bing webmaster) وإصلاح “em. إذا لم تعد صفحة/موضوع تلك الصفحة أبدًا إلى موقع الويب الخاص بك، فاقدم 410 صفحة. إذا كان لديك محتوى مماثل في صفحة أخرى، فيرجى استخدام إعادة توجيه 301 بدلاً من ذلك. من الواضح أن خريطة موقعك وروابطك الداخلية محدثة أيضًا.

وجدنا أن الكثير من أخطاء عنوان URL هذه ناتجة عن روابط داخلية، بالمناسبة. لذا فإن الكثير من هذه الأخطاء هي خطأك. إذا قمت بإزالة صفحة من موقعك في مرحلة ما، فقم بضبط أو إزالة أي روابط داخلية لها أيضًا. هذه الروابط ليس لها فائدة بعد الآن. إذا ظل هذا الرابط كما هو، فسيجده الروبوت ويتبعه، فقط للعثور على طريق مسدود (404 لم يتم العثور على خطأ). على موقعك. تحتاج إلى القيام ببعض الصيانة بين الحين والآخر على روابطك الداخلية!

خطأ آخر شائع في عنوان URL هو الخطأ الذي يحتوي على عبارة «مقدم عنوان URL» في العنوان. تظهر هذه الأخطاء بمجرد اكتشاف Google لسلوك غير متسق. من ناحية، قمت بإرسال عنوان URL للفهرسة، لذا فأنت تقول لـ Google: «نعم، أريدك أن تفهرس هذه الصفحة». من ناحية أخرى، هناك شيء آخر يقول لـ Google: «لا، لا تفهرس هذه الصفحة». قد يكون السبب المحتمل هو أن صفحتك محجوبة بواسطة ملف robots.txt الخاص بك. أو أن الصفحة تحمل علامة «noindex» بعلامة ميتا أو رأس HTTP. إذا لم تقم بإصلاح الرسالة غير المتسقة، فلن تقوم Google بفهرسة عنوان URL الخاص بك.

من بين هذه الأخطاء الشائعة قد يكون خطأ DNS عرضي أو خطأ خادم لعنوان URL المحدد. أعد التحقق من عنوان URL لاحقًا وشاهد ما إذا كان الخطأ قد اختفى. تأكد من استخدام الجلب مثل Google ووضع علامة على الخطأ كما هو ثابت في Google Search Console إذا كانت هذه هي أداة المراقبة الرئيسية الخاصة بك في هذا.

أخطاء عنوان URL محددة جدًا

هناك بعض أخطاء عنوان URL التي تنطبق على مواقع معينة فقط. لهذا السبب أود أن أدرج هذه بشكل منفصل:

  • أخطاء عنوان URL الخاصة بالهاتف المحمول. يشير هذا إلى أخطاء الزحف الخاصة بالصفحة والتي تحدث على الهاتف الذكي الحديث. إذا كان لديك موقع ويب سريع الاستجابة، فمن غير المرجح أن يظهر هذا الموقع. ربما فقط لتلك القطعة من محتوى Flash الذي أردت استبداله بالفعل. إذا حافظت على منطقة فرعية منفصلة للجوال مثل m.example.com، فقد تواجه المزيد من الأخطاء. شيء على غرار عمليات إعادة التوجيه الخاطئة من موقع سطح المكتب الخاص بك إلى موقع الهاتف المحمول هذا. ربما تكون قد حظرت بعضًا من موقع الهاتف المحمول هذا بخط في robots.txt.
  • أخطاء البرامج الضارة. إذا واجهت أخطاء في البرامج الضارة في أدوات مدير الويب الخاصة بك، فهذا يعني أن Bing أو Google قد وجدت برامج ضارة على عنوان URL هذا. قد يعني ذلك أنه تم العثور على برنامج يستخدم، على سبيل المثال، «لجمع المعلومات المحروسة، أو لتعطيل تشغيلها بشكل عام». (ويكيبيديا). تحتاج إلى التحقيق في تلك الصفحة وإزالة البرامج الضارة.
  • أخطاء أخبار جوجل. هناك بعض الأخطاء المحددة في أخبار غوغل. هناك قائمة كبيرة بهذه الأخطاء المحتملة في وثائق Google، لذلك إذا كان موقع الويب الخاص بك موجودًا في أخبار غوغل، فقد تحصل على أخطاء الزحف هذه. تختلف من عدم وجود عنوان إلى أخطاء تخبرك أن صفحتك لا تحتوي على مقال إخباري على الإطلاق. تأكد من التحقق بنفسك إذا كان هذا ينطبق على موقعك.

أصلح أخطاء الزحف

خلاصة القول في هذه المقالة هي بالتأكيد: إذا واجهت أخطاء في الزحف، فقم بإصلاحها. يجب أن يكون جزءًا من جدول صيانة موقعك للتحقق من أخطاء الزحف بين الحين والآخر.

المصدرyoast

اقرأ أيضاً

ترك الرد

من فضلك ادخل تعليقك
من فضلك ادخل اسمك هنا
Captcha verification failed!
فشل نقاط مستخدم captcha. الرجاء التواصل معنا!

أحدث الأخبار