بريان فريدريك – قد تكون الكلمات الرئيسية والمحتوى الركيزتين التوأمين اللتين تم بناء معظم استراتيجيات تحسين محرك البحث عليهما، لكنها بعيدة كل البعد عن الأعمدة الوحيدة المهمة وهم الزحف والفهرسة.
أقل شيوعًا للمناقشة ولكن بنفس الأهمية – ليس فقط للمستخدمين ولكن للبحث في الروبوتات – هو اكتشاف موقع الويب الخاص بك.
هناك ما يقرب من 50 مليار صفحة ويب على 1.93 مليار موقع على الإنترنت. هذا عدد كبير جدًا بحيث لا يمكن لأي فريق بشري استكشافه، لذا فإن هذه الروبوتات، التي تسمى أيضًا العناكب، تؤدي دورًا مهمًا.
تحدد هذه الروبوتات محتوى كل صفحة من خلال متابعة الروابط من موقع ويب إلى موقع ويب وصفحة إلى صفحة. يتم تجميع هذه المعلومات في قاعدة بيانات واسعة، أو فهرس، لعناوين URL، والتي يتم وضعها بعد ذلك من خلال خوارزمية محرك البحث للترتيب.
تسمى هذه العملية المكونة من خطوتين للتنقل وفهم موقعك الزحف والفهرسة.
بصفتك محترفًا في تحسين محركات البحث، فقد سمعت بلا شك هذه المصطلحات من قبل، ولكن دعونا نحددها فقط من أجل الوضوح:
- تشير الزحف إلى مدى جودة مسح روبوتات محرك البحث هذه وفهرسة صفحات الويب الخاصة بك.
- تقيس القابلية للفهرسة قدرة محرك البحث على تحليل صفحات الويب الخاصة بك وإضافتها إلى فهرسها.
كما يمكنك أن تتخيل على الأرجح، كلاهما جزء أساسي من SEO.
إذا كان موقعك يعاني من ضعف الزحف، على سبيل المثال، والعديد من الروابط المكسورة والطرق المسدودة، فلن تتمكن زواحف محرك البحث من الوصول إلى جميع المحتوى الخاص بك، مما سيستبعده من المؤشر.
من ناحية أخرى، تعد القابلية للفهرسة أمرًا حيويًا لأن الصفحات غير المفهرسة لن تظهر في نتائج البحث. كيف يمكن لـ غوغل تصنيف صفحة لم تدرجها في قاعدة بياناتها ؟
إن عملية الزحف والفهرسة أكثر تعقيدًا قليلاً مما ناقشناه هنا، ولكن هذه هي النظرة العامة الأساسية.
كيفية تحسين الزحف والفهرسة
الآن بعد أن قمنا بتغطية مدى أهمية هاتين العمليتين، دعنا نلقي نظرة على بعض عناصر موقع الويب الخاص بك التي تؤثر على الزحف والفهرسة – ومناقشة طرق تحسين موقعك لهم.
-
تحسين سرعة تحميل الصفحة
مع وجود مليارات صفحات الويب للكتالوج، لا يملك عناكب الويب طوال اليوم لانتظار تحميل روابطك. يشار إلى هذا أحيانًا باسم ميزانية الزحف.
إذا لم يتم تحميل موقعك ضمن الإطار الزمني المحدد، فسوف يغادر موقعك، مما يعني أنك ستبقى غير مزخرف وغير مفهرس. وكما يمكنك أن تتخيل، هذا ليس جيدًا لأغراض SEO.
وبالتالي، من الجيد تقييم سرعة صفحتك بانتظام وتحسينها حيثما أمكنك ذلك.
يمكنك استخدام وحدة تحكم بحث غوغل أو أدوات مثل Screaming Frog للتحقق من سرعة موقع الويب الخاص بك.
إذا كان موقعك يسير ببطء، فاتخذ خطوات للتخفيف من المشكلة. يمكن أن يشمل ذلك ترقية الخادم أو نظام الاستضافة الخاص بك، وتمكين الضغط، وتصغير CSS و JavaScript و HTML، وإلغاء أو تقليل عمليات إعادة التوجيه.
اكتشف ما الذي يبطئ وقت التحميل عن طريق التحقق من تقرير Core Web Vitals. إذا كنت تريد المزيد من المعلومات الدقيقة حول أهدافك، لا سيما من منظور يركز على المستخدم، فإن غوغل Lighthouse هي أداة مفتوحة المصدر قد تجدها مفيدة للغاية.
-
تقوية هيكل الارتباط الداخلي
إن وجود هيكل جيد للموقع وربط داخلي هما عنصران أساسيان لاستراتيجية ناجحة للتكنولوجيا البيئية. يصعب على محركات البحث الزحف على موقع الويب غير المنظم، مما يجعل الربط الداخلي أحد أهم الأشياء التي يمكن للموقع القيام بها.
لكن لا تأخذ كلمتنا فقط. إليك ما قاله جون مولر، مدافع البحث في غوغل:
“الارتباط الداخلي أمر بالغ الأهمية لتحسين محركات البحث. أعتقد أنه أحد أكبر الأشياء التي يمكنك القيام بها على موقع ويب لتوجيه غوغل وتوجيه الزوار إلى الصفحات التي تعتقد أنها مهمة. “
إذا كان ارتباطك الداخلي ضعيفًا، فأنت تخاطر أيضًا بصفحات يتيمة أو تلك الصفحات التي لا ترتبط بأي جزء آخر من موقع الويب الخاص بك. نظرًا لأنه لا يوجد شيء موجه إلى هذه الصفحات، فإن الطريقة الوحيدة لمحركات البحث للعثور عليها هي من خريطة موقعك.
للقضاء على هذه المشكلة وغيرها بسبب البنية السيئة، قم بإنشاء هيكل داخلي منطقي لموقعك.
يجب أن ترتبط صفحتك الرئيسية بالصفحات الفرعية المدعومة بصفحات أسفل الهرم. يجب أن يكون لهذه الصفحات الفرعية روابط سياقية حيث تشعر بأنها طبيعية.
شيء آخر يجب مراقبته هو الروابط المكسورة، بما في ذلك تلك التي تحتوي على أخطاء مطبعية في عنوان URL. هذا، بالطبع، يؤدي إلى رابط مكسور، مما سيؤدي إلى خطأ 404 المخيف. بعبارة أخرى، لم يتم العثور على الصفحة.
تكمن مشكلة هذا في أن الروابط المكسورة لا تساعد وتضر بقدرتك على الزحف.
تحقق مرة أخرى من عناوين URL الخاصة بك، خاصةً إذا كنت قد خضعت مؤخرًا لعملية ترحيل للموقع أو حذف بالجملة أو تغيير الهيكل. وتأكد من أنك لا ترتبط بعناوين URL القديمة أو المحذوفة.
تشمل أفضل الممارسات الأخرى للربط الداخلي وجود قدر كبير من المحتوى القابل للربط (المحتوى دائمًا ملك)، واستخدام نص مرساة بدلاً من الصور المرتبطة، واستخدام «عدد معقول» من الروابط على الصفحة (مهما كان معنى ذلك).
أوه نعم، وتأكد من أنك تستخدم روابط اتباع للروابط الداخلية.
-
أرسل خريطة موقعك إلى غوغل
إذا أعطيت وقتًا كافيًا، وبافتراض أنك لم تخبرك بذلك، فإن غوغل ستزحف إلى موقعك. وهذا رائع، لكنه لا يساعد في ترتيب البحث أثناء الانتظار.
إذا قمت مؤخرًا بإجراء تغييرات على المحتوى الخاص بك وأردت أن تعرف غوغل عنه على الفور، فمن الجيد إرسال خريطة موقع إلى غوغل Search Console.
خريطة الموقع هي ملف آخر يعيش في دليل الجذر الخاص بك. إنها بمثابة خارطة طريق لمحركات البحث مع روابط مباشرة لكل صفحة على موقعك.
هذا مفيد للفهرسة لأنه يسمح لـ غوغل بالتعرف على صفحات متعددة في وقت واحد. في حين أن الزاحف قد يضطر إلى متابعة خمسة روابط داخلية لاكتشاف صفحة عميقة، من خلال إرسال خريطة موقع XML، يمكنه العثور على جميع صفحاتك مع زيارة واحدة إلى ملف الموقع الخاص بك.
يعد إرسال خريطة موقعك إلى غوغل مفيدًا بشكل خاص إذا كان لديك موقع ويب عميق، أو في كثير من الأحيان إضافة صفحات أو محتوى جديد، أو إذا لم يكن لموقعك ارتباط داخلي جيد.
-
تحديث Robots.txt ملفات
ربما تريد الحصول على ملف robots.txt لموقعك الإلكتروني. في حين أنه غير مطلوب، فإن 99٪ من مواقع الويب تستخدمه كقاعدة عامة. إذا لم تكن على دراية بهذا، فهو ملف نصي عادي في دليل جذر موقع الويب الخاص بك.
يخبر زاحف محرك البحث كيف ترغب في أن يزحفوا إلى موقعك. يتمثل استخدامه الأساسي في إدارة حركة مرور الروبوتات ومنع تحميل موقعك بالطلبات.
حيث يكون هذا مفيدًا من حيث الزحف يحد من الصفحات التي تزحف عليها غوغل والفهارس. على سبيل المثال، ربما لا تريد صفحات مثل الأدلة وعربات التسوق والعلامات في دليل غوغل.
بالطبع، يمكن أن يؤثر هذا الملف النصي المفيد أيضًا سلبًا على قابليتك للزحف. يجدر النظر إلى ملف robots.txt الخاص بك (أو وجود خبير يفعل ذلك إذا لم تكن واثقًا من قدراتك) لمعرفة ما إذا كنت تمنع عن غير قصد الوصول إلى صفحاتك.
بعض الأخطاء الشائعة في ملفات robots.text تشمل:
- Robots.txt ليس في دليل الجذر.
- سوء استخدام بطاقات البدل.
- Noindex في robots.txt.
- النصوص المحجوبة والأوراق والصور.
- لا يوجد عنوان موقع.
للحصول على دراسة متعمقة لكل من هذه المشكلات – ونصائح لحلها، اقرأ هذه المقالة.
-
تحقق من التقنين الخاص بك
توحد العلامات الكنسية الإشارات من عناوين URL متعددة في عنوان URL قانوني واحد. يمكن أن تكون هذه طريقة مفيدة لإخبار غوغل بفهرسة الصفحات التي تريدها أثناء تخطي النسخ المكررة والإصدارات القديمة.
لكن هذا يفتح الباب أمام العلامات القانونية المارقة. تشير هذه إلى الإصدارات القديمة من الصفحة التي لم تعد موجودة، مما يؤدي إلى قيام محركات البحث بفهرسة الصفحات الخاطئة وترك صفحاتك المفضلة غير مرئية.
للقضاء على هذه المشكلة، استخدم أداة فحص URL لمسح العلامات المارقة وإزالتها.
إذا كان موقع الويب الخاص بك موجهًا نحو حركة المرور الدولية، أي إذا قمت بتوجيه المستخدمين في بلدان مختلفة إلى صفحات قانونية مختلفة، فأنت بحاجة إلى علامات قانونية لكل لغة. هذا يضمن فهرسة صفحاتك بكل لغة يستخدمها موقعك.
-
إجراء تدقيق الموقع
الآن بعد أن قمت بكل هذه الخطوات الأخرى، لا يزال هناك شيء أخير عليك القيام به لضمان تحسين موقعك للزحف والفهرسة: تدقيق الموقع. ويبدأ ذلك بالتحقق من النسبة المئوية للصفحات التي فهرستها غوغل لموقعك.
تحقق من معدل الفهرسة الخاص بك
معدل الفهرسة الخاص بك هو عدد الصفحات في فهرس غوغل مقسومًا على عدد الأعمار على موقعنا على الويب.
يمكنك معرفة عدد الصفحات الموجودة في فهرس غوغل من غوغل Search Console Index من خلال الانتقال إلى علامة التبويب «Pages» والتحقق من عدد الصفحات الموجودة على موقع الويب من لوحة إدارة CMS.
هناك فرصة جيدة أن يحتوي موقعك على بعض الصفحات التي لا تريدها مفهرسة، لذلك من المحتمل ألا يكون هذا الرقم 100٪. ولكن إذا كان معدل المؤشر أقل من 90٪، فلديك مشكلات تحتاج إلى التحقيق.
يمكنك الحصول على عناوين URL بدون فهرسة من Search Console وتشغيل تدقيق لها. قد يساعدك هذا على فهم سبب المشكلة.
أداة أخرى مفيدة لتدقيق الموقع مدرجة في غوغل Search Console هي أداة فحص URL. يتيح لك هذا معرفة ما تراه عناكب غوغل، والذي يمكنك مقارنته بعد ذلك بصفحات الويب الحقيقية لفهم ما لا تستطيع غوغل تقديمه.
مراجعة الصفحات المنشورة حديثًا
في أي وقت تنشر فيه صفحات جديدة على موقع الويب الخاص بك أو تقوم بتحديث أهم صفحاتك، يجب عليك التأكد من فهرستها. انتقل إلى غوغل Search Console وتأكد من ظهورهم جميعًا.
إذا كنت لا تزال تواجه مشكلات، فيمكن أن يمنحك التدقيق أيضًا نظرة ثاقبة حول الأجزاء الأخرى من إستراتيجية تحسين محركات البحث الخاصة بك، لذا فهو فوز مزدوج. قم بتوسيع نطاق عملية التدقيق الخاصة بك باستخدام أدوات مجانية مثل:
7. تحقق من محتوى منخفض الجودة أو مكرر
إذا لم تعتبر غوغل المحتوى الخاص بك ذا قيمة للباحثين، فقد تقرر أنه لا يستحق الفهرسة. قد يكون هذا المحتوى الرقيق، كما هو معروف، محتوى سيئ الكتابة (على سبيل المثال، مليء بأخطاء القواعد والأخطاء الإملائية)، أو محتوى لوحة الغلايات الذي لا ينفرد به موقعك، أو المحتوى بدون إشارات خارجية حول قيمته وسلطته.
للعثور على هذا، حدد الصفحات الموجودة على موقعك التي لا يتم فهرستها، ثم راجع الاستفسارات المستهدفة لها. هل يقدمون إجابات عالية الجودة لأسئلة الباحثين ؟ إذا لم يكن الأمر كذلك، فاستبدلها أو قم بتحديثها.
المحتوى المكرر هو سبب آخر لتعليق الروبوتات أثناء الزحف على موقعك. في الأساس، ما يحدث هو أن هيكل الترميز الخاص بك قد أربكه ولا يعرف أي إصدار يجب فهرسته. قد يكون سبب ذلك أشياء مثل معرفات الجلسة وعناصر المحتوى الزائدة عن الحاجة وقضايا الاستعداد.
في بعض الأحيان، سيؤدي هذا إلى إطلاق تنبيه في غوغل Search Console، يخبرك أن غوغل تواجه عناوين URL أكثر مما تعتقد. إذا لم تكن قد تلقيت واحدة، فتحقق من نتائج الزحف الخاصة بك بحثًا عن أشياء مثل العلامات المكررة أو المفقودة، أو عناوين URL ذات الأحرف الإضافية التي يمكن أن تخلق عملاً إضافيًا للروبوتات.
صحح هذه المشكلات عن طريق إصلاح العلامات أو إزالة الصفحات أو ضبط وصول غوغل.
-
إلغاء سلاسل إعادة التوجيه وإعادة التوجيه الداخلي
مع تطور مواقع الويب، تعد عمليات إعادة التوجيه منتجًا ثانويًا طبيعيًا، حيث توجه الزوار من صفحة واحدة إلى صفحة أحدث أو أكثر صلة. ولكن في حين أنها شائعة في معظم المواقع، إذا كنت تسيء التعامل معها، فقد تخرب الفهرسة الخاصة بك عن غير قصد.
هناك العديد من الأخطاء التي يمكنك ارتكابها عند إنشاء عمليات إعادة التوجيه، ولكن أحد أكثر الأخطاء شيوعًا هو سلاسل إعادة التوجيه. تحدث هذه عندما يكون هناك أكثر من إعادة توجيه بين الرابط الذي تم النقر عليه والوجهة. لا تنظر غوغل إلى هذا على أنه إشارة إيجابية.
في الحالات الأكثر تطرفًا، يمكنك بدء حلقة إعادة توجيه، حيث يتم إعادة توجيه الصفحة إلى صفحة أخرى، والتي توجه إلى صفحة أخرى، وما إلى ذلك، حتى ترتبط في النهاية بالصفحة الأولى. بعبارة أخرى، لقد أنشأت حلقة لا تنتهي ولا تذهب إلى أي مكان.
تحقق من إعادة توجيه موقعك باستخدام Screaming Frog أو Redirect-Checker.org أو أداة مماثلة.
-
إصلاح الروابط المعطلة
على نفس المنوال، يمكن أن تؤدي الروابط المكسورة إلى إحداث فوضى في إمكانية الزحف في موقعك. يجب عليك التحقق بانتظام من موقعك للتأكد من عدم وجود روابط معطلة، لأن هذا لن يضر فقط بنتائج تحسين محركات البحث، ولكنه سيحبط المستخدمين البشريين.
هناك عدد من الطرق التي يمكنك من خلالها العثور على روابط معطلة على موقعك، بما في ذلك التقييم اليدوي لكل رابط على موقعك (الرأس أو القدم أو التنقل أو النص وما إلى ذلك)، أو يمكنك استخدام وحدة تحكم بحث غوغل أو التحليلات أو صراخ الضفدع للعثور على 404 أخطاء.
بمجرد العثور على روابط مكسورة، لديك ثلاثة خيارات لإصلاحها: إعادة توجيهها (انظر القسم أعلاه للحصول على تحذيرات) أو تحديثها أو إزالتها.
-
الفهرس الآن
IndexNow هو بروتوكول جديد نسبيًا يسمح بإرسال عناوين URL في وقت واحد بين محركات البحث عبر واجهة برمجة التطبيقات. إنه يعمل كإصدار مشحون للغاية لإرسال خريطة موقع XML من خلال تنبيه محركات البحث حول عناوين URL الجديدة والتغييرات على موقع الويب الخاص بك.
في الأساس، ما يفعله هو تزويد الزواحف بخريطة طريق لموقعك مقدمًا. يدخلون موقعك بالمعلومات التي يحتاجونها، لذلك ليست هناك حاجة لإعادة فحص الموقع باستمرار. وعلى عكس خرائط مواقع XML، فإنها تسمح لك بإبلاغ محركات البحث حول صفحات رمز الحالة غير 200.
تنفيذه سهل، ويتطلب منك فقط إنشاء مفتاح واجهة برمجة التطبيقات، واستضافته في دليلك أو موقع آخر، وإرسال عناوين URL الخاصة بك بالتنسيق الموصى به.
اختتم
الآن، يجب أن يكون لديك فهم جيد لإمكانية فهرسة موقع الويب الخاص بك وقابليته للزحف. يجب أن تفهم أيضًا مدى أهمية هذين العاملين في تصنيفات البحث الخاصة بك.
إذا تمكنت عناكب غوغل من الزحف وفهرسة موقعك، فلا يهم عدد الكلمات الرئيسية والروابط الخلفية والعلامات التي تستخدمها – فلن تظهر في نتائج البحث.
ولهذا السبب من الضروري التحقق بانتظام من موقعك بحثًا عن أي شيء يمكن أن يكون روبوتًا مضللًا أو مضللًا أو مضللًا.
لذا، احصل على مجموعة جيدة من الأدوات وابدأ. كن مجتهدًا ومدركًا للتفاصيل، وسيكون لديك قريبًا عناكب غوغل تحتشد على موقعك مثل العناكب.
