جوجل توقف دعم Noindex في ملف Robots.txt

أعلنت جوجل رسميًا أن GoogleBot لن يطيع بعد الآن توجيه Robots.txt المتعلق بالفهرسة، لدى الناشرين الذين يعتمدون على التوجيه noindex الخاص بـ robots.txt حتى 1 سبتمبر 2019 لإزالته والبدء في استخدام بديل.

سبب عدم دعم هذا التوجيه الشائع بعد الآن هو أنه ليس توجيهًا رسميًا.

لقد دعمت الشركة في الماضي توجيه ملف robots.txt، لكن هذا لن يستمر، خذ إشعارًا مناسبًا وتحكم على نفسك وفقًا لذلك.

نشر موقع StoneTemple مقالًا يشير إلى أن جوجل قد التزمت في الغالب بتوجيهات noindex لـ robots.txt.

لكنها قررت الآن التوقف عن دعم هذا الأمر الذي يستخدم على نطاق واسع من قبل مواقع الويب خلال السنوات الماضية وإلى الآن.

وقالت الشركة:

من أجل الحفاظ على نظام بيئي صحي والإعداد لإصدارات مستقبلية مفتوحة المصدر محتملة، فإننا ننهي التعامل بجميع الشفرات التي تتعامل مع القواعد غير المدعومة وغير المنشورة (مثل noindex) ابتداء من 1 سبتمبر 2019.

يمكن التحكم في الفهرسة بخمسة طرق وهي:

استخدام Disallow في ملف robots.txt

حماية الصفحة التي لا تريد فهرستها بكلمة المرور

404 و 410 رموز حالة HTTP

استخدام Noindex في ميتا تاج Robots meta tag

أداة حذف الروابط في Search Console.