robots

العيد ال 20 لملف مانع محركات البحث Robots.txt



robots

اليوم 30 june هو الذكرى السنوية ال 20 لملف التوجيه robots.txt والذي كان متوفرا لمشرفي المواقع لمنع محركات البحث من الزحف الى صفاحات مواقعهم.

قام بانشاء ملف robots.txt  مارتن كوستر في عام 1994 بينما كان يعمل في Nexor بعد وجود مشاكل في الزحف لموقعه . جميع محركات البحث الرئيسية في ذلك الوقت، بما في ذلك يبكرولر، لايكوس والتافيستا، سرعان ما اعتمد هذا الملف .وحتى بعد 20 عاما، لا تزال جميع محركات البحث الرئيسية تقدم لها الدعم و تستخدمها.

نشر بريان يوسري على مدونته حول الذكرى ال 20 و وثقت الأخطاء الأكثر شيوعا في ملف robots.txt حيث ان هذه الاخطاء إذا ما نفذت يمكن أن تكون ضارة بشدة على الترتيب الخاص بك ونجاح البحث والتسويق.

مترجم عن المصدر