أخبار محركات البحث

العيد ال 20 لملف مانع محركات البحث Robots.txt

robots

اليوم 30 june هو الذكرى السنوية ال 20 لملف التوجيه robots.txt والذي كان متوفرا لمشرفي المواقع لمنع محركات البحث من الزحف الى صفاحات مواقعهم.

قام بانشاء ملف robots.txt  مارتن كوستر في عام 1994 بينما كان يعمل في Nexor بعد وجود مشاكل في الزحف لموقعه . جميع محركات البحث الرئيسية في ذلك الوقت، بما في ذلك يبكرولر، لايكوس والتافيستا، سرعان ما اعتمد هذا الملف .وحتى بعد 20 عاما، لا تزال جميع محركات البحث الرئيسية تقدم لها الدعم و تستخدمها.

نشر بريان يوسري على مدونته حول الذكرى ال 20 و وثقت الأخطاء الأكثر شيوعا في ملف robots.txt حيث ان هذه الاخطاء إذا ما نفذت يمكن أن تكون ضارة بشدة على الترتيب الخاص بك ونجاح البحث والتسويق.

مترجم عن المصدر

 

‫2 تعليقات

  1. السلام عليكم الأستاذ هيثم غانم, رمضانكم مبارك كريم لدي بعض الأسئلة لها علاقة بهذا الملف الذي ذكرته ” robots.txt”.
    أنوي انشاء موقع الكتروني لتسويق بنظام الأفيلييت من متجر الأمازون, لدى استعمل اضافة تقوم باستراد المحتوى من حسابي على الأمازون وهذا الاستراد يكون بشكل اتوماتيكي (اسم المنتج ,الثمن, تفاصيل المنتج, مدة البيع وغيرها من التفاصيل) وهذا الاستراد قد تعتبره قوقل محتوى مكرر خصوصاً وأن متجري الذي انوي افتتاحه يحمل الآلاف الصفحات وبكونه سوف يكون حديث العهد ويحمل هذا الكم سرعان ما ستدخله قوقل في “الساند بوكس”.
    وعندما بحث عن هذه المشكلة على الانترنت قبل أن تواجهي قرأت هذا:
    If you’re launching a large shopping catalog with copied product descriptions, I would recommend that you either add some unique content to the product pages or mark the pages as “nofollow, noindex” and slowly change them to “follow, index” as you add unique content to the website.
    وبالتالي أسئل هل فعلاً عندما أضع روابط منتجاتي جميعها في ملف robots.txt سوف يمنع قوقل من الزحف إليها وعندما يكتسب الموقع أقدمية أزيل روابط المنتوجات تدريجياً إلى أن يستقر الوضع.. أتسائل ما الجدوى من هذه العملية . مع العلم أن كتابة محتوى فريد لا يستقيم لأن تفاصيل المنتج يجب أن تبقى كما هي مع الكم الهائل من هذه المنتجات سوف يعقد المسئلة أكثر..
    وعذراً على الإطالة في انتظار ردكم الكريم او من الاخ ماجد..

  2. محرك بحث جوجل سيظهر موقعك كانه جزء من امازون و ليس مكرر, الفارق الوحيد affiliate address وهذا ليس له علاقة بمحرك البحث. اذا اردت ان يظهر موقعك كموقع منفصل يجب عليك ادارج كلمات مفتاحية متضمنة في رأس الصفحة الرئيسية للموقع ,meta tag تضاف الى كود html المتضمن للمحتوى , تميزه عن باقي المواقع . كان تكتب الخدمات التي يقدمها موقعك, كلمات مفتاحية للمنتجات المعروضة. اسم موقعك و اختر اسم سهل و يدل على محتوى الموقع . ثم نشر الموقع باستخدام برامج او مواقع النشر في محركات البحث. .

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني.