كيفية تدقيق المواقع داخل شبكات الشركات

هناك مشكلة شائعة عند تدقيق مرحلة مواقع المؤسسة داخل شبكات الشركة، إذا كنت تعمل في المنزل فأنت تتصل أولاً بشبكة الشركة باستخدام عميل VPN، ثم بعد ذلك تحتاج إلى تشغيل أدوات التدقيق لمراجعة الصفحات.

الأدوات الوحيدة التي تعمل هي تلك التي يمكنك تشغيلها بشكل مباشر من جهاز الكمبيوتر الخاص بك. على سبيل المثال برنامج Screaming Frog spider،

وهو برنامج يمكنك تحميله، ورغم ذلك تتضمن العديد من مواقع المؤسسات على ملايين الصفحات مما يجعل الزحف من جهاز الكمبيوتر الخاص بك غير عملي بسبب قيود الوقت أو موارد الجهاز.

تعد برامج الزحف القائمة على السحابة الخاصة بالمؤسسات مثل Deep Crawl و Ryte و On crawl وما إلى ذلك أكثر ملاءمة لهذا النوع من العمل،

لكنهم غير قادرين على تدقيق المواقع داخل الشبكات الخاصة، بالإضافة إلى ذلك يستبعد هذا العديد من الأدوات القيمة الأخرى مثل أدوات فحص URL من Google و Bing والتي تعتبر بالغة الأهمية لتدقيق المحتوى المستند إلى JavaScript.

إذا كنت تعمل من جانب الوكالة، فسوف تواجه تعقيدًا إضافيًا يتمثل في أن الامتثال للأمان والخصوصية أصبح الآن شرطًا للعمل مع المؤسسات، من الشائع أن تضطر إلى إكمال استبيانات أمنية شاملة قبل أن يتم اعتبارك بائعًا.

تقديم أدوات إدارة الشبكة لتحسين محركات البحث

لابد أن يكون هناك توعية بشأن الأدوات والتقنيات المستخدمة في صناعات التطوير وتكنولوجيا المعلومات، وبناءً على ذلك يمكنك استخدام ngrok لتحويل عناوين URL الخاصة المطلوبة من VPN إلى عناوين مؤقتة وعامة،

كما يمكنك استخدام mitmproxy لإجراء تغييرات على الصفحات وإخفاء المحتوى والحفاظ على خصوصيته، فإن هذا يتطلب كتابة نصوص بايثون بشكل مبسط.

الوكلاء وأنفاق HTTP

عند تصفح شبكات الإنترنت المختلفة، تعمل الخوادم الوكيلة وأنفاق HTTP على تسهيل الوصول إلى المحتوى على شبكة الويب العالمية،

يمكن أن يكون الخادم الوكيل على الكمبيوتر المحلي للمستخدم، أو في أي مكان بين كمبيوتر المستخدم وخادم الوجهة على الإنترنت.

البروكسيات وأنفاق HTTP هي طرق قياسية لترحيل الطلبات أو الصفحات وإتاحتها من موقع مصدر إلى آخر، بينما يقوم Ngrok بإنشاء أنفاق HTTP و mitmproxy هو وكيل عكسي، هاتان حالتا استخدام مختلفتان مناسبتان لحل المشكلات التي ذكرتها في البداية.

استخدام نجروك

يقوم Ngrok بإنشاء أنفاق HTTP وهو سهل الإعداد والاستخدام، لنفترض أنك تريد فتح موقع التدريج الخاص بك ولا يمكنك فتح الصفحة إلا بعد الاتصال باستخدام عميل VPN،

وبالتالي فإنه يمكنك الكشف عن هذا الموقع مؤقتًا حتى تتمكن من التحقق من Google Search Console و Bing Webmaster Tools، وتشغيل أدوات فحص عنوان URL أو برامج الزحف الخاصة بالمؤسسات على عناوين URL المكشوفة.

الطريقة كالآتي

• قم بتحميل ngrok وتثبيته على جهاز كمبيوتر Mac أو Windows.
• افتح نافذة طرفية وقم بتشغيل ngrok.
• Ngrok هي أداة سطر أوامر لذلك تحتاج إلى تشغيلها في shell وتمرير المعلمات لجعلها تعمل.
• ابدأ بإنشاء نفق HTTP وعنوان URL مؤقت.
• اطلب من ngrok الكشف عن خادم الويب.
• لقد أضفت بعض الأوامر الإضافية لتسجيل أي أخطاء في log .
• وأخيرًا تريد تشغيل العملية في الخلفية، والتي تتطلب كتابة المزيد من الأوامر كالتالي.

Ngrok.log الذيل

• يجب التأكد من أن السجل لا يحتوي على أي شيء وهذا يعني أنه يجب أن يعمل بشكل جيد.
• إنشاء عنوان URL العام.
• إجراء استدعاء API للخدمة، والتي تُرجع استجابة JSON التي تحتاج إلى تحليلها، ولتسهيلها يتم تحميل تنزيل أداة سطر أوامر أخرى مفيدة.
• بافتراض أنك تمتلك curl، يمكنك الحصول على عنوان URL المؤقت.
• يجب أن تحصل على عنوان URL يمكنك فتحه في متصفح الويب الخاص بك.
• بعد فتح عنوان URL سوف ترى الموقع الداخلي.

استخدام Mitmproxy

تعلمنا الكشف عن مواقع التدريج داخل شبكة الشركة باستخدام عناوين URL العامة المؤقتة، ولكن ماذا لو لم نتمكن من المخاطرة بجعل المحتوى علنيًا والكشف عن غير قصد عن أخبار غير معلنة قد تضر بإحدى الشركات المدرجة في البورصة؟

أحد الخيارات هو وضع طبقة في الخادم الوكيل العكسي واستخدامه لإخفاء أي معلومات خاصة في HTML أو الصور للحفاظ على خصوصية الشركة.

يمكنك إجراء عمليات استبدال بسيطة للنص في سطر الأوامر أو أي تعديلات عشوائية عن طريق كتابة نصوص بايثون بسيطة.

يمكن لـ Mitmproxy العمل في عدة أوضاع، حيث إنها تعد حزمة Python، لذا يمكنك تثبيتها باستخدام نقطة تثبيت mitmproxy.