أداة البحث عن النطاقات المزيفة من xviGil: نظرة عميقة على مكون الاستحواذ وبرامج الزحف

منتج مراقبة المخاطر الرقمية الرائد من CloudSek الجيل السادس عشر تعمل المنصة القائمة على SaaS على تقوية الوضع الأمني الخارجي للمؤسسة من التهديدات الناشئة عن سطح الهجوم الخارجي. تقدم xviGil خدمات مثل مراقبة العلامة التجارية ومراقبة التهديدات الإلكترونية ومراقبة البنية التحتية.

تقوم حلول مراقبة العلامة التجارية التي تقدمها xviGil بفحص الإنترنت للكشف عن الإشارات ذات الصلة للعلامة التجارية أو الأصول أو المنتج الخاص بالمؤسسة، والتي يمكن أن تشوه سمعة علامتها التجارية. تأتي وظيفة مراقبة العلامة التجارية مع حالات استخدام متعددة مثل:

تقوم xviGil بتحديد وتصنيف تهديدات انتحال هوية العلامة التجارية مثل التطبيقات المزيفة والنطاقات وصفحات الوسائط الاجتماعية، وترسل تنبيهات في الوقت الفعلي إلى العملاء لإعلامهم بالأنشطة المشبوهة. على سبيل المثال، قامت المنصة بالإبلاغ عن عملاء CloudSek وتنبيههم فيما يتعلق بأكثر من 10 ملايين نطاق مزيف من جميع أنحاء الإنترنت.

إطار مكتشف النطاقات المزيف

تعد مراقبة النطاقات المزيفة جزءًا من خدمات مراقبة العلامات التجارية المتميزة من xviGil التي تكتشف إساءة استخدام النطاق من قبل الجهات الفاعلة في مجال التهديد، من خلال التصيد الاحتيالي أو انتحال الشخصية. يعتمد إطار عمل أداة البحث عن النطاقات المزيفة على المكونات التالية:

في حين أن مكون الاستحواذ مسؤول عن الحصول على المشتبه بهم من مختلف المصادر على الإنترنت، فإن مكون التصنيف مسؤول عن اكتشاف نقاط البيانات المشبوهة من القائمة التي تمت تصفيتها.

يتم تصفية المشتبه بهم الذين تم الحصول عليهم باستخدام عنصر الاستحواذ على أساس ملاءمتهم، فيما يتعلق بأصول العميل، ويتم إحالتهم إلى مكون التصنيف. يقوم مكون التصنيف بدوره بتصفية المجالات المشبوهة وإرسالها لمزيد من التصنيف.

تيك ستاك

فيما يلي قائمة ببعض التقنيات والأدوات والخدمات وقواعد البيانات التي تستخدمها xviGil لتشغيل Fake Domain Finder:

يعمل المشروع بأكمله على Kubernetes، التي تنظم/تحدد مواعيد الوحدات، وتدير دورة الحياة وتساعد في التعافي من أعطال الوحدات الفردية.

تستخدم xviGil Elasticsearch كقاعدة بيانات أساسية، حيث يتم تخزين البيانات كمستندات كائن أو مستندات مسح ضوئي. يُستخدم Elasticsearch أيضًا لإنشاء مستودعات نطاقات آمنة تحمي البيانات من برامج الزحف العامة.

يساعد Redis Streams على إدارة استهلاك البيانات والحفاظ على حالة البيانات عندما يكون المستخدمون غير متصلين بالإنترنت.

يتم نشر مجموعة Daemonset من Nginx Ingress من خلال نشر المعادن العارية. يتم توجيه جميع مكالمات REST من خلال Ingress إلى الخدمات المعنية.

يتم استخدام Gitlab لإنشاء مستودعات git وخطوط أنابيب التكامل المستمر وتسجيل الحاويات. عندما يتم دفع الالتزام، فإنه يقوم تلقائيًا بإنشاء خط أنابيب جديد يقوم ببناء صورة عامل الإرساء ودفعها إلى سجل الحاوية الخاص بهذا الريبو. يقوم Kubernetes بعد ذلك بسحب صورة عامل الإرساء من السجل.

قارورة يتم استخدامه لإنشاء واجهات برمجة تطبيقات REST، مخطط جسون للتحقق من الصحة و رابيتماك لإنشاء قوائم انتظار و جرافانا للمراقبة.

نظرًا لأن الوحدة كبيرة ولديها العديد من التقنيات الخاصة التي تمكنها من الأداء على هذا النطاق، فسيكون من الصعب جدًا توضيح كل عملية. ولهذا السبب، ستغطي هذه المدونة فقط تفاصيل حول مكون الاستحواذ واستخدام برامج الزحف.

مكون الاستحواذ

يعد مكون الاستحواذ مسؤولاً عن إدارة برامج الزحف التي تحصل على نطاقات مشبوهة جديدة تتنكر في صورة نطاقات العملاء. يتم تنفيذ مهمة cron لتجميع هذه المجالات بشكل دوري وجدولة المهام/الوظائف المتكررة الأخرى. تعمل وحدة التحكم في الاستحواذ على تسهيل الاتصال بالمكونات المكتسبة وتكشف واجهة REST.

يتم توصيل وحدة التحكم في الاكتساب بوحدة تسمى crawlers orchestrator، ويتمثل دورها في إنتاج برامج الزحف والحفاظ على دورة حياتها. يقوم المنسق بإنتاج برامج الزحف بناءً على وظائف الاستحواذ التي يخصصها Redis له. عند الانتهاء من ذلك، يتم تقديمها إلى وحدة التحكم في الاستحواذ.

وحدة تحكم الاستحواذ

وحدة التحكم في الاكتساب هي الواجهة التي تسمح بالتفاعل مع مكون الاستحواذ. يوفر واجهة REST لتنفيذ المهام التالية:

أوركسترا كراولرز

إن أداة تنسيق الزحف هي الوحدة التي تنتج برامج الزحف استنادًا إلى الأصول التي تتلقاها. يستمع إلى سلسلة من الأحداث، تليها الإجراءات التي تبدأ وفقًا للأحداث. ترتبط الأحداث والإجراءات التالية بالمنسق:

يتم بدء هذا الحدث من خلال مؤشر ترابط في الخلفية ويتم استخدامه لجدولة برامج الزحف والمهام، ويتم إرساله بواسطة وحدة التحكم في الاكتساب التي سيتم تشغيلها في المنسق.

يتم بدء هذا الحدث من خلال مؤشر ترابط في الخلفية يقوم بتشغيل الإجراء لمسح برامج الزحف المجدولة المتدلية التي تعمل في أداة التنسيق. يتضمن ذلك برامج الزحف التي يكون إدخالها موجودًا كما هو مجدول ولكنه لا يعمل فعليًا في النظام.

يتم بدء هذا الحدث بواسطة وحدة التحكم في الاكتساب لحذف مهمة الزحف.

أنواع برامج الزحف

يتعامل منظم برامج الزحف مع نوعين من برامج الزحف:

زاحف

تقوم برامج الزحف بزيارة المصادر واستخراج البيانات بالكامل أو البيانات المتطابقة مع البحث، وفقًا لنوعها. بينما يتم سحب البيانات بالكامل بواسطة برامج الزحف العامة، يتم سحب البيانات التي تطابق البحث بواسطة برامج زحف الكلمات الرئيسية.

عندما يقوم منسق برامج الزحف بإنشاء مهمة زحف، فإنه يقوم بتثبيت خريطة التكوين. إذا كان الزاحف الذي تم إنشاؤه عبارة عن زاحف للكلمات الرئيسية، فسيحصل على مصطلحات البحث الخاصة به. عند إكمال مهمة الزحف، يرسل الزاحف إشارة إكمال إلى وحدة التحكم في الاكتساب. تقوم وحدة التحكم بعد ذلك باتخاذ الإجراءات اللازمة لمسح مهمة الزاحف وتحديث مفاتيح Redis لمزيد من قرارات الجدولة.

برامج الزحف الشائعة

مستودع النطاقات الفرعية

يقوم مستودع النطاقات الفرعية بفحص ملايين سجلات النطاقات الموجودة بالفعل داخل الشركة لتحديد المجالات المشبوهة.

الكتابة المطبعية

نحن نستخدم محرك تبديل داخلي يُستخدم لإجراء/اكتشاف الأخطاء المطبعية وسرقة العلامات التجارية واختطاف عناوين URL والاحتيال وهجمات التصيد الاحتيالي والتجسس على الشركات ومعلومات التهديدات. يمكن استخدامه لإنشاء وتسجيل أسماء النطاقات/النطاقات الفرعية المطابقة لأصول العميل.

يوفر xviGil الذي يعمل بالذكاء الاصطناعي/ML معلومات محددة وقابلة للتنفيذ وفي الوقت المناسب للعملاء، مما يسمح لهم بالتدخل واتخاذ خطوات علاجية لمنع الانتهاكات والخسائر المكلفة. Fake Domain Finder هي واحدة من الخدمات والحلول المتميزة المتعددة التي تقدمها CloudSek. يتكون إطارها من مكون الاستحواذ ومكون التصنيف. يبدأ مكون الاستحواذ عملية تحديد النطاقات المشبوهة والمزيفة من جميع أنحاء الإنترنت وتصفيتها بناءً على ملاءمتها. لكن أنشطتهم ستصبح عديمة الجدوى بدون مساعدة الزواحف. تشرح هذه المقالة إطار برنامج Fake Domain Finder الخاص بـ xviGil، مع تركيزه الأساسي على وظائف مكون الاستحواذ وكذلك برامج الزحف.