O localizador de domínios falsos da xVigil: um mergulho profundo no componente de aquisição e nos rastreadores

O principal produto de monitoramento de risco digital da CloudSEK XV Vigília uma plataforma baseada em SaaS fortalece a postura de segurança externa de uma organização contra ameaças decorrentes da superfície de ataque externa. A xVigil oferece serviços como monitoramento de marca, monitoramento de ameaças cibernéticas e monitoramento de infraestrutura.

As soluções de monitoramento de marca oferecidas pela xVigil examinam a Internet para detectar menções relevantes à marca, ativo ou produto de uma organização, que poderiam manchar a reputação de sua marca. A funcionalidade Brand Monitoring vem com vários casos de uso, como:

O xVigil identifica e classifica ameaças de personificação de marca, como aplicativos, domínios e páginas de mídia social falsos, e envia alertas em tempo real aos clientes, notificando-os sobre atividades suspeitas. Por exemplo, a plataforma relatou e alertou os clientes da CloudSEK sobre mais de 10 milhões de domínios falsos em toda a Internet.

Fake Domain Finder Framework

O monitoramento de domínios falsos faz parte dos serviços premium de monitoramento da marca xVigil, que detecta abuso de domínio por agentes de ameaças, por meio de phishing ou falsificação de identidade. A estrutura falsa do localizador de domínios depende dos seguintes componentes:

Embora o componente de aquisição seja responsável por adquirir suspeitos de várias fontes na Internet, o componente de classificação é responsável por detectar pontos de dados suspeitos na lista filtrada.

Os suspeitos adquiridos usando o componente de aquisição são filtrados com base em sua relevância, com relação aos ativos do cliente, e encaminhados para o componente de classificação. O componente de classificação, por sua vez, filtra domínios suspeitos e os envia para posterior classificação.

Pilha de tecnologia

Aqui está a lista de algumas tecnologias, ferramentas, serviços e bancos de dados que o xVigil usa para executar o Fake Domain Finder:

Todo o projeto é executado no Kubernetes, que orquestra/programa as unidades, gerencia o ciclo de vida e ajuda na recuperação de falhas de unidades individuais.

O xVigil usa o Elasticsearch como banco de dados principal, no qual os dados são armazenados como Documentos Objeto ou Documentos Digitalizados. O Elasticsearch também é usado para criar repositórios de domínio seguros que protegem os dados de rastreadores genéricos.

O Redis Streams ajuda a gerenciar o consumo de dados e preservar o estado dos dados quando os usuários estão off-line.

Um DaemonSet do Nginx Ingress é implantado por meio de implantação bare metal. Todas as chamadas REST são roteadas pelo Ingress para os respectivos serviços.

O Gitlab é usado para criar repositórios git, pipelines de integração contínua e registro de contêineres. Quando um commit é enviado, ele cria automaticamente um novo pipeline que cria a imagem do docker e a envia para o registro de contêiner desse repositório. Em seguida, o Kubernetes extrai a imagem do docker do registro.

Frasco é usado para criar APIs REST, Esquema JSON para validação e Rabbitma para criar filas e Grafana para monitoramento.

Como o módulo é grande e tem várias tecnologias proprietárias que permitem que ele funcione em tal escala, seria muito difícil elaborar cada processo. É por isso que este blog abordará apenas detalhes sobre o componente de aquisição e o uso de rastreadores.

Componente de aquisição

O componente de aquisição é responsável por gerenciar rastreadores que adquirem novos domínios suspeitos que se disfarçam como domínios dos clientes. Um cron job é executado para agregar periodicamente esses domínios e agendar outras tarefa/trabalhos recorrentes. O controlador de aquisição facilita a comunicação com os componentes adquiridos e expõe uma interface REST.

O controlador de aquisição é conectado a uma unidade chamada orquestrador de rastreadores, cuja função é gerar rastreadores e manter seu ciclo de vida. O orquestrador gera rastreadores com base nas tarefas de aquisição que o Redis atribui a ele. Ao final do qual, ele é submetido ao controlador de aquisição.

Controlador de aquisição

O controlador de aquisição é a interface que permite a interação com o componente de aquisição. Ele fornece uma interface REST para realizar as seguintes tarefas:

Orquestrador Crawlers

O orquestrador de rastreadores é a unidade que gera rastreadores com base nos ativos que eles recebem. Ele escuta um fluxo de eventos, seguido por quais ações são iniciadas de acordo com os eventos. Os seguintes eventos e ações estão associados ao orquestrador:

Esse evento é iniciado por um thread em segundo plano e é usado para programar rastreadores e trabalhos. Ele é enviado pelo controlador de aquisição que será executado no orquestrador.

Esse evento é iniciado por um thread em segundo plano que aciona a ação para apagar os rastreadores programados pendentes que são executados no orquestrador. Isso inclui aqueles rastreadores cuja entrada está presente conforme programado, mas não está realmente em execução no sistema.

Esse evento é iniciado pelo controlador de aquisição para excluir um trabalho de rastreamento.

Tipos de rastreadores

O orquestrador de rastreadores lida com dois tipos de rastreadores:

Rastejador

Os rastreadores visitam as fontes e coletam os dados inteiros ou os dados correspondentes à pesquisa, dependendo do tipo. Enquanto todos os dados são extraídos pelos rastreadores genéricos, os dados que correspondem a uma pesquisa são extraídos pelos rastreadores de palavras-chave.

Quando o orquestrador de rastreadores cria um trabalho de rastreamento, ele monta um configmap. Se o rastreador gerado for um rastreador de palavras-chave, ele receberá seus termos de pesquisa. Ao concluir uma tarefa de rastreamento, o rastreador envia um sinal de conclusão para o controlador de aquisição. O controlador então toma as medidas necessárias para apagar o trabalho do rastreador e atualiza as chaves Redis para agendar mais decisões.

Rastejadores comuns

Repositório de subdomínios

O repositório de subdomínios verifica milhões de registros de domínio já presentes internamente para identificar domínios suspeitos.

Agitação tipográfica

Usamos um mecanismo de permutação interno que é usado para realizar/detectar erros de digitação, roubo de marca, sequestro de URL, fraude, ataques de phishing, espionagem corporativa e inteligência de ameaças. Ele pode ser usado para gerar e registrar nomes de domínio/subdomínio com erros de digitação idênticos aos ativos do cliente.

O xVigil, com tecnologia de IA/ML, fornece inteligência específica, acionável e oportuna aos clientes, permitindo que eles intervenham e tomem medidas corretivas, evitando violações e perdas dispendiosas. O Fake Domain Finder é um dos vários serviços e soluções premium oferecidos pela CloudSEK. A estrutura é composta pelo componente de aquisição e pelo componente de classificação. O componente de aquisição inicia o processo de identificação de domínios suspeitos e falsos de toda a Internet e de filtrá-los com base em sua relevância. Mas suas atividades seriam inúteis sem a ajuda de rastreadores. Este artigo explica a estrutura do Fake Domain Finder da xVigil, com seu foco principal nas funções do componente de aquisição e dos rastreadores.