Gerenciamento centralizado de registros com o ELK Stack

Registro e gerenciamento de registros

As organizações que adotam vários sistemas, servidores e aplicativos podem achar difícil rastrear os registros de segurança que eles geram. E com a evolução das arquiteturas de microsserviços, o registro em log se tornou cada vez mais importante. Os registros de segurança podem ajudar os desenvolvedores a analisar erros, identificar ataques e coletar informações. Os registros permitem que as organizações melhorem seus servidores e sistemas e são essenciais para solucionar problemas de desempenho de aplicativos/infraestrutura. A análise ativa do registro de segurança mantém as atividades cibercriminosas sob controle. Um sistema abrangente de gerenciamento de registros pode ser personalizado para alertar os usuários sobre detecção de malware, tentativas de login não autorizadas, ataques de DoS, exportação de dados e outros eventos desse tipo.

Escolhendo a ferramenta de registro correta

O registro centralizado ajuda as organizações a reunir, analisar e exibir seus registros de eventos em um único local. Diferente tipos de ferramentas de registro estão disponíveis na Internet, como Loggly, Sumo Logic, Splunk, etc. Embora essas sejam algumas das opções populares, a alternativa mais barata é manter uma pilha ELK (Elasticsearch, Logstash e Kibana). Todos eles têm mais ou menos os mesmos recursos a oferecer.

O que é ELK Stack?

O ELK Stack é uma combinação de Elasticsearch, Logstash e Kibana e é a plataforma de análise de logs de código aberto mais popular. Logstash agrega os registros, transforma/ analisa os dados -> Pesquisa elástica armazena e indexa os dados recebidos do logstash -> Kibana analisa e visualiza os dados do Elasticsearch. Além disso, Batidas envia dados de log para o Elasticsearch e o Logstash, usando vários tipos de remetentes para diferentes tipos de arquivos — Filebeats, Metricbeat etc.

Empresas conhecidas como Netflix, Stack Overflow, LinkedIn etc. optaram pelo ELK Stack. Isso não deveria ser uma surpresa, considerando todos os recursos e serviços essenciais que essa pilha oferece:

1. Um sistema de registro central para todos os microsserviços, com análise de registro em tempo real e sistema de alerta.
2. Implantação simplificada e escalável, vertical e horizontalmente.
3. Visualização de dados que captura e exibe as análises.

Configurando o ELK Stack

Na demonstração a seguir, analisaremos os logs do Nginx e do Docker usando Filebeats e visualize-os no Kibana.

Primeiro, configuramos o ELK Stack 7.8.1 no docker. Você pode encontrar o arquivo aqui. Se você quiser instalar o sistema diretamente, consulte isso.

Para configurar o docker, execute:

$ sudo docker-compose up -d

Você está pronto para continuar se o anfitrião local http://localhost:80 retorna uma resposta positiva.

*nome de usuário — admin; senha — admin

Elástico — http://localhost:80/elastic

Kibana — http://localhost:80/kibana

Agora que você está pronto, vamos dar uma olhada nos registros no Kibana.

Vá para Kibana ->Gerenciamento de pilha -> Padrão de índice -> Adicionar índice.

Adicionar servidor logstash-* e logstash-logs-*.

Escolha @timestamp campo como filtro de tempo

Agora vá para o Descubra painel para ver seus registros.

Depois de ver os registros, você pode criar visualizações para representar métricas comerciais críticas.

Para criar uma nova visualização, encontre a opção 'Visualizar' no painel lateral e siga as instruções mencionadas aqui. Você pode adicionar mais campos na configuração do pipeline do Logstash com base em seus requisitos e visualizar o intervalo de tempo diário/mensal/anual/personalizado. Aqui está um exemplo:

Outras características do ELK Stack

• Defina a estrutura dos seus registros e crie visualizações apropriadas.
• Assine os alertas do Slack/e-mail para ser notificado sobre os registros de ERROS.
• Monitore seus serviços, como MySQL, Kafka, Mongo, sistema EC2, etc., usando o Metricbeat.
• Defina alertas para um resumo diário da sua infraestrutura, com base nos dados de registro. Por exemplo, login de novos usuários distintos.
• Adicione pipelines de ML no meio para analisar os registros e tomar decisões apropriadas. Por exemplo, dê uma olhada na carga em serviço e preveja a carga futura. Com base nisso, você pode escalar seus serviços com antecedência.

O ELK Stack permite que os usuários analisem e visualizem dados de qualquer fonte, em qualquer formato. A pilha é de propriedade da empresa Elastic, que combina seus três produtos de código aberto Elasticsearch, Logstash e Kibana. O que significa que os recursos de registro centralizados da pilha e seus recursos complementares estão disponíveis para qualquer pessoa, sem custos. Isso torna o ELK Stack uma escolha popular entre os desenvolvedores para análise de registros.