O que é análise de logs?

Desde que começamos a criar registros gerados por computador, tentamos analisar esses registros em massa. Os registros são emitidos por dispositivos, aplicações, redes (entre outros), e, então, são sequenciados por tempo em logs. Diversas vezes, esses logs não são totalmente documentados ou formados de maneira consistente em aplicações ou dispositivos, o que reforça ainda mais a análise de logs.

A análise de logs pode responder a perguntas valiosas de análise operacional, como as listadas a seguir. Imagine como seria se você tivesse respostas em tempo real para essas perguntas:

• A minha infraestrutura está funcionando?
• Qual é a taxa de latência e de erro?
• O que ocasionou o problema na minha aplicação?
• Há alguma atividade de autenticação suspeita?
• Quais dados foram acessados por este endereço IP?
• Existem ocorrências de fraude?
• Em quais conteúdos ou produtos os meus usuários estão interessados?
• Quais recursos são mais ou menos usados?
• Quais usuários são mais ativos e por quê?

Para obter uma visão mais aprofundada sobre os benefícios da análise de logs, confira esse artigo da Omdia.

Os principais usuários da análise de logs são engenheiros de DevOps, equipes de confiabilidade de sites e arquitetos empresariais.

Sua estratégia de análise de logs precisa abordar a ingestão, transformação e enriquecimento de dados, bem como ser uma estratégia de indexação e fragmentação, planejamento de infraestrutura e, finalmente, do ciclo de vida e arquivamento de dados. Veja abaixo as etapas gerais a serem seguidas: 

1. Primeiro, você precisa identificar a movimentação ou ingestão de dados. É essencial que você descubra um caminho de ingestão.

2. Segundo, você precisa configurar a transformação de dados de linhas ou strings de log. A análise de logs muitas vezes funciona com JSON, pois é preciso transformar os dados de forma adequada e enriquecê-los, se necessário.

3. Terceiro, você precisa descobrir uma estratégia de indexação e fragmentação. A criação adequada de índices é essencial.

4. Quarto, você também precisa fazer algum planejamento de infraestrutura para descobrir o tipo e a quantidade necessária de instâncias.

5. Por fim, para controlar o tamanho e o custo dos logs, você precisa de uma estratégia holística para o ciclo de vida e arquivamento dos dados.

Implantação e gerenciamento com facilidade

O Amazon OpenSearch Service simplifica a configuração e a implantação do cluster, ao mesmo tempo que remove a complexidade associada às tarefas de gerenciamento, como provisionamento de hardware, instalação e aplicação de patches de software, recuperação de falhas, backups e monitoramento, permitindo reduzir a sobrecarga operacional e dar foco para requisitos essenciais do negócio.

Obtenção de escala e confiabilidade

Com até três petabytes de armazenamento de instâncias em um único domínio, o Amazon OpenSearch Service permite que você adicione ou remova instâncias facilmente sem tempo de inatividade. O serviço também oferece encriptação integrada em repouso e em trânsito, autenticação de usuário e suporte a VPC, permitindo que você mantenha seus dados seguros.

Integração fácil com outros produtos da AWS

O Amazon OpenSearch Service oferece integrações nativas a outros produtos da AWS, como o Kinesis Data Firehose, o Managed Streaming for Kafka, o IoT, o CloudWatch Logs, o KMS, o Cognito e o IAM, para que você possa realizar a ingestão, análise e visualização de dados de quaisquer fontes com segurança.

Redução de custos

Com o Amazon OpenSearch Service, você paga somente pelo que usa. Não há taxas antecipadas ou requisitos de uso. Com monitoramento 24 horas por dia e 7 dias por semana, além do suporte da AWS, você não precisa de uma equipe de especialistas do Elasticsearch para escalar, proteger e monitorar a infraestrutura, resultando em uma redução do custo total de operações.

Monitoramento de aplicações e infraestrutura em tempo real

Capture e centralize todos os logs e métricas de suas aplicações e silos de TI para obter visibilidade aprofundada da pilha de aplicações e infraestrutura, bem como garantir o tempo de atividade. O Amazon OpenSearch Service indexa os dados, disponibiliza-os para análise em tempo real e permite a visualização das métricas de performance em tempo real usando os painéis do Kibana.

A Expedia Group, uma das principais empresas de viagens do mundo, usa o Amazon OpenSearch Service para monitoramento de aplicações. O Amazon OpenSearch Service possibilita que a Expedia monitore amplos volumes de logs do Docker de maneira econômica, identifique e solucione problemas em tempo real, escale facilmente para acomodar fontes de log adicionais e descarregue a sobrecarga operacional.  Saiba mais »

Análise de causa raiz

Identifique rapidamente os problemas em seu ambiente (servidores e código) para reduzir o tempo médio de identificação (MTTI) e o tempo médio para a resolução (MTTR). Com o Kibana integrado, o Amazon OpenSearch Service permite que você pesquise milhões de eventos e correlacione suas aplicações e infraestrutura para diagnosticar rapidamente as causas raiz do problema, melhorando o tempo de atividade.

A Autodesk, fornecedora líder de software de engenharia e design 3D, usa produtos da AWS, incluindo o Amazon OpenSearch Service, o Amazon Kinesis Data Firehose e o Amazon Kinesis Data Analytics, para desenvolver uma solução de log unificada e econômica que encontre e solucione problemas em aplicações com mais rapidez, além de melhorar a experiência do cliente.  Saiba mais »

Análises de clickstream

Obtenha uma visualização em tempo real da performance do seu conteúdo na Web e da interação do usuário com suas aplicações e sites, incluindo o comportamento do usuário, a quantidade de tempo gasto por ele, o conteúdo popular e muito mais. Usando o Amazon OpenSearch Service e o Amazon Kinesis Data Firehose ou o Amazon Managed Streaming for Kafka, você pode agregar e analisar seus logs de clickstream com facilidade para obter uma compreensão mais aprofundada dos clientes.

A Hearst Corporation, uma importante empresa de mídia, desenvolveu uma plataforma de análise de clickstream usando o Amazon OpenSearch Service, o Amazon Kinesis Streams e o Amazon Kinesis Firehose para transmitir e processar 30 terabytes de dados por dia. Com essa plataforma, a Hearst pode disponibilizar aos editores, em questão de minutos, o fluxo de dados completo, desde cliques no site até dados agregados.  Saiba mais »

Inteligência de segurança e gerenciamento de eventos (SIEM)

Centralize e analise eventos gerados em todo o ambiente, incluindo aplicações, redes e sistemas operacionais para identificar quaisquer atividades mal-intencionadas ou suspeitas na rede. O Amazon OpenSearch Service permite a indexação de dados assim que são ingeridos, possibilitando que você analise dados de várias fontes instantaneamente, bem como encontre e evite ameaças mais rapidamente.