O que é o OpenSearch?
O OpenSearch é um conjunto distribuído de pesquisa e análise 100% em código aberto, orientado para a comunidade e licenciado para Apache 2.0 usado para atender a uma ampla variedade de casos de uso, como monitoramento de aplicações em tempo real, análise de logs e pesquisa de sites. O OpenSearch fornece um sistema altamente escalável para fornecer acesso rápido e resposta a grandes volumes de dados com uma ferramenta de visualização integrada, o OpenSearch Dashboards, que facilita a exploração de dados pelos usuários. O OpenSearch é desenvolvido pela biblioteca de pesquisa Apache Lucene e é compatível com vários recursos de pesquisa e análise, como a pesquisa k-nearest neighbors (KNN), SQL, Anomaly Detection, Machine Learning Commons, Trace Analytics, busca de texto completo e muito mais.
Por que usar o OpenSearch?
O OpenSearch permite ingerir, proteger, pesquisar, agregar, visualizar e analisar dados facilmente para uma série de casos de uso, tais como análise de logs, pesquisa de aplicações, pesquisa empresarial e muito mais. Com o OpenSearch, você aproveita um produto 100% em código aberto e pode usá-lo, modificá-lo, ampliá-lo, monetizá-lo e revendê-lo como quiser. Há um número crescente de parceiros do projeto OpenSearch que oferecem vários serviços, como suporte profissional, recursos aprimorados e serviços do OpenSearch gerenciados. O projeto OpenSearch continua fornecendo um conjunto de pesquisa e análise seguro e de alta qualidade com um roteiro avançado de funcionalidades inéditas e inovadoras.
Por que o OpenSearch foi criado?
Desenvolvedores adotam software de código aberto por vários motivos, mas um dos mais importantes é a liberdade de usar esse software onde e como desejarem. Em 21 de janeiro de 2021, a Elastic NV anunciou que mudaria sua estratégia de licenciamento de software e não lançaria novas versões do Elasticsearch e do Kibana sob a Licença Apache permissiva, Versão 2.0 (ALv2). Em vez disso, a Elastic está lançando o Elasticsearch e o Kibana, com o código-fonte disponível sob a licença Elastic ou a Server Side Public License (SSPL). Essas licenças não são de código aberto e não oferecem a mesma liberdade aos usuários. Como alguns desenvolvedores querem que o seu software seja de código aberto e evitar a dependência a um único fornecedor, nós decidimos criar e manter uma ramificação da última versão da ALv2 do Elasticsearch e do Kibana. Ela se chama OpenSearch e está disponível sob a ALv2.
Como o OpenSearch se relaciona com o Amazon OpenSearch Service?
O Amazon OpenSearch Service é um serviço gerenciado pela AWS que permite executar e escalar clusters do OpenSearch sem preocupações com o gerenciamento, monitoramento e manutenção de sua infraestrutura ou sem a necessidade de criar uma experiência aprofundada na operação de clusters do OpenSearch. Lançamos o suporte para o OpenSearch no Amazon OpenSearch Service em setembro de 2021, começando com a versão 1.0, e renomeamos o serviço de Amazon Elasticsearch Service para Amazon OpenSearch Service. Desde então, o serviço ofereceu suporte para vários novos recursos que foram adicionados ao OpenSearch em várias versões. Alguns exemplos são o suporte para replicação entre clusters, análise de rastros, fluxos de dados, transformações, uma nova interface de usuário de observabilidade e notebooks nos painéis do OpenSearch. Além disso, houve melhoria significativas em k-NN, detecção de anomalias, PPL, SQL e emissão de alertas. Embora o Amazon OpenSearch Service continue a oferecer suporte a versões herdadas do Elasticsearch de código aberto (até a versão 7.10), recomendamos enfaticamente o uso do OpenSearch no serviço para aproveitar os novos recursos que estão sendo desenvolvidos como parte de versões de código aberto do OpenSearch.
O Amazon OpenSearch Service oferecerá suporte a novas versões do Elasticsearch superiores à 7.10?
Não se relacionam. As versões do Elasticsearch superiores à 7.10 não são de código aberto e não são lançadas sob a licença permissiva ALv2. Embora o Amazon OpenSearch Service continue a oferecer suporte às versões Elasticsearch de código aberto até a 7.10, futuramente, utilizaremos novas versões de código aberto do OpenSearch para oferecer recursos e inovações aos clientes que utilizam o Amazon OpenSearch Service para seus vários casos de uso, tais como análise de logs, pesquisa e observabilidade.
O OpenSearch manterá a compatibilidade e a paridade de recursos com as novas versões do Elasticsearch?
O roteiro do OpenSearch é orientado para a comunidade, e várias organizações, inclusive a AWS, contribuem com novos recursos baseados em código aberto. OpenSearch é usado para uma ampla variedade de casos de uso, como monitoramento de aplicações em tempo real, análise de logs e pesquisa de sites. O roteiro do OpenSearch deve ser visto como independente do roteiro do Elasticsearch, e o foco do OpenSearch será fornecer novos recursos e inovações solicitados pela comunidade e pelos clientes. Embora o OpenSearch possa incluir recursos semelhantes aos novos recursos disponíveis no Elasticsearch (e vice-versa), a implementação de todos os recursos é única entre os dois projetos. O principal objetivo do OpenSearch será criar o que for mais adequado às necessidades da comunidade OpenSearch e de nossos clientes.
Quais são alguns recursos fornecidos pelo OpenSearch?
| Recurso |
Benefício |
| Oferece recursos de criptografia, autenticação, autorização e auditoria. Eles incluem integrações com Active Directory, LDAP, SAML, Kerberos, tokens da Web JSON e muito mais. O OpenSearch também fornece controle de acesso detalhado e baseado em funções para índices, documentos e campos. |
|
| Oferece vários recursos para ajudar a personalizar a experiência de pesquisa, como consulta de texto completo, preenchimento automático, pesquisa de rolagem, pontuação e classificação personalizáveis, e muito mais. |
|
| Fornece a familiar sintaxe de consultas SQL. Use agregações, ações agrupar por e cláusulas Where para investigar seus dados. Leia dados como documentos JSON ou tabelas CSV, para que você tenha a flexibilidade de usar o formato que funciona melhor para você. |
|
| Permite usar a conhecida sintaxe de consulta do SQL ao mesmo tempo que permite o acesso ao avançado conjunto de recursos de pesquisa, como correspondência difusa, impulsionamento, correspondência de frases e muito mais. |
|
| O Data Prepper é um coletor de dados no lado do servidor capaz de filtrar, enriquecer, transformar, normalizar e agregar dados para análise e visualização downstream. O Data Prepper permite que os usuários criem pipelines personalizados para melhorar a visão operacional das aplicações. |
|
| O Trace Analytics fornece um modo de ingerir e visualizar dados do OpenTelemetry no OpenSearch. Esses dados podem ajudar a localizar e corrigir problemas de performance em aplicações distribuídas. |
|
| Use análises de aplicações para criar aplicações de observabilidade personalizadas para visualizar o status de disponibilidade de sus sistemas, em que você pode combinar eventos de logs com dados de rastros e métricas em uma única visão da integridade geral do sistema. Isso permite alternar rapidamente entre logs, rastros e métricas para analisar a fonte de quaisquer problemas. |
|
| A PPL fornece uma sintaxe de consulta familiar com um conjunto abrangente de comandos delimitados por barras verticais (|) para consultar dados. |
|
| Crie painéis operacionais para organizar visualizações de observabilidade geradas usando Piped Processing Language (PPL). |
|
| Use as consultas de Piped Processing Language (PPL) para criar e visualizar, de maneira interativa, diferentes visualizações de seus dados, incluindo correlações de logs de rastreamento. |
|
| Use vários algoritmos de machine learning, como o kmeans e a detecção de anomalias, para treinar modelos e prever tendências em seus dados. A ML Commons integra-se diretamente à PPL e à API REST. |
|
| Agende, exporte e compartilhe relatórios de painéis, pesquisas salvas, alertas e visualizações. |
|
| Aproveite a detecção de anomalias de machine learning com base no algoritmo Random Cut Forest (RCF) para detectar anomalias automaticamente à medida que os seus dados são ingeridos. Combine com alertas para monitorar dados quase em tempo real e enviar notificações de alertas automaticamente. |
|
| Defina políticas personalizadas para automatizar tarefas de gerenciamento de índices de rotina, como sobreposição e exclusão, e aplicá-las a índices e padrões de índice. |
|
| Crie uma visão resumida de seus dados centralizada em torno de determinados campos, assim você poderá visualizar ou analisar os dados de diferentes maneiras. Por exemplo, suponha que você tenha dados de uma linhas aéreas espalhados em vários campos e categorias e queira visualizar um resumo dos dados organizado por linha aérea, trimestre e preço. Você pode usar um trabalho de transformação para criar um novo índice resumido organizado por essas categorias específicas. |
|
| Escolha os campos que interessam e use o roll-up de índice para criar um novo índice contendo apenas esses campos agregados em buckets de tempo com maior granularidade. É possível armazenar meses ou anos de dados históricos a uma fração do custo com a mesma performance de consulta. |
|
| Consulte várias métricas e agregações de performance do cluster. Use o PerfTop, a interface de linha de comando (CLI) para exibir e analisar essas métricas rapidamente. Use a framework de análise de causas-raiz (RCA) para investigar problemas de performance e confiabilidade em clusters. |
|
| Execute consultas complexas sem se preocupar com o tempo limite da consulta e com consultas de pesquisa assíncrona executadas em segundo plano. Acompanhe o progresso das consultas e recupere resultados parciais à medida que eles são disponibilizados. |
|
| Ingere e visualize dados OpenTelemetry para aplicações distribuídas. Visualize o fluxo de eventos entre essas aplicações para identificar problemas de performance. |
|
| Monitore dados automaticamente e envie notificações de alertas automaticamente para as partes interessadas. Com uma interface intuitiva e uma API poderosa, configure, gerencie e monitore alertas facilmente. Crie condições de alerta altamente específicas usando a linguagem de consulta completa e os recursos de script do OpenSearch. |
|
| Crie políticas de alerta que alertem sobre tendências agrupadas em seus dados. Por exemplo, você pode emitir alertas para cada host que tenha uma CPU média acima do seu limite desejado. |
|
| Replicar índices, mapeamentos e metadados de um cluster OpenSearch para outro a fim de criar redundância entre clusters ou relatórios de descarga em um cluster secundário. |
|
| Usando Machine Learning, execute o algoritmo de pesquisa do vizinho mais próximo em bilhões de documentos em milhares de dimensões com a mesma facilidade que executar qualquer consulta OpenSearch regular. Use agregações e cláusulas de filtro para refinar ainda mais suas operações de pesquisa por similaridade. A pesquisa por similaridade K-NN potencializa casos de uso como recomendações de produtos, detecção de fraudes, pesquisa por imagens e vídeos, pesquisa de documentos relacionados e muito mais. |
|
| Combine painéis, visualizações, texto e muito mais para fornecer explicações detalhadas e de contexto ao analisar dados. |
|
| O OpenSearch é compatível com vários clientes de linguagens como Go, JavaScript, Python, Java e muito mais. Use esses clientes para desenvolver aplicações que se integram diretamente ao OpenSearch. |
Quem patrocina e mantém o OpenSearch?
Muitas organizações, como AWS, SAP, CapitalOne, RedHat, Logz.io, Aiven.io, Bonsai, Logit.io, InstaCluster e BAInsight, já apoiaram publicamente o OpenSearch.
Incentivamos e aceitamos as contribuições da comunidade e não exigimos um Contrato de Licença de Colaborador (CLA) para isso. Além disso, se você é um colaborador ativo e gostaria de assumir mais responsabilidade no projeto, definimos here (aqui) um processo para que os funcionários não pertencentes à AWS obtenham direitos de manutenção nos repositórios do projeto OpenSearch.
Qual é o futuro do OpenSearch?
Lançamos o primeiro OpenSearch versão 1.0 disponível ao público em julho de 2021 e, desde então, lançamos muitas novas versões detalhadas here (aqui). Com grande interesse e apoio da comunidade, introduzimos várias novas características em casos de uso importantes sobre análise de logs, busca e observabilidade. Essas áreas continuam sendo temas essenciais para futuras melhorias, tanto no OpenSearch como em nossa camada de visualização OpenSearch Dashboards. Consulte o Roadmap (Roteiro) para obter uma rápida visão geral das principais áreas de foco do OpenSearch.
Como o OpenSearch é licenciado?
Todo o software do projeto OpenSearch foi lançado sob a Licença Apache, versão 2.0 (ALv2). A ALv2 concede direitos de uso bem compreendidos e permissivos que correspondem às liberdades que as pessoas esperam obter com softwares de código aberto, como poder usar, modificar, estender, monetizar e revender um software de código aberto onde e como quiserem. Para o OpenSearch, acreditamos que essa licença permitirá uma ampla adoção e contribuições que beneficiarão a todos os membros da comunidade. Também publicamos diretrizes de uso permissivo para a marca comercial OpenSearch, para que você possa usar o nome para promover suas ofertas.
Onde posso encontrar mais informações sobre o cliente do OpenSearch e a compatibilidade da API?
Consulte as FAQs (Perguntas frequentes) no Site do OpenSearch de código aberto. As perguntas frequentes também são uma ótima fonte de informações sobre ferramentas e plug-ins, compatibilidade de upgrade, comunidade em geral e como você pode contribuir com o OpenSearch e se beneficiar dele.
Recursos adicionais:
- Perguntas frequentes sobre o OpenSearch »
- Blogs: Stepping up for a truly open source Elasticsearch (Como avançar para um Elasticsearch verdadeiramente de código aberto) e Introducing OpenSearch » (Apresentação do OpenSearch)
O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.
Próximas etapas com a AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
