Perguntas Frequentes sobre o Amazon OpenSearch Service

Tópicos da página

Geral
8
Instalação e configuração
19
Administração
47
Multi-AZ com Standby
6
Acordo de Nível de Serviço
2
Pesquisa entre clusters
7
Replicação entre clusters
5
Mudança de nome
4
Upgrades
10
Integrações ETL zero
8

Geral

O Amazon OpenSearch Service é um serviço gerenciado que facilita a execução de análises interativas de logs, o monitoramento de aplicações em tempo real, as pesquisas em sites e muito mais. O OpenSearch é um conjunto de pesquisa e análise de código aberto distribuído derivado do Elasticsearch. O Amazon OpenSearch Service oferece as versões mais recentes do OpenSearch, suporte para 19 versões do Elasticsearch (versões de 1.5 a 7.10), bem como recursos de visualização fornecidos pelo OpenSearch Dashboards e Kibana (versões de 1.5 a 7.10). O Amazon OpenSearch Service atualmente tem dezenas de milhares de clientes ativos com centenas de milhares de clusters sob gerenciamento processando trilhões de solicitações por mês. Consulte as Perguntas frequentes do Amazon OpenSearch Service para obter mais informações.

O Amazon OpenSearch Service oferece as versões mais recentes do OpenSearch, além de incluir suporte para 19 versões do Elasticsearch (de 1.5 a 7.10). Para obter mais detalhes, consulte a nossa documentação.

Domínios do Amazon OpenSearch Service são clusters do Elasticsearch (1.5 a 7.10) ou do OpenSearch criados com o uso do console, da CLI ou da API do Amazon OpenSearch Service. Cada domínio é um cluster do OpenSearch ou do Elasticsearch na nuvem com recursos de computação e armazenamento que você especifica. É possível criar e excluir domínios, definir atributos de infraestrutura e controlar o acesso e a segurança. É possível executar um ou mais domínios do Amazon OpenSearch Service.

O Amazon OpenSearch Service gerencia o trabalho envolvido na configuração de um domínio, desde o provisionamento da capacidade de infraestrutura no ambiente de rede solicitado, até a instalação do software OpenSearch ou do Elasticsearch. Quando seu domínio estiver em execução, o Amazon OpenSearch Service automatizará tarefas administrativas comuns, como a execução de backups, o monitoramento de instâncias e a aplicação de patches de software. O Amazon OpenSearch Service é integrado ao Amazon CloudWatch para produzir métricas que disponibilizam informações sobre o estado dos domínios. O Amazon OpenSearch Service também oferece opções para modificar configurações de instâncias e armazenamento de domínio, para simplificar a tarefa de gerenciamento de domínios de acordo com as necessidades das suas aplicações.

O Amazon OpenSearch Service oferece suporte à maioria das APIs OpenSearch e Elasticsearch comumente utilizadas e, portanto, o código, as aplicações e as ferramentas populares que você já está usando com os seus ambientes Elasticsearch (até a versão 7.10) ou OpenSearch podem funcionar perfeitamente. Para obter uma lista completa de operações com suporte, consulte a nossa documentação.

O Amazon OpenSearch Service oferece aos clientes opções para implantar as instâncias em uma, duas ou três AZs. Clientes que executam workloads de desenvolvimento ou de teste podem escolher a opção de uma única AZ. Aqueles que executam cargas de trabalho de grade de produção devem usar duas ou três AZs. Implantações de três AZs são fortemente recomendadas para cargas de trabalho com maiores requisitos de disponibilidade.

Observação: a opção de três AZs está disponível somente nas regiões onde há três ou mais AZs.

O Amazon OpenSearch Service oferece suporte a três implantações de AZ em todas as regiões em que o serviço está disponível, exceto Oeste dos EUA (N. da Califórnia), onde oferecemos suporte apenas a duas AZs.

O Amazon OpenSearch Service é um serviço totalmente gerenciado que permite executar e escalar clusters do OpenSearch sem preocupações com o gerenciamento, monitoramento e manutenção de sua infraestrutura ou sem a necessidade de criar uma experiência aprofundada na operação de clusters do OpenSearch. Como um serviço totalmente gerenciado, o Amazon OpenSearch Service atualmente é executado na AWS. No entanto, o OpenSearch é um pacote de pesquisa e análise distribuído, orientado pela comunidade, licenciado pelo Apache 2.0 e 100% de código aberto que você pode executar localmente ou em ambientes híbridos e multinuvem. Por exemplo, existem parceiros que fornecem o OpenSearch em outras plataformas de nuvem ou usam o OpenSearch em suas aplicações. O OpenSearch permite ingerir, proteger, pesquisar, agregar, visualizar e analisar dados facilmente para uma série de casos de uso, tais como análise de logs, pesquisa de aplicações, pesquisa empresarial e muito mais. O OpenSearch fornece um sistema altamente escalável para fornecer acesso e resposta rápidos a grandes volumes de dados com uma ferramenta de visualização integrada, o OpenSearch Dashboards, que facilita a exploração de dados pelos usuários. O OpenSearch é desenvolvido pela biblioteca de pesquisa Apache Lucene e é compatível com vários recursos de pesquisa e análise, como a pesquisa k-nearest neighbors (KNN), SQL, Anomaly Detection, Machine Learning Commons, Trace Analytics, busca de texto completo e muito mais.

Instalação e configuração

Sim. É possível criar um novo domínio do Amazon OpenSearch Service usando o assistente de criação de domínios no console com apenas alguns cliques. Ao criar um novo domínio, é possível especificar o número de instâncias, os tipos de instância e os volumes do EBS que deseja alocar ao seu domínio. Também é possível modificar ou excluir domínios atuais do Amazon OpenSearch Service usando o console.

Sim. O Amazon OpenSearch Service é integrado à Amazon VPC. Ao escolher o acesso à VPC, os endereços IP da VPC são anexados ao domínio do Amazon OpenSearch Service e todo o tráfego de rede permanece na rede da AWS, sem acesso pela Internet. Além disso, é possível usar grupos de segurança e políticas do IAM para restringir o acesso a domínios do Amazon OpenSearch Service.

Sim. O AWS CloudFormation aceita o Amazon OpenSearch Service. Para obter mais informações, consulte a documentação Referência de modelos do CloudFormation.

Sim. Você pode configurar nós principais dedicados para um domínio. Ao escolher uma configuração principal dedicada, você pode especificar o tipo e o número de instâncias.

Sim. É possível criar vários índices do Elasticsearch ou do OpenSearch no mesmo domínio do Amazon OpenSearch Service. O Elasticsearch e o OpenSearch distribui automaticamente os índices e todas as réplicas associadas entre as instâncias alocadas ao domínio.

O Amazon OpenSearch Service oferece suporte a três opções de ingestão de dados:

  • Para grandes volumes de dados, recomendamos o Amazon Kinesis Data Firehose, um serviço totalmente gerenciado que é escalado automaticamente de acordo com a taxa de transferência de dados e não requer administração contínua. Ele também pode transformar, armazenar em lotes e compactar os dados antes de carregá-los.
  • O Amazon OpenSearch Service oferece suporte à integração com o Logstash. É possível configurar o domínio do Amazon OpenSearch Service como o datastore de todos os logs recebidos da implementação do Logstash.
  • É possível usar as APIs nativas do Elasticsearch (até a versão 7.10) ou do OpenSearch, como as APIs de índice e em massa, para carregar dados no seu domínio.

Sim. O Amazon OpenSearch Service oferece suporte à integração com o Logstash. É possível configurar seu domínio do Amazon OpenSearch Service como o armazenamento de backend para todos os logs que passam pela sua implementação do Logstash. É possível configurar o controle de acesso no seu domínio do Amazon OpenSearch Service para usar a solicitação de assinatura para autenticar chamadas da sua implementação do Logstash ou usar políticas do IAM com base em recursos para incluir endereços IP de instâncias que estão executando sua implementação do Logstash.

Sim. O Amazon OpenSearch Service oferece recursos de visualização fornecidos pelo OpenSearch Dashboards e Kibana (versões de 1.5 a 7.10).

Você pode optar entre armazenamento de instâncias local ou volumes do EBS. Durante a criação do domínio, se você selecionar armazenamento no EBS, poderá aumentar ou diminuir o tamanho do volume de armazenamento conforme a necessidade.

Você pode optar entre volumes do EBS magnéticos, de propósito geral e IOPS provisionadas.

Sim. O Amazon OpenSearch Service implanta armazenamento com base na escolha da instância e/ou no tamanho do volume do EBS associado. O armazenamento máximo por nó é de 24 TB com as instâncias R6g.12xlarge com armazenamento gp3 do EBS. Com o padrão de no máximo 80 nós de dados permitidos por domínio do Amazon OpenSearch Service, é possível alocar cerca de 1920 TB de armazenamento a um único domínio. É possível solicitar um aumento de limite de serviço para até 200 instâncias por domínio criando um caso no AWS Support Center. Com 200 instâncias, é possível alocar cerca de 3 PB de armazenamento a um único domínio.

Se você implantar as instâncias de dados em uma única AZ, as instâncias primárias dedicadas são também implantadas na mesma AZ. No entanto, se você implantar as instâncias de dados em duas ou três AZs, o Amazon OpenSearch Service distribui automaticamente as instâncias mestre dedicadas em três AZs. A exceção a essa regra ocorre se uma região tiver somente duas AZs ou se você selecionar um tipo de instância de geração mais antiga para as instâncias primárias que não está disponível em todas as AZs. Para obter mais detalhes, consulte a nossa documentação.

Para as cargas de trabalho de produção, recomendamos implantar as instâncias de dados em três AZs desde que elas ofereçam a melhor disponibilidade. Também, recomendamos o provisionamento de instâncias em múltiplos de três para distribuição igual nas AZs. Nas regiões onde três AZs não estão disponíveis, recomendamos o uso de uma implantação de duas AZs com um número par de instâncias de dados. Em todos os casos, recomendamos o provisionamento de três instâncias mestre dedicadas.

Você pode habilitar a implantação de três AZs para domínios existentes ou novos usando o Console AWS, a ILC ou os SDKs. Para obter mais detalhes, consulte a nossa documentação.

Não. O Amazon OpenSearch Service não cobra para habilitar a implantação de três AZs. Você paga apenas pelo número de instâncias no seu domínio, não pelo número de AZs nas quais elas são implantadas.

Todos os domínios configurados para várias AZs terão o reconhecimento de zona ativado para garantir que os fragmentos sejam distribuídos pelas zonas de disponibilidade. No console, agora você pode escolher explicitamente implantações de duas ou três AZs. Domínios previamente configurados com “Reconhecimento de zona” continuarão a ser implantados em duas AZs, a menos que sejam reconfigurados. Para obter mais detalhes, consulte a nossa documentação.

Se uma ou mais instâncias em uma AZ estiverem inacessíveis ou não estiverem funcionando, o Amazon OpenSearch Service tentará automaticamente abrir novas instâncias na mesma AZ para substituir as instâncias afetadas. No caso raro de novas instâncias não poderem ser ativadas na AZ, o Amazon OpenSearch Service exibirá novas instâncias nas outras AZs disponíveis se o domínio tiver sido configurado para implantar instâncias em várias AZs. Depois que o problema de AZ for resolvido, o Amazon OpenSearch Service reequilibrará as instâncias de modo que elas sejam igualmente distribuídas entre as AZs configuradas para o domínio. Para obter mais detalhes, consulte a nossa documentação.

Mesmo quando você configura uma réplica, recomendamos três AZs. Se uma interrupção de AZ ocorrer em um domínio de três AZs, você perderá apenas um terço da sua capacidade. Porém, se a interrupção ocorrer em um domínio de duas AZs, você perderá metade da sua capacidade, o que pode ser mais disruptivo. Além disso, em um domínio de três AZs, quando uma AZ é interrompida, o Amazon OpenSearch Service pode voltar para as duas AZs restantes e ainda oferecer suporte à replicação entre AZs. Em um domínio de AZ, você perderá a replicação entre AZs se uma AZ for interrompida, o que pode reduzir ainda mais a disponibilidade. Para obter mais detalhes, consulte a nossa documentação.

O número de AZs de seu domínio é implantado para corresponder ao número de sub-redes que você configurou para o seu domínio VPC. É necessário configurar pelo menos três sub-redes no domínio da VPC para habilitar a implantação de três AZs. Para obter mais detalhes sobre a configuração da VPC, consulte a nossa documentação.

Administração

Sim. Os programas que têm acesso à Internet pública podem acessar domínios do Amazon OpenSearch Service por meio de um endpoint público. Se o datacenter já estiver conectado à Amazon VPC por meio de túneis SSH ou do Direct Connect, também será possível usar o acesso à VPC. Nos dois casos, é possível configurar políticas e grupos de segurança do IAM para permitir que programas executados em servidores fora da AWS acessem seus domínios do Amazon OpenSearch Service. Clique aqui para obter mais informações sobre solicitações assinadas.

Para migrar dados de um cluster atual do Elasticsearch ou OpenSearch, é necessário criar um snapshot de um cluster existente e armazenar esse snapshot no bucket do Amazon S3. Em seguida, é possível criar um novo domínio do Amazon OpenSearch Service e carregar dados do snapshot no domínio do Amazon OpenSearch Service recém-criado usando a API de restauração.

O Amazon OpenSearch Service permite que controlar a escalabilidade dos seus domínios do Amazon OpenSearch Service usando o console, a API e a CLI. É possível escalar o domínio do Amazon OpenSearch Service ao adicionar, remover ou modificar instâncias ou volumes de armazenamento, dependendo das necessidades das suas aplicações. O Amazon OpenSearch Service é integrado ao Amazon CloudWatch para disponibilizar métricas sobre o estado dos domínios do Amazon OpenSearch Service para permitir tomar as decisões de escalabilidade certas para os seus domínios.

Não. A escalabilidade do seu domínio do Amazon OpenSearch Service por meio da adição ou da modificação de instâncias e volumes de armazenamento é uma operação online que não exige tempo de inatividade.

Sim. Ao habilitar réplicas para os seus índices do OpenSearch/Elasticsearch e usar várias zonas de disponibilidade, o Amazon OpenSearch Service distribui automaticamente os fragmentos primários e de réplica em instâncias por diferentes AZs.

Sim. O Amazon OpenSearch Service expõe várias métricas de performance por meio do Amazon CloudWatch, incluindo número de nós, integridade do cluster, documentos pesquisáveis, métricas do EBS (se aplicáveis), CPU, utilização de memória e disco para dados e nós principais. Consulte a documentação de serviço para obter uma lista completa das métricas disponíveis do CloudWatch.

Sim. O AWS CloudTrail é um web service que registra as chamadas de APIs da AWS para a sua conta e envia os arquivos de log para você. O histórico de chamadas de API da AWS gerado pelo AWS CloudTrail possibilita a realização de análises de segurança, rastreamento de alteração de recursos e auditoria de conformidade. Saiba mais sobre o AWS CloudTrail na página de detalhes do AWS CloudTrail, e o ative na página inicial do CloudTrail no Console de Gerenciamento da AWS.

Um snapshot é uma cópia do seu domínio do Amazon OpenSearch Service em um determinado momento.

A criação de snapshots pode ser útil no caso de perda de dados por falha nos nós ou também no caso improvável de ocorrência de uma falha de hardware. É possível usar snapshots para recuperar seu domínio do Amazon OpenSearch Service com dados pré-carregados ou para criar um novo domínio do Amazon OpenSearch Service com dados pré-carregados. Outro motivo comum para utilizar backups é para fins de arquivamento. Os snapshots são armazenados no Amazon S3.

Sim. Como padrão, o Amazon OpenSearch Service cria automaticamente snapshots por hora de cada domínio do Amazon OpenSearch Service e os retém por 14 dias.

O Amazon OpenSearch Service manterá snapshots por hora automáticos dos últimos 14 dias.

Não há cobranças adicionais pelos snapshots automáticos por hora. Os snapshots são armazenados gratuitamente em um bucket do S3 do Amazon OpenSearch Service e serão disponibilizados para fins de recuperação de nós.

Sim. É possível utilizar a API de snapshot para criar snapshots manuais adicionais para complementar os snapshots diários automáticos criados pelo Amazon OpenSearch Service. Os snapshots manuais são armazenados no bucket do S3 e incorrerão em cobranças de uso aplicáveis do Amazon S3.

Sim. Os clientes podem criar um novo domínio do Amazon OpenSearch Service e carregar dados do snapshot no domínio do Amazon OpenSearch Service recém-criado usando a API de restauração do OpenSearch/Elasticsearch.

Os snapshots diários mantidos pelo Amazon OpenSearch Service serão excluídos como parte da exclusão do domínio. Antes de excluir um domínio, é necessário considerar a criação de um snapshot do domínio nos seus próprios buckets do S3 usando o processo de snapshot manual. Os snapshots armazenados no seu bucket do S3 não serão afetados quando você excluir o domínio do Amazon OpenSearch Service.

O Amazon OpenSearch Service expõe três logs do Elasticsearch ou OpenSearch por meio do Amazon CloudWatch Logs: logs de erros, logs lentos de pesquisa e logs lentos de índice. Esses logs são úteis para resolver problemas de performance e estabilidade em um domínio do usuário.

Logs lentos são arquivos de log que ajudam a controlar a performance de diversas fases de uma operação. O OpenSearch e Elasticsearch expõem dois tipos de logs lentos:

  • Logs lentos de índice: oferecem insights sobre o processo de indexação e podem ser usados para ajustes finos da configuração de índices.
  • Logs lentos de pesquisa: oferecem insights sobre a performance de consultas e recuperações. Esses logs ajudam a ajustar detalhadamente a performance de qualquer tipo de operação de pesquisa no OpenSearch ou Elasticsearch.

Para obter detalhes completos sobre logs lentos, consulte a documentação do OpenSearch.

Os logs lentos podem ser habilitados com o clique de um botão no console ou por meio da ILC e das APIs. Para obter mais detalhes, consulte a documentação.

Sim. Você pode atualizar as configurações de um índice específico para habilitar ou desabilitar seus logs lentos. Para obter mais detalhes, consulte a nossa documentação.

Não. A ativação de logs lentos no Amazon OpenSearch Service habilita a opção de publicar os logs gerados no Amazon CloudWatch Logs para os índices no domínio especificado. No entanto, para gerar os logs, é necessário atualizar as configurações de um ou mais índices para iniciar o processo de registro em log. Para obter mais detalhes sobre a configuração de índices para habilitar logs lentos, consulte a nossa documentação.

Não. A geração de arquivos de log depende das configurações dos índices. Para desativar a geração de arquivos de log, você precisa atualizar a configuração do índice. Para obter mais detalhes sobre a configuração de índices para habilitar logs lentos, consulte a nossa documentação.

Só é possível alterar a granularidade de registro em log para logs lentos. O OpenSearch e o Elasticsearch expõem vários níveis de registro em log para logs lentos. É necessário definir o nível adequado na configuração do índice. Para obter mais detalhes sobre a configuração de índices para habilitar logs lentos, consulte a documentação do OpenSearch.

Quando os logs lentos ou logs de erros são habilitados, o Amazon OpenSearch Service começa a publicar os logs gerados no CloudWatch Logs. O Amazon OpenSearch Service não cobra pela habilitação de logs. No entanto, serão cobradas as taxas padrão do CloudWatch.

O OpenSearch usa o Apache Log4j 2 e seus níveis de log incorporados (da severidade menor para a maior): TRACE, DEBUG, INFO, WARN, ERROR e FATAL. Se você habilitar os logs de erro, o Amazon OpenSearch Service publicará linhas de log com os níveis WARN, ERROR e FATAL e selecionará erros do nível DEBUG para o CloudWatch. Para obter mais detalhes, consulte a nossa documentação.

Os logs de erro podem ser habilitados com o clique de um botão no Console AWS ou por meio da ILC e das APIs. Para obter mais detalhes, consulte a nossa documentação.

Não. Os erros de log são expostos para todo o domínio. Ou seja, após a habilitação, as entradas de log de todos os índices no domínio serão disponibilizadas.

Não. Os logs de erros somente estão disponíveis para o Elasticache nas versões 5.x ou posterior.

Sim. Cada entrada de log registrada no CloudWatch será limitada a 255.000 caracteres. Se a entrada de log superar esse limite, será truncada para 255.000 caracteres.

Os logs lentos somente são necessários quando você precisa resolver problemas nos índices ou efetuar ajustes finos na performance. A abordagem recomendada é habilitar o registro em log apenas nos índices dos quais você precisa obter insights de performance adicionais. Além disso, após a investigação, desative o registro em log para não incorrer em custos adicionais decorrentes de seu uso. Para obter mais detalhes, consulte a nossa documentação.

O CloudWatch oferece várias maneiras de consumir logs. Você pode visualizar dados de log, exportá-los para o S3 ou processá-los em tempo real. Para saber mais, consulte o Guia do desenvolvedor do CloudWatch Logs.

Sim. Os logs lentos podem ser habilitados para todas as versões do OpenSearch e do Elasticsearch que contam com o suporte do Amazon OpenSearch Service. No entanto, há pequenas diferenças na forma como as configurações de log podem ser especificadas para cada versão do Elasticsearch. Consulte nossa documentação para obter mais detalhes.

Não. Não haverá tempo de inatividade. Todas as vezes que o status do log for atualizado, implantaremos um novo cluster em segundo plano e substituiremos o cluster atual pelo novo. Esse processo não causa nenhum tempo de inatividade. No entanto, como um novo cluster é implantado, a atualização do status do log não será instantânea.

No momento, o Amazon OpenSearch Service oferece suporte ao upgrade de versões no local para domínios com qualquer versão do OpenSearch ou com o Elasticsearch versão 5.x e posteriores. As versões de destino com suporte para upgrade são as versões 5.6, 6.3, 6.4, 6.5, 6.7, 6.8, 7.1, 7.4, 7.7, 7.8, 7.9 e 7.10. Para obter mais detalhes, consulte a nossa documentação.

Consulte nossa documentação para obter detalhes sobre a migração de várias versões do Elasticsearch.

Não. O domínio permanecerá disponível durante todo o processo de upgrade. No entanto, parte do processo do upgrade envolve a relocação de estilhaços, que pode afetar a performance do domínio. Recomendamos executar o upgrade quando a carga do domínio está baixa.

O upgrade de versões no local somente está disponível para domínios que executam o Elasticsearch 5.x ou posterior. Se a versão do domínio for 5.x ou posterior, você poderá executar a verificação de elegibilidade do upgrade para validar se é possível fazer upgrade do domínio para a versão desejada. Para saber mais, consulte nossa documentação.

Para obter uma lista detalhada dos testes que executamos para validar a elegibilidade do upgrade, consulte nossa documentação.

Não. Após o acionamento do upgrade da versão no local, não será possível alterar a configuração do domínio até que o upgrade seja concluído ou falhe. Você poderá continuar a ler e gravar dados durante a execução do upgrade. Além disso, você poderá excluir o domínio. Neste caso, o upgrade será encerrado e o domínio será excluído.

O processo de ugprade de versão obtém automaticamente um snapshot do sistema e somente iniciará o upgrade real se o snapshot for bem-sucedido. Se o upgrade estiver em andamento quando chegar a hora de início do snapshot automatizado, ele será ignorado nesse dia e continuará no próximo dia.

O Amazon OpenSearch Service executa um conjunto de testes antes de acionar o upgrade para verificar a existência de problemas conhecidos que podem bloquear o upgrade. Se nenhum problema for encontrado, o serviço obterá um snapshot do domínio. Se o snapshot for bem-sucedido, o upgrade será iniciado. O upgrade não será acionado se qualquer problema for encontrado em qualquer uma das etapas.

Se os problemas encontrados forem pouco importantes e corrigíveis, o Amazon OpenSearch Service tentará resolvê-los automaticamente e desbloquear o upgrade. No entanto, se um problema bloquear o upgrade, o serviço voltará ao snapshot obtido antes do upgrade e registrará o erro em log. Para obter mais detalhes sobre a visualização de logs de andamento do upgrade, consulte a nossa documentação.

Sim. Você pode visualizar os logs de upgrade no Console AWS ou solicitá-los usando a ILC ou os SDKs. Consulte a documentação para obter mais detalhes.

Não. Após o acionamento do upgrade, não será possível suspendê-lo ou cancelá-lo até que o upgrade seja concluído ou falhe.

Sim. No entanto, se você quiser manter todos os domínios na mesma versão, recomendamos executar a verificação de elegibilidade para o upgrade em todos os domínios antes de iniciar o upgrade. Essa etapa adicional pode ajudar a detectar problemas em um domínio que não estão presentes nos demais.

Dependendo da quantidade de dados e do tamanho do cluster, os upgrades podem demorar entre alguns minutos e algumas horas.

Não. Com o upgrade de versão no local, todos os dados do cluster também são restaurados como parte do processo de upgrade. Se você quiser apenas fazer upgrade do domínio, poderá obter um snapshot dos dados, excluir todos os índices do domínio e acionar o upgrade de versão no local. Como alternativa, você pode criar um domínio separado com a versão mais recente e restaurar os dados nesse domínio.

Não. Se precisar fazer downgrade para uma versão mais antiga, entre em contato com o AWS Support para restaurar o snapshot automático de pré-atualização em um novo domínio. Se tiver tirado um snapshot manual do domínio original, poderá executar essa etapa por conta própria.

Multi-AZ com Standby

O Multi-AZ com Standby é uma nova opção de implantação para o Amazon OpenSearch Service que permite alta disponibilidade e desempenho consistente para workloads críticas aos negócios. Com o Multi-AZ com Standby, os clusters gerenciados do OpenSearch Service são resistentes a falhas de infraestrutura, como quedas de nós ou falha de uma única zona de disponibilidade, garantindo que não haja impacto no desempenho ou na disponibilidade, mesmo no caso de uma única falha na zona de disponibilidade. O Multi-AZ com Standby oferece o benefício adicional de simplificar a configuração e o gerenciamento do cluster, aplicando as melhores práticas e reduzindo a complexidade.

Para habilitar o Multi-AZ com Standby, os clusters gerenciados precisam atender às seguintes condições:

  • Executar o OpenSearch 1.3 ou uma versão mais recente.
  • Implantar nas AWS Regions (regiões da AWS) com o 3-AZ. Atualmente, a região do norte da Califórnia da AWS não oferece suporte ao 3-AZ e, portanto, não é apropriada para o Multi-AZ com Standby.
  • O número de nós de dados precisa estar em múltiplos de três.
  • O número de cópias de dados (primária + réplica) deve estar em múltiplos de três.
  • Seguir as diretrizes de dimensionamento do líder (tamanho recomendado com base no número de nós, número de fragmentos e número de mapeamentos em seu cluster).

Com o Multi-AZ com Standby, o Amazon OpenSearch Service detecta e se recupera automaticamente de algumas das falhas de infraestrutura. O Amazon OpenSearch Service faz o failover automaticamente de nós ativos para nós em espera em menos de um minuto quando ocorre qualquer um dos seguintes eventos:

  • Perda de uma AZ ativa ou de todos os nós em uma AZ ativa
  • Perda de conectividade com uma AZ ativa
  • Falha de hardware da instância na AZ ativa
  • Falha de armazenamento em um nó na AZ ativa

Atualmente, o Multi-AZ com Standby não cobre os seguintes eventos:

  • Perda do quórum principal, pois a recuperação desse evento pode levar vários minutos
  • Perda de múltiplas zonas de disponibilidade
  • Perda de conectividade com uma região
  • Perda de mais de 50% de nós em mais de uma AZ
  • Tempo de inatividade causado por computação ou armazenamento insuficientes como resultado da mudança nas características de workload
  • Tempo de inatividade causado por consultas indevidas
  • Perda de um ou mais serviços dos quais o Amazon OpenSearch Service depende, como ARPS e ALB
  • Tempo de inatividade do Painel do OpenSearch durante as atualizações de versão

Não. Em princípio, as diretrizes de dimensionamento continuam sendo as mesmas. O Multi-AZ com Standby tem pré-requisitos que simplificam o modelo mental necessário para dimensionar o cluster. A maneira de pensar no dimensionamento de um cluster gerenciado é analisar a capacidade necessária para atender sua workload e, em seguida, adicionar 50% para redundância. A principal diferença entre a opção atual da opção 'Zone Awareness' (reconhecimento de zonas) e a opção Multi-AZ com Standby é como a capacidade redundante ou adicional é tratada para manter a disponibilidade. O Multi-AZ com Standby exige que você tenha pelo menos uma cópia dos dados em cada AZ, para que o Multi-AZ com Standby possa reservar explicitamente a capacidade em uma AZ como espera. Essa capacidade em espera atua como um alvo de failover durante a interrupção do AZ ou falha da instância. O modelo existente exige que você mantenha níveis ideais de recursos para atender à sua workload. Você continuaria monitorando seu cluster em busca de problemas de dimensionamento e tomando ações corretivas à medida que as características da workload mudam.

Não. O Amazon OpenSearch Service funciona com um modelo de responsabilidade compartilhada. Você é responsável por garantir que seu cluster seja dimensionado de acordo com sua workload. O Multi-AZ com Standby simplifica o modelo mental de configuração do seu cluster. Você deve continuar monitorando as métricas de erro e latência, juntamente com a utilização do armazenamento, da CPU e da RAM, para detectar sinais de que o cluster está sobrecarregado e pode precisar ser escalado.

Não. O recurso Multi-AZ com Standby está disponível sem custo adicional. Você continua pagando pelos recursos implantados no cluster para atender à sua workload. Se o seu cluster já segue as melhores práticas e tem pelo menos três cópias de dados para um cluster 3-AZ, é improvável que você incorra em custos adicionais ao migrar para o Multi-AZ com Standby. No entanto, se seu cluster for subdimensionado ou não tiver capacidade redundante suficiente para atender à sua workload, você precisará adicionar capacidade para migrar para o Multi-AZ com Standby para melhorar a disponibilidade e o desempenho. A capacidade em espera é reservada a partir da capacidade total configurada.

Acordo de Nível de Serviço

O SLA do Amazon OpenSearch Service garante uma porcentagem de tempo de disponibilidade mensal de pelo menos 99,9% para o Amazon OpenSearch Service.

Você estará qualificado para um crédito de SLA para o Amazon OpenSearch Service nos termos do SLA do Amazon OpenSearch Service se domínios multi-AZ no Amazon OpenSearch Service tiverem uma porcentagem de tempo de atividade mensal inferior a 99,9% durante qualquer ciclo de faturamento mensal.

Para obter detalhes completos sobre todos os termos e condições do SLA, bem como detalhes sobre como enviar uma reivindicação, consulte a página de detalhes do SLA do Amazon OpenSearch Service.

Replicação entre clusters

A replicação entre clusters, uma nova capacidade que permite que os clientes do Amazon OpenSearch Service automatizem os índices de cópia e de sincronização de um cluster com outro com baixa latência na mesma região ou em regiões diferentes da AWS.

Os domínios que participam de uma replicação entre clusters precisam atender aos seguintes critérios:

  • Os domínios participantes devem usar o Elasticsearch versão 7.10
  • Os domínios participantes precisam ter a criptografia em trânsito habilitada
  • Habilitar o Fine Grained Access Control (FGAC – Controle de acesso minucioso)
  • As versões dos domínios participantes devem aderir às mesmas regras de upgrade constante de versões

Sim. Domínios de duas regiões da AWS diferentes podem participar de replicação entre clusters.

Não. A implementação atual da replicação entre clusters não é compatível com armazenamento inativo e Ultrawarm.

Sim. Você paga taxas de transferência de dados padrão da AWS pelos dados transferidos para dentro e para fora do Amazon OpenSearch Service.

Mudança de nome

Em 12 de abril de 2021, anunciamos o projeto OpenSearch, uma bifurcação de código aberto orientada pela comunidade do Elasticsearch e do Kibana. Nós nos comprometemos a fazer um investimento a longo prazo no OpenSearch para garantir que os usuários continuem a ter um conjunto de pesquisa e análise seguro, de alta qualidade e totalmente de código aberto, com um elaborado roteiro de funcionalidades inéditas e inovadoras. Esse projeto inclui o OpenSearch (derivado do Elasticsearch 7.10.2) e o OpenSearch Dashboards (derivado do Kibana 7.10.2). Lançamos a versão 1.0 do OpenSearch em 12 de julho de 2021. Como parte do nosso compromisso a longo prazo com o OpenSearch, adicionamos suporte ao OpenSearch 1.0 no serviço gerenciado em 7 de setembro de 2021 e alteramos o nome de Amazon Elasticsearch Service para Amazon OpenSearch Service. Junto com o OpenSearch 1.0, continuamos a oferecer suporte a versões herdadas do Elasticsearch até a versão 7.10 no serviço. Além da mudança de nome, você pode ter certeza de que continuaremos a oferecer a mesma excelente experiência sem qualquer impacto nas operações contínuas, na metodologia de desenvolvimento ou no uso comercial. Saiba mais sobre o OpenSearch aqui: https://opensearch.org.

Nós nos esforçamos para tornar essa mudança de nome a mais simples possível para você. Porém, existem aspectos, como o novo SDK e as novas APIs de configuração, que exigem sua ação para garantir que obtenha os melhores benefícios do serviço. Embora o SDK existente continue funcionando sob o ponto de vista da compatibilidade, qualquer nova funcionalidade que exija novas APIs de configuração apenas será implementada no novo SDK. Por isso, recomendamos a migração para o novo SDK. Além disso, independentemente do novo SDK, recomendamos a migração das políticas existentes do IAM para usar as APIs de configuração renomeadas. A partir de agora, suas políticas existentes do IAM continuarão a funcionar com a definição de API antiga. No entanto, passaremos para a nova validação de permissões com base em APIs e, eventualmente, exigiremos que use as novas APIs nas suas políticas (especificamente para as APIs em que há uma mudança de nome, como CreateElasticSearchDomain para CreateDomain). Consulte a nossa documentação para obter mais detalhes.

Não. Sob o ponto de vista da compatibilidade com versões anteriores, garantiremos que a sua configuração existente continue a funcionar com o OpenSearch 1.0. No entanto, recomendamos migrar, eventualmente, para o SDK mais recente para uma experiência mais ordenada e atualizada, conforme mencionado acima.

Não, não há alterações nos preços.

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

Upgrades

A atualização para o OpenSearch 1.x garante que sua infraestrutura de pesquisa seja construída com base em um projeto de código aberto crescente e dinâmico com licença Apache e oferece acesso a uma variedade de melhorias e recursos inovadores disponíveis no OpenSearch 1.2 (no momento da redação deste artigo).  Recursos como segurança de nível empresarial, alertas, gerenciamento do ciclo de vida dos dados, observabilidade, detecção de anomalias com base em ML e muito mais fazem parte do serviço OpenSearch, sem taxas de licenciamento adicionais.

Usamos um processo de implantação blue/green (BG – azul/verde) durante o upgrade. Durante um BG, o serviço adiciona nós ao cluster do OpenSearch Service na nova configuração e versão, migra dados dos nós antigos e descarta os nós antigos quando a migração de dados é concluída. Durante um BG, as APIs de pesquisa e indexação estão disponíveis e funcionam normalmente. Embora o BG seja projetado para não interferir nas solicitações de consulta e indexação, algumas alterações (especialmente aquelas que envolvem alterações nas configurações relacionadas à segurança) podem fazer com que os painéis fiquem indisponíveis durante o período de alteração.

A AWS mantém 19 versões do Elasticsearch com licença Apache-2.0. Nenhuma dessas versões está descontinuada nem há planos para suspensão de nenhuma delas no momento.

Sim, a atualização acionará um processo de implantação BG. Revise a preparação e as etapas do upgrade aqui.

Trabalhe com a equipe de sua conta da AWS para obter informações com base em sua situação específica com RIs.

O projeto OpenSearch 1.0 é uma bifurcação do Elasticsearch 7.10.2 de código aberto. É compatível com o Elasticsearch 7.10, então você não precisa alterar seu uso. Para migrar, você pode atualizar seu domínio para a versão Elasticsearch 7.10 de qualquer versão anterior das séries 6.xe 7.x, tirar um snapshot e restaurar esse snapshot em um domínio executando o OpenSearch Service 1.x. Alguns clientes ou ferramentas incluem verificações de versão que podem fazer com que o cliente ou a ferramenta não funcione com o OpenSearch Service. Ao fazer upgrade, habilite o modo de compatibilidade para contornar essas verificações de versão.

Na maioria dos casos, você pode continuar usando seus clientes existentes. As APIs e a funcionalidade de pesquisa principal são compatíveis com o Elasticsearch versão 7.10.2. Se você tiver clientes mais antigos, os clientes realizarem a verificação de versão ou os clientes aproveitarem a funcionalidade direcionada a versões mais antigas do Elasticsearch, como as versões principais 5 ou 6, sugerimos que você tente levar seus clientes a um padrão mínimo de suporte em 7.10.2 para garantir uma transição suave.

O projeto OpenSearch oferece suporte a uma ampla variedade de clientes criados especificamente para atender às versões OpenSearch do mecanismo no Amazon OpenSearch Service. Verifique seu cliente na lista dos clientes OpenSearch mais recentes e linguagens de programação compatíveis para esses clientes.

Você pode habilitar o recurso de modo de compatibilidade para interoperar com clientes de outros fornecedores, mas lembre-se de verificar a versão que o OpenSearch informa. Habilite essa configuração para garantir que o serviço responda com a versão 7.10.2 aos clientes desenvolvidos antes da introdução do mecanismo OpenSearch Service.

Os índices do Elasticsearch 5.x não são compatíveis com Elasticsearch 7.10 ou OpenSearch 1.x. Você deve criar um novo índice e carregar dados de sua fonte. Se você estiver executando uma workload de análise de logs, poderá avaliar se sua estratégia de retenção de dados oferece suporte à execução em paralelo enquanto cria um conjunto de dados completo no novo domínio.

Sim, entre em contato com opensearchmigration-si-support@amazon.com para solicitar uma lista de parceiros da sua região, setor e complexidade do projeto. Os parceiros da Rede de Parceiros da AWS (APN) são treinados e têm experiência para ajudar você com atualizações. 

O OpenSearch 1.0 é uma bifurcação do Elasticsearch 7.10.2. OpenSearch e Elasticsearch são compatíveis. Se você habilitar o modo de compatibilidade, os clientes Elasticsearch também serão compatíveis com o OpenSearch 1.0.

O Amazon OpenSearch Service não oferece e não oferecerá versões do mecanismo Elasticsearch após a versão 7.10.2.

Como a AWS anunciou quando bifurcou o Elasticsearch, pretendíamos construir e construímos uma comunidade próspera em torno do OpenSearch. Publicamos um roteiro para o OpenSearch, completo com contribuições da comunidade e consenso sobre as prioridades dos recursos. Não mediremos esforços para manter a compatibilidade com o Elasticsearch. Nosso objetivo é crescer com nossa comunidade e clientes do Amazon OpenSearch Service.

Você pode fazer upgrade diretamente para o OpenSearch Service 1.0 do Elasticsearch e Kibana versões 6.8.0 a 7.10.2 e abrir a distribuição para o Elasticsearch (ODFE) 1.x. Para atualizações contínuas de ODFE para OpenSearch, recomendamos atualizar primeiro para ODFE 1.13 e depois atualizar para OpenSearch 1.0.

Os recursos de migração estão aqui:

Analytics Migrations

Migração para o Amazon OpenSearch Service

Integrações ETL zero

Essa Integração ETL zero com o Amazon DynamoDB elimina a complexidade operacional na orquestração da replicação de dados de um datastore operacional para um datastore de pesquisa. Os pipelines de dados usados para manter diferentes datastores sincronizados podem ser desafiadores e caros de criar e gerenciar, além de sofrer erros intermitentes que são difíceis de rastrear. Essa integração permite que os clientes do Amazon DynamoDB obtenham resultados de pesquisa quase em tempo real de seus dados transacionais, oferecendo uma solução totalmente gerenciada para disponibilizar dados operacionais do Amazon DynamoDB no Amazon OpenSearch Service em segundos depois de serem gravados.

A Integração ETL zero do Amazon OpenSearch Service com o Amazon DynamoDB usa o Amazon OpenSearch Ingestion para mover facilmente os dados operacionais do Amazon DynamoDB para o Amazon OpenSearch Service. Para habilitarem uma integração, os clientes escolhem primeiro a tabela do Amazon DynamoDB cujos dados precisam ser replicados. O atributo Integração ETL zero configura um pipeline do Amazon OpenSearch Ingestion na conta do cliente que se encarrega de replicar os dados em um cluster gerenciado ou coleção sem servidor do Amazon OpenSearch Service. O Amazon OpenSearch Ingestion compreende a estrutura das tabelas do Amazon DynamoDB e, em seguida, inicializa um cluster gerenciado ou uma coleção sem servidor do Amazon OpenSearch Service com os dados existentes das tabelas do DynamoDB. Opcionalmente, os clientes podem especificar um esquema para os índices que serão criados no Amazon OpenSearch Service. Todas as atualizações na tabela do DynamoDB também são replicadas para o Amazon OpenSearch Service sem intervenção manual dos clientes.

O atributo de ETL zero usa o Amazon OpenSearch Ingestion para mover os dados do Amazon DynamoDB para o Amazon OpenSearch Service e aproveita os recursos de transformação de dados nativos dos pipelines do Amazon OpenSearch Ingestion para agregar e filtrar os dados enquanto eles estão em movimento. Ao mover os dados de uma tabela do Amazon DynamoDB, os clientes podem querer eliminar alguns campos ou criar novos campos com base nas agregações entre os campos existentes. Opcionalmente, os clientes também podem escrever uma lógica personalizada para o Amazon OpenSearch Ingestion de forma a obter uma capacidade de transformação personalizada. Para outros usuários, que querem apenas mover seus dados inteiros da fonte para o coletor, o Amazon OpenSearch Ingestion fornece esquemas prontos para uso para que eles possam realizar as integrações com apenas alguns cliques.

Para garantir que o Amazon OpenSearch Ingestion tenha as permissões necessárias para replicar dados em ambos os sistemas, o atributo Integração ETL zero cria um perfil do IAM com as permissões necessárias para ler dados das tabelas do Amazon DynamoDB e gravar em um domínio ou coleção do Amazon OpenSearch. Esse perfil é então assumido por pipelines do Amazon OpenSearch Ingestion para garantir que a postura de segurança correta seja sempre mantida ao mover os dados da origem para o destino.

Você pode visualizar todas as métricas relacionadas à sua Integração ETL zero com o Amazon DynamoDB nos painéis fornecidos pelo Amazon OpenSearch Ingestion, juntamente com logs em tempo real no Amazon CloudWatch. Isso permite que os clientes configurem alertas personalizados que são acionados quando os limites definidos pelo usuário são violados.

O mecanismo de consulta do OpenSearch Service foi rearquitetado para dar suporte à análise de dados operacionais armazenados em armazenamentos de objetos na nuvem, como o Amazon S3 e data lakes baseados no S3. Ele faz isso sem duplicar dados. Quando segundos fazem a diferença, os clientes podem aumentar a performance de suas consultas e criar painéis de carregamento rápido usando os recursos integrados de aceleração de consultas da nova integração.

Para começar a usar o Console de Gerenciamento da AWS, os clientes configuram uma nova fonte de dados de um domínio existente do OpenSearch Service executando o OpenSearch Service versão 2.11 ou superior. Ao configurar a nova fonte de dados de Consulta direta, os clientes precisarão fornecer acesso de leitura/gravação ao Amazon S3 e ao Catálogo de Dados do AWS Glue para facilitar a consulta de dados no Amazon S3 a partir do OpenSearch Service. Os clientes podem personalizar políticas do IAM para restringir o acesso a buckets específicos no Amazon S3 ou a recursos no Catálogo de Dados do AWS Glue. Depois de configurarem a nova fonte de dados no console, os clientes acessarão o OpenSearch Service para configurar controles de acesso baseados em perfil, acelerações para acelerar a performance das consultas e, opcionalmente, painéis prontos para uso para modelos populares de tipos de log, como Logs de fluxo de VPC, Logs de balanceador de carga elástico e Logs NGINX. Os clientes são cobrados pelos recursos de computação consumidos na forma de unidades de computação OpenSearch de Consulta direta (OCUs; taxas de uso aplicáveis). Depois de configurarem a nova fonte de dados, os clientes poderão começar a consultar seus dados diretamente na API do OpenSearch ou nos painéis do OpenSearch.

Os clientes pagam apenas pelos recursos consumidos por suas workloads. O OpenSearch Service cobra apenas pela computação necessária para consultar diretamente dados externos, bem como para manter índices opcionais no OpenSearch Service. A capacidade de computação é medida em unidades de computação do OpenSearch (OCUs), que são as mesmas unidades usadas pelo Amazon OpenSearch sem Servidor e pelo Amazon OpenSearch Ingestion. O número de OCUs corresponde diretamente à vCPU e à memória necessárias para consultar ou manter índices com base nos dados. Os clientes verão uma entrada para computação em horas de OCU com o rótulo para consulta direta. As OCUs são cobradas por hora com granularidade por minuto. Se nenhuma consulta ou atividade de indexação estiver ativa, nenhuma OCU será consumida. Os custos do Amazon S3 ou do Catálogo de Dados do AWS Glue serão cobrados separadamente na conta do cliente. Para obter mais detalhes sobre preços, acesse a página de preços do Amazon OpenSearch Service.