Ingestão do Amazon OpenSearch

P: Por que eu deveria usar a ingestão do Amazon OpenSearch?
A ingestão do Amazon OpenSearch é um nível de ingestão de dados que permite filtrar, enriquecer, transformar, normalizar e agregar dados para análise e visualização posteriores nos domínios do Amazon OpenSearch e nas coleções do Amazon OpenSearch Sem Servidor. A ingestão do Amazon OpenSearch permite que você crie pipelines de dados personalizados para melhorar a visão operacional de suas aplicações. A natureza sem servidor da ingestão do Amazon OpenSearch elimina as complexidades do autogerenciamento de pipelines de dados e garante que os recursos de processamento de seus pipelines de dados sejam escalados automaticamente de acordo com as demandas de suas workloads. Com a ingestão do Amazon OpenSearch, você pode:

• Obter reduções nos custos de armazenamento por meio da desduplicação de dados e da amostragem para evitar que dados ruidosos sejam indexados no Amazon OpenSearch.
• Reforçar a qualidade dos dados e adotar esquemas comuns transformando, formatando e enriquecendo os dados antes de serem indexados nos domínios do Amazon OpenSearch, facilitando a solução de problemas.
• Remover ou ofuscar informações confidenciais antes que elas cheguem a um destino, permitindo a conformidade com as leis de residência de dados.

P: Quais são os principais componentes de um pipeline do Amazon OpenSearch?
Um pipeline de ingestão do Amazon OpenSearch consiste em três componentes principais:

• A fonte é o componente de entrada de um pipeline. Ela define o mecanismo pelo qual um pipeline consome registros. A fonte pode consumir registros recebendo dados por http/s ou lendo de endpoints externos de tercediros.
• Os processadores são unidades de processamento intermediárias que podem filtrar, transformar e enriquecer registros no formato desejado antes de publicá-los no coletor. O processador é um componente opcional de um pipeline. Se você não definir um processador, os registros serão publicados no formato definido na fonte. Você pode ter mais de um processador. Os processadores são executados na ordem em que você os define no pipeline.
• O coletor é o componente de saída de um pipeline. Ele define um ou mais destinos nos quais um pipeline publica registros. Um coletor também pode ser outro pipeline, o que permite que você conecte vários pipelines.

P: Que tipo de dados posso ingerir usando a ingestão do Amazon OpenSearch?
O Amazon OpenSearch suporta a ingestão de todos os tipos de dados que você normalmente indexaria em um domínio do Amazon OpenSearch. Isso inclui, mas não se limita a dados estruturados, não estruturados, textuais, numéricos e geoespaciais. A ingestão do OpenSearch também suporta a ingestão de todos os três pilares dos dados de observabilidade: logs, métricas e rastreamentos. Você pode usar a ingestão do OpenSearch junto com seu suporte a um rico ecossistema de fontes de dados, processadores e coletores para transformar seus dados antes de armazená-los nos domínios do Amazon OpenSearch. Com a ingestão do OpenSearch, você não precisa mais escrever uma função do Lambda personalizada ou autogerenciar os nós de ingestão do Logstash e do Elasticsearch para ingerir dados que precisam ser indexados nos clusters do Amazon OpenSearch. Consulte nossa página de documentação para ver a lista de fontes, processadores e coletores compatíveis com a ingestão do Amazon OpenSearch.

P: Como a ingestão do Amazon OpenSearch está relacionada ao projeto Amazon OpenSearch?
A ingestão do Amazon OpenSearch é um nível de ingestão de dados que pré-processa os dados antes de serem indexados no Amazon OpenSearch Service. A ingestão do OpenSearch foi desenvolvida com o Data Prepper, que é um componente do projeto OpenSearch e oferece suporte a todos os formatos de dados, fontes, processadores e coletores suportados pelo Data Prepper.

P: Como faço para começar a usar a ingestão do Amazon OpenSearch?
Para começar a usar a ingestão do Amazon OpenSearch, você deve definir um pipeline de dados. Um pipeline de ingestão do OpenSearch é o núcleo de sua lógica de negócios e consiste em uma fonte, um único processador ou uma série deles e um coletor. Você define a configuração do pipeline por meio de um arquivo YAML que contenha detalhes de sua fonte, processadores e coletores. A ingestão do OpenSearch também permite que você configure uma capacidade mínima e máxima das Unidades de Computação para Ingestão (OCUs) do OpenSearch que você deseja definir por pipeline. Finalmente, você pode escolher como seus dados chegam aos pipelines de ingestão do OpenSearch:

• Acesso à VPC: para acesso à VPC, estabelecemos um link privado da sua VPC para o pipeline de ingestão do Amazon OpenSearch. Isso fornece conectividade privada aos seus pipelines sem expor seu tráfego à Internet pública.
• Acesso público: nessa configuração de rede, seus dados para seus pipelines do OpenSearch fluem pela Internet pública.

Você pode começar a criar um pipeline de dados por meio do console da AWS ou da linha de comando da AWS.