Recursos do Amazon MSK

Com alguns cliques no console, é possível criar um cluster totalmente gerenciado do Apache Kafka que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Após a criação da configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente seu cluster do Apache Kafka.

O Apache Kafka usa o Kraft (Apache Kafka Raft) ou o Apache ZooKeeper para gerenciamento de metadados. O Amazon MSK permite criar clusters em qualquer um dos modos nas versões compatíveis do Apache Kafka. O Amazon MSK também gerencia esses nós de metadados adicionais para você, sem nenhum custo adicional.

O MSK Serverless é um tipo de cluster do Amazon MSK que facilita a execução dos clusters do Apache Kafka sem a necessidade de gerenciar a capacidade de computação e de armazenamento. O MSK Serverless provisiona e escalona automaticamente recursos e gerencia as partições do Apache Kafka para que você possa transmitir dados sem precisar se preocupar com o dimensionamento correto nem a escalabilidade dos clusters.

Todos os clusters são distribuídos em várias zonas de disponibilidade (três é o padrão) e contam com o suporte do acordo de nível de serviço do Amazon MSK e com o suporte de sistemas automatizados que detectam e respondem a problemas dentro da infraestrutura de cluster e do software Apache Kafka. Se um componente falhar, o Amazon MSK o substituirá automaticamente, sem tempo de inatividade para suas aplicações. O Amazon MSK gerencia a disponibilidade dos nós do controlador KRaft ou Apache ZooKeeper para que você não precise iniciar, parar nem acessar os nós por conta própria. Ele também implanta automaticamente patches de software conforme necessário para manter as atualizações do cluster em dia e seu funcionamento perfeito.

O MSK Replicator é um recurso do Amazon MSK que permite replicar dados de forma confiável nos clusters do Amazon MSK com apenas alguns cliques, sem precisar de expertise em como configurar ferramentas de código aberto, escrever códigos ou gerenciar infraestruturas. O MSK Replicator provisiona e escala automaticamente os recursos subjacentes para que você possa replicar dados sob demanda e pagar somente pelo que usar. Com o MSK Replicator você pode criar aplicativos multirregionais altamente disponíveis e tolerantes a falhas para aumentar a resiliência. Você também pode usar o MSK Replicator para fornecer acesso a dados com menor latência em diferentes regiões geográficas ou para distribuir dados para seus parceiros.

O cluster do Apache Kafka é executado em uma Amazon Virtual Private Cloud (VPC) gerenciada pelo Amazon MSK. Os clientes Kafka em sua própria Amazon VPC podem acessar o cluster de forma privada por meio de uma interface de rede elástica entre contas que o Amazon MSK implanta em sua VPC. Se seus clientes Kafka estiverem espalhados por uma ou mais VPCs ou contas da AWS, você ainda poderá se conectar de forma privada ao seu cluster usando o recurso de conectividade privada de várias VPCs. Esse recurso elimina a sobrecarga operacional do autogerenciamento de uma solução PrivateLink e escala perfeitamente à medida que o cluster do Amazon MSK escala, permitindo que você mantenha a conectividade privada com o cluster sem fazer alterações adicionais na configuração. A conectividade privada com várias VPCs também elimina os desafios de gerenciar IPs não sobrepostos, tabelas complexas de emparelhamento e roteamento associadas a outras soluções de conectividade de VPC, pois permite a sobreposição de IPs nas VPCs conectadas.

Use uma política de cluster para seu cluster do Amazon MSK para definir quais entidades principais do IAM têm permissões entre contas para configurar a conectividade privada com seu cluster do Amazon MSK. Quando usado com a autenticação do cliente do IAM, você também pode usar a política de cluster para definir separadamente as permissões do plano de dados Kafka para os clientes conectados.

O IAM Access Control é uma opção de segurança sem custo que simplifica a autenticação de clusters e a autorização da API do Apache Kafka usando políticas de usuário ou funções do IAM para controlar o acesso. Com o IAM Access Control, não é mais necessário criar nem executar sistemas únicos de gerenciamento de acesso para controlar a autenticação e a autorização de clientes para o Apache Kafka. Os clusters são protegidos por permissões com privilégio mínimo por padrão. No caso de clusters provisionados, você também pode usar o Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) ou a autenticação mútua do Transport Layer Security (TLS) com listas de controle de acesso (ACLs) do Apache Kafka para controlar o acesso de clientes.

O Amazon MSK criptografa os dados em repouso sem configurações especiais nem ferramentas de terceiros. No caso de clusters provisionados, todos os dados em repouso podem ser criptografados usando por padrão a chave do AWS Key Management Service (KMS) ou a sua própria chave. Também é possível criptografar dados em trânsito entre agentes e entre clientes e agentes de um cluster pelo TLS. No caso de clusters sem servidor, todos os dados em repouso são criptografados por padrão usando as chaves gerenciadas por um serviço, e todos os dados em trânsito são criptografados pelo TLS por padrão.

O Amazon MSK oferece uma opção para se conectar com segurança aos agentes de clusters do Amazon MSK que executam o Apache Kafka 2.6.0 ou versões posteriores pela Internet. Ao habilitar o acesso público, clientes autorizados e externos a uma Amazon Virtual Private Cloud (VPC) privada podem transmitir dados criptografados para dentro e para fora de clusters específicos do Amazon MSK.

Use uma política de cluster para seu cluster do Amazon MSK para definir quais entidades principais do IAM entre contas têm permissões para configurar a conectividade privada entre contas com seu cluster do Amazon MSK. Quando usado com a autenticação do cliente do IAM, você também pode usar a política de cluster para definir separadamente as permissões do plano de dados Kafka para os clientes conectados.

Nenhum outro provedor oferece a amplitude e a profundidade das integrações da AWS no Amazon MSK. Essas integrações incluem:

• AWS IAM para Apache Kafka e controle de acesso de API de nível de serviço
• Amazon Managed Service for Apache Flink para executar aplicativos Apache Flink totalmente gerenciados para processar dados de streaming no Apache Kafka
• Amazon Managed Service for Apache Flink Studio para executar tarefas interativas de streaming SQL e SQL de longa duração usando o Apache FlinkSQL
• AWS Glue Schema Registry para controlar e desenvolver esquemas de forma centralizada
• AWS IoT Core para transmissão de eventos do IoT para o MSK
• AWS Database Migration Service (AWS DMS) para captura e análise de modificação de dados
• Amazon Virtual Private Cloud (Amazon VPC) para conectividade de cliente privado e isolamento de rede
• AWS Key Management Service (AWS KMS) para criptografia em repouso
• AWS Certificate Manager Private Certificate Authority para autenticação mútua de clientes pelo TLS
• AWS Secrets Manager para armazenamento seguro e gerenciamento de segredos SASL/SCRAM
• AWS CloudFormation para implantar o Amazon MSK no código
• Amazon CloudWatch para métricas no nível de cluster, agente, tópico, consumidor e partição
  

O Amazon MSK implanta versões nativas do Apache Kafka para que as aplicações e ferramentas criadas para o Apache Kafka funcionem com o Amazon MSK de imediato, sem precisar de alterações no código da aplicação.

O Amazon MSK normalmente disponibiliza versões mais recentes do Apache Kafka sete dias após a disponibilidade pública.

É possível atualizar as versões do Apache Kafka nos clusters provisionados do Amazon MSK com apenas alguns cliques, permitindo que você decida quando aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK automatiza a implantação de atualizações de versões em clusters em execução para manter a disponibilidade de E/S para seus clientes de acordo com práticas recomendadas. No caso de clusters sem servidor, as versões do Apache Kafka são atualizadas automaticamente pelo Amazon MSK.

Você pode começar a usar o Amazon MSK por menos de USD 2,00 por dia. Os clientes normalmente pagam entre USD 0,05 e 0,07 por gigabyte consumido, com tudo incluído, o que pode representar 1/13 do custo de outros provedores gerenciados. Acesse a página de Preços do Amazon MSK para saber mais.

Com o armazenamento em camadas, você pode armazenar dados praticamente ilimitados no MSK sem a necessidade de fornecer e gerenciar a capacidade de armazenamento com armazenamento em camadas. Você pode habilitar o armazenamento em camadas com alguns cliques para clusters novos ou atuais e pagar pelo que você usa. Você pode primeiro armazenar dados em uma camada de armazenamento primário com performance otimizada e permitir que o MSK classifique os dados automaticamente na nova camada de baixo custo para uma retenção mais longa. O recurso tem suporte em todas as regiões da AWS com MSK. Para saber como começar a armazenar em camadas, visite nosso Guia do desenvolvedor do Amazon MSK.

Você pode escalar os clusters do Amazon MSK alterando o tamanho ou a família dos agentes do Apache Kafka em minutos, sem tempo de inatividade. A alteração do tamanho ou da família é uma forma comum de escalar os clusters do Amazon MSK, pois ela oferece a flexibilidade de ajustar a capacidade computacional do cluster do MSK às mudanças nas workloads. Esse método é o mais recomendado porque não exige uma nova atribuição da partição, o que pode impactar a disponibilidade do Apache Kafka.

O Amazon MSK escala automaticamente os recursos de computação e armazenamento de seus clusters conforme as necessidades de taxa de transferência de sua aplicação.

O Amazon MSK pode ser integrado ao Cruise Control, uma ferramenta popular de código aberto para o Apache Kafka que gerencia automaticamente a atribuição de partições em seu nome. No caso de clusters sem servidor, o Amazon MSK gerencia automaticamente a atribuição de partições para você.

É possível aumentar a escala da quantidade de armazenamento provisionado por agente de forma integral para acompanhar as alterações nos requisitos de armazenamento usando o Console de Gerenciamento da AWS ou a AWS Command Line Interface (AWS CLI). Também é possível criar uma política de autoescalabilidade para expandir automaticamente o armazenamento a fim de atender aos crescentes requisitos de transmissão.

O Amazon MSK implanta uma prática recomendada de configuração de cluster para o Apache Kafka por padrão. No caso de cluster provisionados, você pode definir mais de 30 configurações de cluster diferentes e todas as configurações dinâmicas e no nível do tópico. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

É possível visualizar e monitorar métricas importantes usando o Amazon CloudWatch para entender e manter a performance da aplicação de transmissão.

O Open Monitoring com Prometheus permite monitorar o Amazon MSK usando soluções como Datadog, Lenses, New Relic, Sumo Logic ou um servidor Prometheus e migrar facilmente painéis de monitoramento existentes para o Amazon MSK. Para obter mais informações, consulte Open Monitoring com Prometheus na documentação.