Com o Amazon Managed Streaming for Apache Kafka (MSK), você paga somente pelo que usar. Não há taxas mínimas nem compromissos antecipados. Você não paga pelos nós controladores do Apache ZooKeeper ou KRaft que o Amazon MSK provisiona para você para gerenciamento de metadados. Você também não paga pela transferência de dados que ocorre entre corretores ou entre os nós de gerenciamento de metadados e os corretores em seus clusters. Os preços do Amazon MSK são baseados no tipo de recurso criado. Existem dois tipos de clusters: clusters MSK e clusters MSK Serverless. Com clusters MSK, é possível especificar e escalar a capacidade de cluster conforme suas necessidades. Com clusters do MSK sem servidor, não é necessário especificar ou escalar a capacidade do cluster. Você também pode criar conectores Apache Kafka Connect usando o MSK Connect. Observe as várias guias abaixo para definição de preços detalhados e seus exemplos.
-
MSK
-
MSK Serverless
-
MSK Connect
-
MSK Replicator
-
MSK
-
Você paga uma taxa por hora pelo uso da instância do agente Apache Kafka (cobrada com resolução de um segundo), com taxas variáveis dependendo do tamanho da instância do agente e dos agentes ativos em seus clusters do Amazon MSK. Consulte as tabelas de definição de preço de instâncias de agente para obter mais detalhes.
Você paga pela quantidade de armazenamento provisionada em seu cluster. Esse cálculo é feito somando-se os GB provisionados por hora e dividindo o resultado pelo total de horas no mês, o que resulta no valor em “GB-mês” mostrado no exemplo de definição de preço. Consulte as tabelas de preço de armazenamento de agente para obter mais detalhes. Você também pode provisionar throughput de armazenamento adicional de forma independente, com cobrança pela quantidade provisionada em MB/s por mês. Esse cálculo é feito somando-se os MB/s provisionados por hora por agente e dividindo o resultado pelo total de horas no mês, o que resulta no valor em “MB/s-mês” mostrado no exemplo de throughput de armazenamento provisionado (opcional).
Não há cobrança por transferência de dados entre agentes ou entre nós de metadados e agentes. Você paga taxas de transferência de dados padrão da AWS para dados transferidos de e para os clusters do Amazon MSK.
Você também pode ativar a conectividade privada (fornecida pelo AWS PrivateLink) se precisar conectar seus clientes Apache Kafka em uma ou mais VPCs a um cluster do MSK em uma VPC diferente. Com esse recurso, você paga uma taxa por hora para cada cluster e esquema de autenticação que tenha a conectividade privada ativada. Um esquema de autenticação é usado pelos clientes para autenticar as solicitações do cliente no cluster do MSK. Além disso, você também paga por GB de dados processados por meio da conectividade privada. Você pagará as taxas padrão do AWS PrivateLink pelas conexões VPC gerenciadas pelo Amazon MSK usadas por seus clientes do Apache Kafka para se conectarem de forma privada ao cluster.
Exemplo 1
Se três instâncias kafka.m7g.large estiverem ativas na região leste dos EUA (Norte da Virgínia) da AWS e seus agentes usarem 1 TB de armazenamento por 15 dias em março e 2 TB de armazenamento nos últimos 16 dias de março, você pagará o seguinte pelo mês:
Cobrança total = (cobrança da instância do agente) + (cobrança do armazenamento)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias x 24 horas/dia x 3 agentes = 2.232 horas
USD 0,204 (preço por hora para uma kafka.m7g.large)
2.232 horas x USD 0,204 = USD 455,33
Cobranças de armazenamento em GB/mês
- Cálculo de GB/hora = (1000 GB * 15 dias * 24 horas/dia) + (2000 GB * 16 dias * (24 horas/dia) = 1.128.000 GB/hora
- Calcular GB/mês: 1.128.000 GB/hora/24 horas/31 dias = 1.516,13 GB/mês
USD 0,10 (o preço por GB/mês na região Leste dos EUA)
1.516,13 GB/mês x USD 0,10 = USD 151,61
Total = USD 455,33 + USD 151.61 = USD 606,94 *Esta workload representa uma taxa de ingestão de 100 KB/segundo com 24 horas de retenção e um fator de replicação igual a 2. Aplicam-se cobranças de transferência de dados, calculadas como USD 5/mês para essa workload.
Exemplo 2
Se três instâncias kafka.m5.large estiverem ativas na região Leste dos EUA (Norte da Virgínia) da AWS e seus agentes usarem 1 TB de armazenamento por 15 dias em março e 2 TB de armazenamento nos últimos 16 dias de março, você pagará o seguinte pelo mês:
Cobrança total = (cobrança da instância do agente) + (cobrança do armazenamento)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias x 24 horas/dia x 3 agentes = 2.232 horas
USD 0,21 (preço por hora para uma kafka.m5.large)
2.232 horas x USD 0,21 = USD 468,72
Cobranças de armazenamento em GB/mês
- Cálculo de GB/hora = (1000 GB * 15 dias * 24 horas/dia) + (2000 GB * 16 dias * (24 horas/dia) = 1.128.000 GB/hora
- Calcular GB/mês: 1.128.000 GB/hora/24 horas/31 dias = 1.516,13 GB/mês
USD 0,10 (o preço por GB/mês na região Leste dos EUA)
1.516,13 GB/mês * USD 0,10 = USD 151,61
Total = USD 468,72 + USD 151,61 = USD 620,33 Exemplo 3
Vamos supor que você tenha três instâncias kafka.m5.large ativas na região da AWS Leste dos EUA (N. da Virgínia). Você deseja reter os dados por um total de 30 dias com dados de 1 dia no armazenamento primário. Você está ingerindo 2MB/s de dados em seu cluster. Você quer fornecer 1TB de armazenamento primário para seu processamento em tempo real e armazenar os últimos 30 dias de dados no nível de baixo custo. Também deseja ler todos os dados armazenados no nível de baixo custo com uma aplicação.
Total de cobranças = (taxa de instância de agente) + (taxa de armazenagem primária) + (taxa de nível de baixo custo) + (taxa de recuperação de nível de baixo custo)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias * 24 horas/dia * 3 agentes = 2.232 horas
USD 0,21 (preço por hora para uma kafka.m5.large)
2.232 horas * USD 0,21 = USD 468,72
Cobranças de armazenamento em GB/mês
Calcular GB/mês: 744.000 GB/hora/24 horas/31 dias = 1000 GB/mês
USD 0,10 (o preço por GB/mês na região Leste dos EUA)
1000 GB/mês * USD 0,10 = USD 100
Cobranças de armazenamento em nível de baixo custo em GB/mês
1. Cálculo em bytes/hora. Com base em sua taxa de ingestão de 2 MB/s, você acumulará 7.549.747.200 bytes em uma hora (2*1024 *1024*3600). Utilização total de byte-hora em um mês é (7.549.747.200 *30 dias * 24 horas/dia = 5.435.817.984.000 byte-horas.
USD 0,060 (o preço por GB/mês na região Leste dos EUA)
Cobramos USD 0,060 GB/mês. O custo total de armazenamento para 30 dias de retenção é = 5.062,5*0,06 = USD 303,75
2. Convertendo para GB-mês: 5.435.817.984.000 byte-horas/1.073.741.824 bytes por GB = 5062,5 GB por mês.
Taxas de recuperação de dados em nível de baixo custo
Como você está armazenando 5062 GBs e recuperando todos os dados com uma única aplicação, deverá ler 5.062 GBs de dados.
USD 0,0015 o preço por GB na região Leste dos EUA)
Cobramos USD 0,0015 por GB. A taxa total de recuperação = 5.062*0,0015= USD 7,9
Exemplo de throughput de armazenamento provisionado (opcional)
Se você escolher ativar o throughput de armazenamento provisionado e provisionar 300 MB/s de throughput de armazenamento por 31 dias no seu cluster do Amazon MSK com 3 agentes na região da AWS do Leste dos EUA (N. da Virgínia), pagará o valor adicional a seguir além das cobranças de instância do agente e de armazenamento, como mostrado nos exemplos acima:
Cobrança total = (cobrança de instância do agente) + (cobrança de armazenamento) + (cobrança de throughput de armazenamento provisionado)
Cobranças Uso Taxa Subtotais Cobranças de throughput de armazenamento provisionado em MB/s-mês
3 agentes * 300 MB/s = 900 MB/s-mês
USD 0,08 (preço por MB/s-m&es na região do Leste dos EUA)
900 MB/s-mês * USD 0,08 = USD 72
(Opcional) Exemplo de conectividade privada com várias VPCs
Se você tem produtores e consumidores em VPCs ou contas da AWS diferentes do seu cluster do Amazon MSK com 3 agentes na região da AWS do Leste dos EUA (Norte da Virgínia) e ingere 2 MB/s de dados e tem 2 consumidores lendo todos os dados, você pode optar por ativar a conectividade privada de várias VPCs para habilitar a conectividade entre VPCs. Você pagaria a seguinte cobrança adicional, além das despesas de armazenamento e instância do agente, conforme mostrado nos exemplos acima:
Total de cobranças do MSK = (cobrança da instância do agente) + (taxa de armazenamento primário) + (cobranças de conectividade privada de várias VPCs).
Cobranças Uso Taxa Subtotais Cobranças por hora de conectividade privada com várias VPCs
Calcule as horas de conectividade privada por esquema de autenticação. Como você está usando 1 esquema de autenticação em um cluster de 3 nós, você será cobrado por 1 unidade de conectividade privada por 31 dias. Total de horas de conectividade privada = 1 unidade de conectividade privada x 730 horas em um mês = 730 horas de conectividade privada
USD 0,0225 por esquema de hora de conectividade privada por autenticação
Cobramos USD 0,0225 por hora de conectividade privada por autenticação.
Taxa fixa de conectividade privada = 730 x 0,0225 = USD 16,43
Cobrança de processamento de dados de conectividade privada de várias VPCs
Calcule os GB processados. Como você está processando um total de 6 MB/s (1 produtor + 2 consumidores = 21 GB/hora)
USD 0,006 por GB processadoCobramos USD 0,006 por GB processado.
Cobrança variável de processamento de dados = 21,6 x 0,006 x 730 = USD 94,62
-
MSK Serverless
-
Com o MSK Serverless, você paga uma tarifa por hora por seus clusters sem servidor e uma tarifa por hora por cada partição que cria. Além disso, você paga por GB de dados que seus produtores gravem e seus consumidores leiam a partir dos tópicos em seu cluster. A Amazon MSK cobra de você apenas pelo armazenamento que você consome.
Você pagará as taxas padrão de transferência de dados da AWS por dados transferidos de ou para outra região e por dados de saída transferidos para a Internet pública.
Exemplo
Vamos supor que você criou um cluster MSK Serverless na região Leste dos EUA (Ohio) da AWS. O cluster tem 5 tópicos com 20 partições cada. Diariamente, seus produtores gravam em média 100 GB de dados e seus consumidores leem 200 GB de dados. Você também retém esses dados por 24 horas para garantir que eles estejam disponíveis para repetição. No cenário acima, você pagaria o seguinte por um mês de 31 dias:
Total = cobrança por hora de cluster + cobrança por hora de partição + cobrança de entrada de dados + cobrança de saída de dados + cobrança de armazenamento
Cobranças Uso Taxa (no Leste dos EUA) Subtotais Cluster/horas
31 dias * 24 horas/dia = 744 clusters/hora
USD 0,75 cluster/hora
744 * 0,75 = USD 558,00
Partição/horas
31 dias * 24 horas/dia * 5 * 20 = 74.400 partições/hora
USD 0,0015 partições/hora
74.400 * 0,0015 = USD 111,60
Dados de entrada
100 GB * 31 dias = 3.100 GB
USD 0,10 GB/entrada
3.100 * USD 0,10 = USD 310,00
Dados de saída
200 GB * 31 dias = 6.200 GB
USD 0,05 GB/saída
6.200 * USD 0,05 = USD 310,00
Armazenamento
Média de uso de armazenamento = 100 GB/mês
USD 0,10/GB/mês
100 * USD 0,10 = USD 10,00
Total: USD 558 + USD 111,6 + USD 310 + USD 310 + USD 10 = USD 1.299,60 -
MSK Connect
-
Você paga uma tarifa por hora pelo uso do conector (cobrada em resolução de um segundo), com taxas que variam conforme o número de operadores utilizados em seu conector e o tamanho de cada operador, medido em número de unidades do MSK Connect (MCUs). Cada MCU fornece 1 vCPU de computação e 4 GB de memória. Consulte a tabela de preços para obter mais detalhes.
Exemplo
Digamos que você use o Amazon MSK Connect para transmitir dados de um tópico em seu cluster Amazon MSK para um bucket do Amazon Simple Storage Service (S3) na Região AWS do Leste dos EUA (Norte da Virgínia), e seu conector é configurado da seguinte forma:
Escala automática de dois a quatro operadores, com cada operador usando 1 MCU. Durante o expediente (oito horas), o conector aumenta a escala na horizontal para quatro operadores e, após o término do expediente (16 horas), reduz a escala na vertical para 2 operadores.Então você pagaria o seguinte pelo mês:
Cobrança total = cobrança de operadores do Apache Kafka Connect
Cobranças Uso Taxa Subtotais Cobranças de operadores do Apache Kafka Connect (MCUs, em horas)
31 dias * [(8 horas/dia * 4 operadores * 1 MCU/operador) + (16 horas/dia * 2 operadores * 1 MCU/operador)] = 1.984 horas
USD 0,11 (preço por hora por MCU)
1.984 horas * USD 0,11 = USD 218,24
Total =USD 218,24 -
MSK Replicator
-
Com o MSK Replicator, você paga uma taxa horária por cada replicador que você cria. Um replicador contém um cluster de origem, um cluster de destino e algumas configurações opcionais. Você pode incluir todos os tópicos em seu cluster de origem em um único replicador dentro das cotas compatíveis do Replicador do MSK. É possível criar vários replicadores entre os mesmos clusters MSK de origem e destino. O MSK Replicator oferece suporte à replicação entre regiões (CRR) e à replicação na mesma região (SRR).
Além disso, você paga por GB de dados (incluindo metadados) processados com o Replicador do MSK. Os dados processados pelo Replicador do MSK consistem em todos os dados que ele recebe, incluindo os dados replicados para o cluster de destino e também os dados filtrados pelo Replicador do MSK (somente se o replicador estiver configurado com a configuração de nome de tópico “idêntico”) para evitar que os dados sejam copiados de volta para o mesmo tópico de origem. Você pode rastrear o total de dados processados usando a métrica “ReplicatorBytesInPersec” e os dados replicados usando a métrica “ReplicatorThroughput” no Amazon CloudWatch. Se o replicador estiver configurado com a configuração de nome de tópico “Prefixo”, essas duas métricas terão o mesmo valor, pois nenhum dado será filtrado pelo Replicador do MSK.
Para a CRR, você também paga as cobranças padrão da AWS pela transferência de dados entre regiões entre as regiões de origem e de destino da AWS. Não há cobrança de transferência de dados para SRR.
Exemplo
Vamos supor que você queira replicar dados do seu cluster Amazon MSK no Oeste dos EUA (Oregon) para o seu cluster Amazon MSK na região Leste dos EUA (Norte da Virgínia) da AWS. Você está consumindo 50 MB/s de dados em seu cluster de origem e deseja replicar os dados continuamente por 30 dias.
Cobranças totais de replicação = cobrança por hora do replicador + cobrança de processamento de dados + cobrança de transferência de dados + cobranças de conectividade privada de várias VPCs para seu cluster do MSK de origem
Cobranças Uso Taxa Subtotais Horas de uso do Replicator
720 horas
USD 0,30 por hora
720 * 0,3 = USD 216
Dados processados
126.562,5 GB
0,08 USD por GB
126.562,5 * 0,08 = USD 10,125
Cobrança de transferência de dados
126.562,5 GB
0,02 USD por GB
126.562,5 * USD 0,02 = USD 2,531
Cobranças por hora de conectividade privada com várias VPCs
720 horas
USD 0,0225 por hora
16 USD
Cobrança de processamento de dados de conectividade privada de várias VPCs
126.562,5 GB
USD 0,006 por GB
USD 759
Total = USD 13,647
Recursos adicionais de preço
Calcule facilmente os custos mensais na AWS
Entre em contato com os especialistas da AWS para obter um orçamento personalizado
Comece a usar o Amazon MSK
Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia passo a passo.
Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console do Amazon MSK.