Publicado: Nov 19, 2020
O AWS Glue Schema Registry, um recurso sem servidor do AWS Glue, permite validar e controlar a evolução dos dados de streaming usando esquemas Apache Avro registrados, sem custo adicional. Por meio de serializadores e desserializadores licenciados pelo Apache, o Schema Registry se integra a aplicações Java desenvolvidas para o Apache Kafka/Amazon Managed Streaming for Apache Kafka (MSK), Amazon Kinesis Data Streams, Apache Flink/Amazon Kinesis Data Analytics for Apache Flink e AWS Lambda.
Os esquemas definem a estrutura e o formato dos registros de dados (também conhecidos como eventos) produzidos pelas aplicações. Por exemplo, um esquema pode ser definido por um grupo de campos, como data/hora do evento, ID do cliente, endereço de e-mail e um identificador exclusivo para uma ação realizada em uma página da Web. Quando as aplicações de produção de dados adicionam ou removem campos de um esquema (por exemplo, o endereço de e-mail é removido), a qualidade dos dados pode ser comprometida e as aplicações de saída podem falhar. Para evitar esses problemas, os desenvolvedores geralmente escrevem código defensivo em suas aplicações, coordenam as alterações de esquema entre as equipes de entrada e saída usando janelas de manutenção ou usam registros de esquema de terceiros que só podem ser usados com uma única tecnologia.
Com o Schema Registry, você pode eliminar a codificação defensiva e a coordenação entre equipes, melhorar a qualidade dos dados, reduzir as falhas de aplicações de saída e usar um registro integrado em vários serviços da AWS. Quando as aplicações de streaming de dados são integradas ao Schema Registry, os esquemas usados para a produção de dados são validados em relação aos esquemas em um registro central, permitindo que você controle centralmente a qualidade dos dados. Cada esquema pode ser versionado dentro das proteções de um modo de compatibilidade, fornecendo aos desenvolvedores a flexibilidade para controlar a evolução do esquema. Hoje você pode usar o Schema Registry com aplicações desenvolvidas para o Apache Kafka/Amazon MSK e Amazon Kinesis Data Streams, ou pode usar suas APIs para construir sua própria integração. Com o tempo, planejamos integrar o Schema Registry com outros serviços da AWS e estruturas de código aberto e expandir o suporte para formatos de dados não Avro e clientes não Java.
Consulte a documentação do usuário do Schema Registry para saber mais.
O Schema Registry está disponível nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), Oeste dos EUA (Oregon), Canadá (Central), América do Sul (São Paulo), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris) e Europa (Estocolmo).