Características de Amazon Managed Service para Apache Flink

Amazon Managed Service para Apache Flink facilita la creación y ejecución de aplicaciones de procesamiento de flujo en tiempo real mediante Apache Flink. Amazon Managed Service para Apache Flink aprovisiona y configura sus clústeres de Flink y organiza la administración de los trabajos de Flink. Configura la supervisión y las alarmas, ofrece escalamiento automático y está diseñado para una alta disponibilidad (incluida la conmutación por error de la zona de disponibilidad). El servicio ofrece acceso a las expresivas API de Apache Flink y, a través de Amazon Managed Service para Apache Flink Studio, puede consultar secuencias de datos de forma interactiva o lanzar aplicaciones con estado en solo unos pocos pasos. Con este servicio gestionado, puede empezar a utilizar Apache Flink e implementar y operar rápidamente sus aplicaciones de procesamiento de flujos de datos.

Con Amazon Managed Service para Apache Flink, tiene acceso a toda la gama de capacidades líderes del sector de Apache Flink, que incluyen el procesamiento de datos de baja latencia y alto rendimiento, el procesamiento de una sola vez y el estado duradero de las aplicaciones. Con Amazon Managed Service para Apache Flink, puede implementar aplicaciones seguras, compatibles y de alta disponibilidad. Amazon Managed Service para Apache Flink replica sin esfuerzo los datos y las cargas de trabajo en varias zonas de disponibilidad, lo que garantiza un rendimiento y una fiabilidad ininterrumpidos y sin tener que pagar por capacidad adicional. 

El desarrollo de aplicaciones es más fácil con Amazon Managed Service para Apache Flink porque el servicio es compatible con las API flexibles de Flink en Java, Scala, Python y SQL. Amazon Managed Service para Apache Flink se integra con cientos de orígenes y destinos de datos, como Amazon Managed Streaming para Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, conectores JDBC y conectores personalizados. 

Amazon Managed Service para Apache Flink incluye bibliotecas de código abierto tales como Apache Flink, Apache Beam, Apache Zeppelin, SDK de AWS e integraciones de servicios de AWS. Apache Flink es un marco y motor que sirve para crear aplicaciones de streaming precisas y de alta disponibilidad. Apache Beam es un modelo unificado para definir aplicaciones de streaming y de procesamiento de datos por lotes que se ejecutan en varios motores de ejecución. El SDK de AWS elimina la complejidad de la codificación para muchos servicios de AWS al proporcionar API en su idioma preferido e incluye bibliotecas de AWS, ejemplos de código y documentación. 

Amazon Managed Service para Apache Flink es compatible con las API flexibles de Flink en Java, Scala, Python y SQL especializadas para diferentes casos de uso, incluido el procesamiento de eventos con estado, ETL de streaming (extracción, transformación y carga) y análisis en tiempo real. Con operadores prediseñados y capacidades de análisis, puede crear una aplicación de streaming de Apache Flink en cuestión de horas en lugar de meses, y las bibliotecas son ampliables, por lo que puede realizar el procesamiento en tiempo real para varios casos de uso.

Puede configurar e integrar un destino u origen de datos con un código mínimo. Utilice las bibliotecas de Amazon Managed Service para Apache Flink para integrarlas con los siguientes servicios de AWS:  

• Amazon S3
• Amazon MSK
• Amazon OpenSearch Service
• Amazon DynamoDB
• Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose
• Amazon CloudWatch
• AWS Glue Schema Registry

Además de las integraciones de AWS, las bibliotecas de Amazon Managed Service para Apache Flink incluyen más de 40 conectores de Apache Flink y la capacidad de crear integraciones personalizadas. Con algunas líneas de código más, puede modificar el comportamiento de cada integración con la funcionalidad avanzada. También puede crear integraciones personalizadas mediante un conjunto de tipos primitivos de Apache Flink que le permiten leer y escribir desde archivos, directorios, conectores u otros orígenes a las que puede acceder a través de Internet.

Con Amazon Managed Service para Apache Flink, puede crear aplicaciones en las que los registros procesados afectan los resultados exactamente una vez, lo que se conoce como procesamiento único. Incluso en el caso de una interrupción de la aplicación, como el mantenimiento del servicio interno o la actualización de la aplicación iniciada por el usuario, el servicio garantiza que todos los datos se procesen y que no haya datos duplicados.

El servicio almacena el procesamiento, o estado, previo y en curso en el almacenamiento de la aplicación en ejecución. Compare resultados pasados y actuales durante cualquier periodo de tiempo y logre una recuperación rápida durante las interrupciones de la aplicación. El estado siempre está cifrado y se guarda de manera progresiva en el almacenamiento de la aplicación en ejecución.

Puede crear y eliminar copias de seguridad de aplicaciones duraderas a través de una simple llamada a la API. Restaure inmediatamente sus aplicaciones desde la última copia de seguridad después de una interrupción, o restaure su aplicación a una versión anterior. 

Amazon Managed Service para Apache Flink admite algoritmos de aprendizaje automático (ML). Puede crear aplicaciones en tiempo real para la clasificación, la agrupación en clústeres, la evaluación, las recomendaciones de ingeniería de características, las regresiones y las estadísticas. 

Amazon Managed Service para Apache Flink es compatible con AWS Glue Schema Registry. Schema Registry le permite mejorar la calidad de los datos y a protegerse frente a cambios inesperados mediante comprobaciones de compatibilidad que rigen la evolución de los esquemas en Amazon Managed Service para Apache Flink para cargas de trabajo conectadas a Apache Kafka, Amazon MSK o Amazon Kinesis Data Streams, ya sea como conector de origen o de destino.