Q : Qu'est-ce qu'Apache Flink ?

Apache Flink est utilisé pour créer de nombreux types d'applications de streaming et de traitement par lots, en raison de son large éventail de fonctionnalités.
Voici certains des types courants d'applications alimentées par Apache Flink :

• Applications axées sur les événements, qui ingèrent des événements provenant d'un ou de plusieurs flux d'événements et qui exécutent des calculs, des mises à jour d'état ou des actions externes. Le traitement dynamique permet de mettre en œuvre une logique allant au-delà de la transformation d'un message unique, où les résultats dépendent de l'historique des événements ingérés.
• Applications d'analytique de données, extrayant des informations et des informations à partir de données. Exécutées traditionnellement en interrogeant des ensembles de données limités, puis en réexécutant les requêtes ou en modifiant les résultats pour intégrer de nouvelles données. Avec Apache Flink, l'analyse peut être exécutée en mettant à jour en continu, en diffusant des requêtes ou en traitant des événements ingérés en temps réel, en émettant et en mettant à jour les résultats en continu.
• Applications de pipeline de données, transformant et enrichissant les données à déplacer d'un stockage de données à un autre. Traditionnellement, ETL (extraction, transformation, chargement) est exécuté périodiquement, par lots. Avec Apache Flink, le processus peut fonctionner en continu, déplaçant les données avec une faible latence vers leur destination.

Traitez à la fois des jeux de données illimités (flux) et limités (lots)

Apache Flink peut traiter à la fois des jeux de données illimités et limités, c'est-à-dire des flux et des données par lots. Les flux illimités ont un début, mais ils sont pratiquement infinis et ne s'arrêtent jamais. Le traitement ne peut théoriquement jamais s'arrêter.

Les données limitées, comme les tables, sont finies et peuvent être traitées du début à la fin en un temps limité.
Apache Flink fournit des algorithmes et des structures de données pour prendre en charge le traitement limité et illimité via la même interface de programmation. Les applications traitant des données illimitées s'exécutent en continu. Les applications traitant des données limitées mettront fin à leur exécution lorsqu'elles atteindront la fin des jeux de données d'entrée.

Exécuter des applications à l'échelle

Apache Flink est conçu pour exécuter des applications dynamiques à pratiquement n'importe quelle échelle. Le traitement est parallélisé sur des milliers de tâches, réparties sur plusieurs machines simultanément.

L'état est également partitionné et distribué horizontalement, ce qui permet de conserver plusieurs téraoctets sur plusieurs machines. L'état est vérifié de manière incrémentielle vers un stockage persistant.

Performances en mémoire

Les données circulant dans l'application et dans l'état sont partitionnées sur plusieurs machines. Ainsi, le calcul peut être effectué en accédant à des données locales, souvent en mémoire.

Cohérence de l'état en une seule fois

Les applications qui ne se limitent pas à des transformations de messages uniques sont dynamiques. La logique métier doit mémoriser les événements ou les résultats intermédiaires. Apache Flink garantit la cohérence de l'état interne, même en cas de panne et entre l'arrêt et le redémarrage de l'application. L'effet de chaque message sur l'état interne est toujours appliqué une seule fois, même si l'application peut recevoir des doublons de la source de données lors de la restauration ou du redémarrage.

Large gamme de connecteurs

Apache Flink possède un certain nombre de connecteurs éprouvés pour les systèmes de messagerie et de streaming, les magasins de données, les moteurs de recherche et les systèmes de fichiers les plus courants. Apache Kafka, Amazon Kinesis Data Streams, Amazon SQS, Active MQ, Rabbit MQ, NiFi, OpenSearch et ElasticSearch, DynamoDB, HBase et toute base de données fournissant un client JDBC en sont des exemples.

Plusieurs niveaux d'abstractions

Apache Flink propose plusieurs niveaux d'abstraction pour l'interface de programmation. À partir de SQL en streaming de niveau supérieur et de l'API de table, en utilisant des abstractions familières telles que les tables, les jointures et les regroupements. L'API DataStream offre un niveau d'abstraction inférieur mais également un meilleur contrôle, grâce à la sémantique des flux, au fenêtrage et au mappage. Enfin, l'API ProcessFunction permet un contrôle précis du traitement de chaque message et un contrôle direct de l'état. Toutes les interfaces de programmation fonctionnent parfaitement avec les jeux de données illimités (flux) et limités (tables). Différents niveaux d'abstractions peuvent être utilisés dans la même application, en tant qu'outil approprié pour résoudre chaque problème.

Multiples langages de programmation

Apache Flink peut être programmé dans plusieurs langages, du SQL en streaming de haut niveau à Python, Scala, Java, en passant par d'autres langages JVM tels que Kotlin.

NortonLifeLock

NortonLifeLock est une société internationale de cybersécurité et de confidentialité sur Internet, qui propose des services à des millions de clients en matière de sécurité des appareils, d'identité et de confidentialité en ligne pour la maison et la famille.

NortonLifeLock propose un produit VPN sous forme de service freemium aux utilisateurs. Ils doivent donc appliquer les limites d'utilisation en temps réel pour empêcher les utilisateurs freemium d'utiliser le service lorsque leur utilisation dépasse la limite. Le défi pour NortonLifeLock est de le faire de manière fiable et abordable.

NortonLifeLock a simplifié la mise en œuvre de l'agrégation au niveau des utilisateurs et des appareils en adoptant Apache Flink.

Samsung SmartThings

En tant que filiale indépendante de Samsung, SmartThings est l'un des principaux écosystèmes IoT au monde, qui offre à tout le monde le moyen le plus simple de créer une maison connectée.

Samsung SmartThings rencontrait des problèmes tels que le fait de réserver les ressources à des applications individuelles. Il en résulte un retard et une dégradation des performances lors du traitement des données. Cette situation les a finalement conduits à des frais généraux élevés et coûteux liés au maintien de la charge de travail dans le cadre des opérations. Ils ont dû repenser l'architecture de la plateforme de données.

Ils sont passés d'Apache Spark à Apache Flink.

BT Group

BT Group est le principal fournisseur de télécommunications et de réseaux au Royaume-Uni et l'un des principaux fournisseurs de services et de solutions de communication au monde, au service des clients dans 180 pays. Ses principales activités au Royaume-Uni incluent la prestation de services de téléphonie fixe, de téléphonie mobile, de haut débit et de télévision (y compris le sport), ainsi que d'une gamme de produits et de services par le biais de réseaux fixes et mobiles convergents pour les consommateurs, les entreprises et les clients du secteur public.

BT avait besoin d'une application de surveillance des services pour soutenir le déploiement de Digital Voice, son nouveau produit grand public permettant d'effectuer des appels vocaux en haute définition via son réseau haut débit britannique.

BT a créé un service d'analytique piloté par les événements à l'aide d'Apache Flink pour ingérer, traiter et visualiser les données de service.

Autodesk

Autodesk, un fournisseur de logiciels d'ingénierie et de conception 3D de renom, souhaite aller au-delà de la création et de la commercialisation d'un logiciel. La société souhaite également s'assurer que ses millions d'utilisateurs dans le monde pourront utiliser ce logiciel dans des conditions optimales.

Autodesk développe des logiciels pour les personnes qui créent des choses. Ils servent plus de 200 millions de clients. Ils devaient éliminer les silos afin de détecter et de résoudre plus rapidement les problèmes des clients. Ils recherchaient un moyen cohérent de collecter et de mesurer les indicateurs avec une équipe opérationnelle de petite taille sans augmenter les coûts ni créer un blocage des données.

NHL

La Ligue nationale de hockey (NHL) est la deuxième plus ancienne des quatre principales ligues professionnelles de sports d'équipe en Amérique du Nord. Aujourd'hui, la NHL compte 32 clubs membres, chacun reflétant la composition internationale de la Ligue, avec des joueurs provenant de plus de 20 pays représentés dans les formations des équipes.

La NHL était confrontée à plusieurs défis techniques, tels que l'identification des fonctionnalités requises et des méthodes de modélisation pour prévoir un événement très incertain, et l'identification de la manière d'utiliser les données des capteurs PPT en continu pour identifier le lieu d'une mise en jeu, les joueurs impliqués et la probabilité que chaque joueur gagne la mise en jeu, le tout en quelques dixièmes de secondes.

Grâce à Apache Flink, la NHL a pu non seulement prédire le vainqueur d'une mise en jeu, mais aussi jeter les bases de la résolution d'un certain nombre de problèmes similaires en temps réel et de manière rentable.

Poshmark

Poshmark est un marketplace social de premier plan pour la mode neuve et d'occasion pour les femmes, les hommes, les enfants, les animaux de compagnie, la maison, etc. Sa communauté de plus de 80 millions de personnes aux États-Unis, au Canada, en Australie et en Inde façonne l'avenir du shopping pour qu'il soit simple, social et durable.

Poshmark s'est concentrée sur la croissance de son chiffre d'affaires grâce à la personnalisation et à l'amélioration de l'expérience utilisateur. L'approche initiale consistant à utiliser le traitement par lots pour la personnalisation et la sécurité n'a pas répondu aux attentes en matière d'amélioration de l'expérience client.

Poshmark a conçu la personnalisation en temps réel en utilisant l'enrichissement des données en temps réel avec Apache Flink.