Confluent dévoile Tableflow pour unifier le paysage opérationnel et analytique avec le Data Streaming

Confluent Inc. (NASDAQ : CFLT), le pionnier du streaming de données, annonce aujourd’hui de nouvelles capacités de Confluent Cloud facilitant la tâche des clients pour diffuser, connecter, gouverner et traiter des données pour des expériences plus fluides et des insights opportuns tout en protégeant leurs données. Confluent Tableflow permet aux clients de convertir les topics Kafka et les schémas associés en tables Iceberg en un seul clic, afin de faciliter la mise en œuvre de tâches analytiques dans les data lakes et les data warehouses. Les connecteurs entièrement gérés de Confluent ont été améliorés avec de nouvelles possibilités de connectivité réseau et jusqu'à 50 % de réduction des coûts liés au débit, pour permettre des intégrations plus fluides, plus sûres et plus rentables. La Gouvernance de Flux (Stream governance) est maintenant activée par défaut dans toutes les régions, avec un SLA amélioré pour la Schem Registry, facilitant ainsi la mise à l'échelle sécurisée et le partage des flux de données, où qu'ils soient utilisés.

Pour que les entreprises puissent prendre des décisions leur permettant d’optimiser les coûts, d’augmenter leurs revenus et de stimuler l'innovation, il est nécessaire de connecter les deux domaines que sont les données opérationnelles et les données analytiques, traditionnellement cloisonnés dans les organisations. Le domaine opérationnel comprend les applications SaaS et les bases de données qui alimentent les entreprises (telles qu’Oracle, Salesforce et Workday par exemple). Le domaine analytique comprend les data warehouses, les data lakes, ou encore les moteurs analytiques qui utilisent les flux de données et les tables traditionnelles pour exécuter des requêtes et différentes fonctions analytiques afin d’améliorer les processus de prise de décision.

Le problème critique pour les entreprises modernes est que les domaines opérationnels et analytiques doivent être hautement connectés, mais sont souvent construits sur des connexions point à point à travers des douzaines d'outils explique Shaun Clowes, Chief Product Officer chez Confluent. Les entreprises se retrouvent avec un désordre de données dans lequel il est difficile de naviguer et qui les prive d'informations en temps réel.

De nombreuses organisations se tournent vers Apache Kafka comme le standard pour la diffusion de données dans le domaine opérationnel et vers Apache Iceberg comme le format de table ouvert standard pour les ensembles de données dans le domaine analytique. En utilisant Iceberg, les entreprises peuvent partager en toute sécurité des données à travers les équipes et les plateformes tout en gardant les tables mises à jour à mesure que les données elles-mêmes évoluent.

Les entreprises utilisant Apache Kafka souhaitent utiliser Iceberg pour répondre à la demande croissante pour des analyses à la fois en streaming et par batch. Cependant, déplacer des données en temps réel de Kafka vers Iceberg est un défi car cela nécessite de convertir les données en flux dans un format de table avant que les entrepôts de données ou les data lakes puissent travailler avec pour une analyse plus approfondie. Ceci peut être un processus long et complexe nécessitant une gestion minutieuse des formats de données et des schémas. En conséquence, de nombreuses entreprises doivent exécuter des migrations complexes, qui peuvent être intensives en ressources, résultant en des données obsolètes et non fiables et des coûts accrus.

Les standards ouverts tels qu'Apache Kafka et Apache Iceberg sont des choix populaires pour le streaming de données et la gestion des données dans des tableaux pour les moteurs d'analyse explique Stewart Bond, vice-président des logiciels d'intelligence de données et d'intégration chez IDC. Cependant, l'intégration des données en temps réel dans les bases de données opérationnelles et les moteurs d'analyse pose encore des problèmes. Les entreprises devraient rechercher une solution qui unifie les divisions opérationnelles et analytiques et gère la complexité des migrations, des formats de données et des schémas.

Tableflow facilite l'alimentation des entrepôts de données et des data lakes pour l'analyse

Tableflow, une nouvelle fonctionnalité de Confluent Cloud, permet aux clients de matérialiser facilement les topics Kafka et leur schémas associés en tables Iceberg en un clic pour alimenter tout entrepôt de données, lac de données ou moteur analytique pour des cas d'utilisation de traitement en temps réel ou par batch. Tableflow travaille de concert avec les capacités existantes de la plateforme de data streaming de Confluent, y compris les fonctionnalités de gouvernance de flux et le traitement de flux avec Apache Flink, pour unifier le paysage opérationnel et analytique.

En utilisant Tableflow, les clients peuvent :

● Matérialiser les topics en tables Iceberg en un seul clic, avec tous les schémas associés

● Assurer que les tables Iceberg fraîches et à jour sont continuellement mises à jour avec les dernières données en flux de votre entreprise et des systèmes sources

● Fournir des produits de données de haute qualité en exploitant la puissance de la plateforme de data streaming en utilisant la Gouvernance de Flux et Apache Flink sans serveur pour nettoyer, traiter ou enrichir les données en flux, de sorte que seuls les données de haute qualité atterrissent dans votre data lake.

Tableflow est actuellement disponible dans le cadre d'un programme d'Early Access et sera bientôt disponible pour tous les clients de Confluent Cloud.

Plus de Nouvelles Innovations de Confluent Cloud

Connect apporte de nouvelles améliorations en matière de sécurité, d'utilisabilité et de tarification à un portefeuille de plus de 80 connecteurs entièrement gérés.

Pour construire un système nerveux central pour une entreprise, les utilisateurs doivent pouvoir connecter tous leurs systèmes de données pour capturer des flux de données continus. Les connecteurs répondent aux défis des architectures de données traditionnelles qui peuvent siloter les données, diminuer la qualité des données et conduire à des temps d'arrêt imprévus en connectant sans problème les systèmes de données et les applications en tant que sources et puits vers Confluent Cloud. Confluent continue d'ajouter des améliorations aux connecteurs, un composant critique de la plateforme de diffusion de données, afin que davantage d'utilisateurs puissent expérimenter des intégrations rapides, sans friction et sécurisées.

Avec les nouvelles mises à niveau de Connect, les clients de Confluent peuvent :

● Se connecter en toute sécurité aux systèmes de données critiques dans des réseaux privés en utilisant le DNS Forwarding et les Egress Access Point sur AWS et Microsoft Azure

● Provisionner des connecteurs de manière fiable en quelques secondes avec des validations de configuration en temps réel et un SLA de disponibilité de 99,99%

● Diffuser des données de manière abordable à n'importe quelle échelle avec un prix de débit de transfert de données réduit à 0,025 $/Go

Libérer toute la valeur des données en temps réel nécessite une connectivité étendue avec chacun des systèmes de données et applications qui font fonctionner votre entreprise. Construit conjointement avec nos partenaires technologiques, le programme partenaire Connect with Confluent (CwC) étend l'écosystème de diffusion de données et offre un accès facile à des flux de données entièrement gérés directement dans les outils déjà utilisés par les différentes équipes. Depuis le lancement de CwC en juillet dernier, le programme a connu une croissance massive de 135 % avec plus de 40 intégrations de partenaires désormais dans le programme. Ce trimestre, CwC a ajouté de nouveaux partenaires, notamment Advantco, Aklivity, Arroyo, Asapio, Census, EMQX, Kinetica, Nstream, Redis, SingleStore, Squid, et Superblocks, ayant tous construit de nouvelles intégrations Confluent au sein de leurs applications. En fournissant à plus d'équipes un accès à des flux de données à haute valeur, ces partenaires aident à simplifier le développement de produits de données (data products) en temps réel à partager dans toute l'entreprise.

Améliorations de la Gouvernance de Flux augmentant la disponibilité et la fiabilité pour les clients

Étant donné l'accent accru mis de nos jours sur la gouvernance et la conformité, Confluent rend plus simple pour les clients de tirer parti des fonctionnalités clés de la Gouvernance de Flux. Désormais, tous les clients de Confluent Cloud auront la Gouvernance de Flux automatiquement activée dans leurs environnements, offrant un accès facile aux fonctionnalités clés de gouvernance, y compris la Schema Registry, le Data Portal, le real-time Stream Lineage et plus encore, avec une disponibilité dans toutes les régions de Confluent Cloud.

La Schema Registry est un composant crucial pour la gouvernance des flux de données, aidant les équipes à appliquer des normes de données universelles pour assurer la qualité et la cohérence des données tout en réduisant la complexité opérationnelle. Les schémas stockés dans la Registry doivent être accessibles aux équipes à tout moment, car tout problème pourrait conduire à des erreurs de compatibilité des données et à des coûts de dépannage accrus. Pour minimiser ces risques, Stream Governance Advanced offre désormais un SLA de 99,99 % pour la Schema Registry, permettant ainsi aux organisations d'éviter les perturbations des flux de travail critiques et de gérer les préoccupations de conformité.

Les clusters Enterprise offrent plus d'économies sur plus de clouds

Confluent a récemment annoncé de nouveaux clusters Enterprise avec les mêmes avantages que les autres clusters Confluent Cloud – y compris un SLA leader de l'industrie de 99,99 % et un écosystème complet d'outils de qualité entreprise – plus une sécurité renforcée avec un réseau privé. Cela permet aux équipes de respecter des exigences de sécurité et de mise en réseau strictes tout en optimisant simultanément l'efficacité des ressources et des coûts, car les clusters Enterprise se mettent automatiquement à l'échelle en fonction de la charge de travail sans intervention manuelle requise. Avec de nouvelles avancées dans Kora, les clusters Enterprise peuvent offrir encore plus d'économies avec un tarif d’accès inférieur et des coûts de débit réduits. Les clusters Enterprise sont disponibles à la fois sur AWS et Microsoft Azure.