Confluent annonce la disponibilité générale de Tableflow

Confluent, le pionnier du streaming de données, annonce aujourd’hui des avancées majeures pour Tableflow, la solution la plus simple pour accéder au contexte opérationnel en temps réel depuis les data lakes et les data warehouses. Avec Tableflow, toutes les données en streaming présentes dans Confluent Cloud peuvent être exposées dans les formats Open Table les plus utilisés, décuplant ainsi les possibilités d’analyse avancée, d’IA en temps réel et d’applications de nouvelle génération. Le support pour Apache Iceberg™ est désormais en disponibilité générale (GA). Et grâce à un partenariat renforcé avec Databricks, un programme d’accès anticipé est également lancé pour Delta Lake. Tableflow propose également une plus grande flexibilité de stockage ainsi qu’une intégration fluide avec les principaux catalogues de données, dont AWS Glue Data Catalog et Snowflake Open Catalog (service managé pour Apache Polaris™).

« Chez Confluent, notre objectif est de faire en sorte que vos données soient disponibles où et quand vous en avez besoin, dans le format qui vous convient » explique Shaun Clowes, Chief Product Officer chez Confluent. « Avec Tableflow, nous mettons notre expertise au service du lien entre les données opérationnelles et le monde analytique. Les data scientists et les data engineers peuvent désormais accéder à une source unique de vérité, en temps réel, à l’échelle de l’entreprise – une base idéale pour concevoir et faire évoluer les applications pilotées par l’IA de demain. »

L’échec des projets IA : la faute aux données déconnectées

Selon l’IDC FutureScape: Worldwide Digital Infrastructure 2025, « d’ici 2027, après plusieurs échecs dans leurs projets IA, 70 % des équipes IT reviendront à l’essentiel en misant sur des plateformes d’infrastructure orientées données, conçues pour l’IA. » Le rapport souligne que « la plupart des organisations IT fonctionnent encore avec des dizaines de silos de données et de multiples copies redondantes. Ces cloisonnements freinent fortement la mise en œuvre efficace de modèles d’IA. »

Aujourd’hui, les projets IA échouent car les méthodes de développement traditionnelles ne suivent plus les attentes des utilisateurs. Les applications modernes doivent être capables de comprendre en temps réel la situation d'une entreprise et de ses clients ou d’un processus métier, et d’agir automatiquement en conséquence. Par exemple, un agent IA de gestion des stocks doit pouvoir identifier une tendance d’achat, informer immédiatement le fabricant, et fournir une estimation de livraison précise. Ce niveau d’automatisation n’est possible que si les systèmes d’analyse et d’IA reçoivent des données métier en temps réel. Le traitement par batch crée des résultats inexacts, et la copie manuelle des données manque de fiabilité, n'est pas évolutive et multiplie les silos de données.

Combler le fossé des données pour une IA enfin adaptée aux besoins de l'entreprise

« Nos clients dans le secteur du transport nous apprécient car nous simplifions considérablement les ventes, les opérations et la planification, mais cela n'est possible que grâce à l'analyse des données en temps réel., » indique Brady Perry, cofondateur de Busie. « Tableflow est une solution prometteuse pour notre moteur analytique car il nous permet de consommer directement les données opérationnelles de Kafka sous forme de tables Apache Iceberg, sans étape de traitement préalable. Grâce à l’intégration avec Snowflake, nous pouvons éviter l’ingestion de données brutes non nettoyées, tout en réduisant la complexité et les coûts de stockage. Ce modèle simplifie les workflows et accélère l’accès aux informations plus rapidement tout en rendant notre architecture plus performante et économique. »

Tableflow simplifie l'intégration de vos données opérationnelles à vos systèmes analytiques, en assurant une synchronisation continue des tables utilisées pour l'analyse et l'IA avec les données issues de vos applications métier connectées à Confluent Cloud. Le traitement et la gouvernance des données sont automatiquement pris en charge dès leur génération, assurant une qualité et une cohérence optimales pour alimenter vos data lakes et entrepôts de données. Une avancée majeure pour l’IA, dont la performance dépend directement de la qualité des données qui l’alimentent.

Mises à jour clés de Tableflow :

Le support d’Apache Iceberg est disponible pour les projets en production : les équipes peuvent désormais transformer instantanément les topics Apache Kafka® en tables Iceberg afin d’alimenter entrepôts, data lakes ou moteurs analytiques, que ce soit pour des cas d'utilisation en temps réel ou en traitement par batch. Tableflow automatise les tâches de maintenance complexes (comme la compaction), libérant du temps aux data engineers pour se concentrer sur des projets à valeur ajoutée. Il fournit également une source unique de confiance dans l’un des formats de stockage ouverts les plus adoptés du marché.
Un nouveau programme d’accès anticipé pour Delta Lake est lancé : ce format, initié par Databricks, traite plus de 10 exaoctets de données par jour et alimente de nombreux outils et moteurs IA. Cette intégration offrira une vue unifiée des données en temps réel entre les systèmes opérationnels et analytiques, permettant des prises de décision IA plus rapides et plus pertinentes.
Stockage personnalisé avec le modèle Bring Your Own Storage (BYOS) : il est désormais possible de stocker les tables Iceberg ou Delta fraîchement mises à jour dans le bucket de son choix, pour les réutiliser à volonté. Les clients gardent ainsi le contrôle complet sur leurs environnements de stockage et de conformité, en fonction de leurs besoins spécifiques.
Améliorer l’accessibilité des données et la gouvernance grâce à des partenaires technologiques : des intégrations directes avec Amazon SageMaker Lakehouse via AWS Glue Data Catalog (disponible en GA) et Snowflake Open Catalog (également en GA) permettent une gestion fluide et centralisée des catalogues pour les tables Iceberg de Tableflow. Ces intégrations simplifient également l’accès pour les moteurs analytiques tels que Amazon Athena, AWS EMR et Amazon Redshift, ainsi que pour les principales solutions de data lake et d’entrepôt de données, dont Snowflake, Dremio, Imply, Onehouse et Starburst. Par ailleurs, Confluent renforce l’adoption de Tableflow en entreprise grâce au soutien de plusieurs intégrateurs systèmes globaux et régionaux, dont GoodLabs Studio, Onibex, Psyncopate et Tata Consultancy Services (TCS).