Starburst devient compatible avec Confluent Tableflow pour simplifier l'intégration des données Kafka vers Iceberg

Starburst, la plateforme de données conçue pour les applications et l’IA, annonce sa compatibilité avec Confluent Tableflow. Cette intégration permet aux utilisateurs de convertir automatiquement leurs flux de données Apache Kafka en tables Apache Iceberg, prêtes à être interrogées dans un environnement lakehouse. Elle facilite ainsi un accès unifié aux données et élimine la nécessité de passer par des pipelines ETL complexes à développer et à maintenir.

Avec Confluent Tableflow, les données en temps réel issues de Kafka peuvent être automatiquement nettoyées, structurées, optimisées et stockées sous forme de tables Iceberg, un format ouvert adapté à l’analytique et à l’entraînement de modèles IA. Une fois transformées, ces données sont immédiatement accessibles dans Starburst, sans duplication ni traitement manuel supplémentaire. Les utilisateurs bénéficient également d'une interopérabilité fluide grâce à une synchronisation native avec les principaux catalogues de données.

L’intégration de Starburst à Confluent Tableflow permet une ingestion continue des flux Kafka, une conversion automatique quel que soit le format (Avro, JSON, Protobuf), une gestion de l’évolution des schémas, ainsi qu’une optimisation du stockage via la compaction. Les tables Iceberg générées peuvent ensuite être directement interrogées dans Starburst, offrant un accès simple et performant aux données en temps réel.

Cette évolution vient compléter les capacités de Starburst en matière d’ingestion de données en temps réel aux côtés de Starburst Galaxy Streaming Ingest, une solution cloud permettant de capturer des flux de données en continu pour les intégrer directement dans des tables analytiques. Elle s’inscrit également dans l’approche “Icehouse” de Starburst (association de Trino et Iceberg), qui vise à proposer une architecture unifiée, ouverte et performante pour tous les workloads analytiques. Elle reflète ainsi l'engagement de l’entreprise à simplifier la gestion des données en temps réel, en la rendant plus fiable, interopérable et adaptée aux usages analytiques et aux modèles d’intelligence artificielle.