Starburst est disponible dans dbt Cloud pour accélérer la transformation des données multi-sources

Starburst, la plateforme analytique du data lake, annonce une nouvelle intégration avec dbt Cloud. Grâce à cette intégration, qui comprend un connecteur entre dbt Cloud et Starburst Galaxy, l'offre SaaS de Starburst, les utilisateurs de dbt peuvent désormais facilement créer des pipelines intégrant de multiples sources de données.

Les données deviennent de plus en plus distribuées et la possibilité de fédérer des données à travers des sources disparates est désormais essentielle pour mener à bien des analyses au sein de data lakes et lakehouses. Bien qu’il soit possible de migrer vers un data warehouse unique hébergé dans le cloud, la plupart des données d'entreprise restent réparties sur plusieurs plateformes, y compris sur des bases de données on-premises et des systèmes de stockage d'objets. Grâce à cette intégration, les utilisateurs de dbt peuvent facilement fédérer ces données à travers de multiples sources disparates ou accéder à de nouvelles sources de données avant qu'elles ne soient stockées dans leur data lake ou warehouse central.

« En combinant la puissance de Starburst avec dbt Cloud, nos entreprises clientes peuvent plus facilement transformer les données où qu'elles se trouvent sans avoir à recourir à des processus ETL contraignants et coûteux », a déclaré Harrison Johnson, responsable des partenaires technologiques chez Starburst. « Cette intégration répond aux besoins de nos clients, en les aidant à exploiter leurs systèmes existants et en étendant la plateforme de workflow d'ingénierie analytique de dbt à de nouveaux cas d'utilisation de type cloud-first, sans frais opérationnels supplémentaires. »

Avoir recours à une solution ETL traditionnelle pour transformer et déplacer les données à l'aide de pipelines fragiles et configurés manuellement est un processus laborieux, coûteux et qui comporte certains risques. En utilisant un data warehouse central pour certains cas d'utilisation tout en laissant d'autres données stockées dans des silos, les organisations n’exploitent pas leurs données au maximum. Cette intégration est un avantage majeur pour les utilisateurs de dbt Cloud qui devraient autrement s'appuyer sur les pipelines des Data Engineers pour l'ingestion de données.

« dbt permet aux équipes data de travailler plus rapidement et plus efficacement », a déclaré Nikhil Kothari, responsable des partenaires technologiques chez dbt Labs. « En associant la puissance de dbt Cloud à la flexibilité de Starburst, nous permettons à un nouveau segment d'utilisateurs de créer facilement des ressources de données analytiques, sans être contraints par la localisation des données. »

Le nouveau connecteur est désormais disponible dans dbt Cloud. En quelques clics, les clients peuvent créer un nouveau projet dbt Cloud, sélectionner Starburst comme plateforme de données et s’y connecter. Ils peuvent ensuite utiliser le moteur de requête ultra performant de Starburst pour transformer les données à l'aide de dbt en quelques minutes.