Databricks annonce Delta Engine et acquiert Redash pour apporter performance et facilité d’utilisation aux data lakes dans le cloud

Databricks, ”the data and AI company”, annonce la disponibilité de Delta Engine et l'acquisition de Redash. Ces nouvelles capacités permettent aux équipes data d'utiliser plus rapidement et plus facilement la plateforme Unified Data Analytics de Databricks pour la data science, le machine learning et un large éventail de cas d'usage analytiques. Delta Engine est un moteur à haute performance pour des requêtes dans les cloud data lakes. Service open source de création de tableaux de bord et de visualisation, Redash est destiné aux data scientists et aux analystes pour l'exploration des données.

Delta Engine est conçu pour être utilisé avec Delta Lake, la populaire couche open source de transactions structurées, qui apporte qualité et fiabilité aux data lakes. Les organisations peuvent désormais créer des data lakes qui comprennent des données structurées et semi-structurées et effectuer dans le cloud toutes leurs analyses basées sur des données fraîches et de haute qualité. Databricks a fait l’acquisition de Redash, la société à l'origine du projet open source à succès Redash, pour fournir des fonctions de création de tableaux de bord et de visualisation faciles à utiliser sur ces data lakes. Grâce à Redash, les data scientists et les analystes SQL éliminent la complexité du transfert des données vers d'autres systèmes pour l’analyse.

L’ensemble de ces nouveautés permet aux entreprises d'adopter une architecture cloud unique et simplifiée pour la gestion des données, les aidant ainsi à réduire considérablement les coûts et la complexité tout en accélérant la productivité des équipes data. Elles sont également une réponse au modèle de conception émergent "Lakehouse", que de nombreuses entreprises ont adopté pour permettre des transactions structurées et apporter qualité et performance à leurs data lakes dans le cloud. Ces annonces ont été faites aujourd'hui lors du Spark + AI Summit, qui se déroule du 22 au 26 juin et rassemble plus de 60 000 membres de la communauté data de plus de 100 pays.

« La plupart des organisations qui veulent faire de la data science et utiliser des data warehouses utilisent de multiples architectures. Les données sont bloquées dans des silos organisationnels définis par des systèmes fermés et propriétaires, ce qui ralentit les organisations et rend plus difficile la prise de décisions qualitative parce que les informations sont fragmentées et obsolètes, » déclare Ali Ghodsi, cofondateur et CEO de Databricks. « Les data lakes dans le cloud permettent aux organisations d'appliquer sur toutes leurs données les plus récentes toutes sortes d'analytique, y compris de la data science et du machine learning. L'introduction de Delta Engine et l'acquisition de Redash sont des étapes importantes pour aider les organisations à construire ces data lakes de haute qualité que certains appellent Lakehouses ».

Delta Engine offre une rapidité de requête sur Delta Lake

L'analytique traditionnelle sur des données structurées et semi-structurées exige des performances de rapidité pour suivre le rythme des activités d’une entreprise. Historiquement, les entreprises ont dupliqué les données de leurs data lakes dans divers data warehouses et systèmes opérationnels parce que les outils de requête et d'analyse ne sont pas adaptés à une exécution rapide des requêtes. Toutefois, la gestion de cette complexité architecturale crée des problématiques, telles que des silos de données fragmentées et incohérentes, ainsi que l'augmentation considérable des coûts.

Le nouveau Delta Engine de Databricks pour Delta Lake permet une exécution rapide des requêtes pour l'analyse et la data science, sans avoir à déplacer les données hors du data lake. Le moteur de requête à haute performance a été conçu dès l’origine pour tirer parti du cloud moderne afin d'accélérer la performance des requêtes. Cette amélioration offre aux clients de Databricks une plateforme analytique unifiée capable de prendre en charge n'importe quel cas d'usage data, ce qui se traduit également par des gains significatifs en efficacité opérationnelle et des économies.

Delta Lake a été lancé en 2017 par Databricks et donné à la Linux Foundation en 2019. Depuis son introduction, Delta Lake a été adopté par Comcast, Condé Nast, Nielsen, FINRA, Shell et des milliers d'autres organisations. Les annonces d'aujourd'hui s'appuient sur le succès du projet Delta Lake pour étendre, au-delà du stockage et de la gestion des données, la manière dont les données sont utilisées et consommées.

Redash facilite la consommation de données par les data scientists et les analystes

Le projet open source Redash a été créé pour aider les équipes à donner un sens à leurs données. Les data scientists et les analystes SQL peuvent facilement rassembler dans des tableaux de bord thématiques une grande variété de sources de données, y compris des bases de données opérationnelles, des data lakes et Delta Lake. Les résultats peuvent être visualisés dans une grande variété de formats tels que des graphiques, des cohortes et des entonnoirs, et sont facilement partageables au sein d'une organisation ou avec des utilisateurs externes.

Des millions d'utilisateurs dans des milliers d'organisations utilisent déjà Redash pour développer leurs connaissances et rendre les données exploitables. Depuis son lancement en 2013. le projet open source créé par une communauté de développeurs passionnés a été bâti par plus de 300 contributeurs du monde entier Dès aujourd'hui, le projet open source Redash peut être utilisé avec Databricks grâce à un connecteur gratuit. Dans les mois à venir, Redash sera entièrement intégré à la plateforme Unified Data Analytics de Databricks ainsi qu’ à l'espace de travail de Databricks, et tirera parti de fonctionnalités telles que Delta Engine.