Fivetran, le leader mondial de la circulation des données, annonce la disponibilité globale du service Fivetran Managed Data Lake, conçu pour automatiser et simplifier la gestion des Data Lake pour les entreprises de toutes tailles. Fivetran prend en charge plus de 500 sources de données prédéfinies et personnalisées, les intégrant de manière transparente dans n'importe quelle destination majeure de Data Lake tout en utilisant de puissants processus de capture, de normalisation, de compactage et de déduplication des données de changement. Fivetran Managed Data Lake Service est actuellement disponible sur Amazon S3, Azure Data Lake Storage (ADLS) et Microsoft OneLake.
Fivetran Managed Data Lake Service simplifie la gestion du Data Lake en convertissant automatiquement les données des clients dans des formats ouverts populaires (par exemple Apache Iceberg ou Delta Lake) avant de les placer dans le Data Lake. Combiné à la gestion et à la maintenance continues des tables proposées par Fivetran, les clients bénéficient de la facilité d'interrogation et d'utilisation d'un entrepôt de données en cloud, ainsi que de la flexibilité et de l'échelle d'un Data Lake. Aucun autre fournisseur de données ne peut gérer les Data Lake de cette manière, ce qui signifie que les clients de Fivetran bénéficient du faible coût des Data Lake et de la structure et des capacités de reporting des entrepôts de données. Les utilisateurs sont en mesure de construire facilement leur Data Lake avec des données disponibles pour les requêtes qui peuvent être lues par les entrepôts de données avec leur fonction de table externe sans avoir à déplacer ou à dupliquer les enregistrements de données à plusieurs endroits. Cela permet de prendre en charge un certain nombre de cas d'utilisation, notamment les workloads analytiques, opérationnelles et de genAI.
Fivetran Managed Data Lake Service se différencie non seulement en convertissant les données et en les centralisant dans le lac, mais aussi en fournissant un service de gestion de Data Lake de bout en bout qui automatise entièrement les tâches de gestion de données de bas niveau.
« Fivetran se charge de la gestion des données de changement, de la détection des informations personnelles identifiables (PII), de la déduplication et d'autres tâches de maintenance des tables de bas niveau, de sorte que les développeurs ne perdent pas de temps sur des tâches qui peuvent être automatisées », explique George Fraser, PDG de Fivetran. « Nous espérons rendre les utilisateurs professionnels et les scientifiques des données plus productifs en fournissant des données propres, centralisées et optimisées à partir de n'importe quelle source. »
Ce niveau d'automatisation et de maintenance est crucial pour de nombreuses entreprises. Comme l'explique Nick Chmura, responsable des données chez Luma Financial Technologies, « la maintenance automatisée des tables est la fonction la plus importante pour nous avec Fivetran, car nous avons beaucoup de connecteurs de sources différents. Essayer de créer une capture des données de changement et de la gérer pour tout... serait d'un coût prohibitif en raison du temps qu'il faudrait y consacrer. »
Fivetran Managed Data Lake Service permet de transformer des Data Lake traditionnellement non gouvernés en magasins de données organisés, gouvernés et optimisés en permanence. Grâce à des intégrations natives avec des catalogues de données tels que AWS Glue, Databricks Unity Catalog et Microsoft Purview, les utilisateurs peuvent rapidement découvrir, accéder et gérer des ensembles de données clés à partir du lac. À partir de là, les utilisateurs peuvent interroger et modifier les données avec Python, SQL ou d'autres langages pris en charge en exploitant des moteurs de calcul compatibles tels que Databricks, Snowflake, Starburst ou Redshift. Ils peuvent également transformer les données avec des outils comme dbt, les visualiser avec Power BI ou construire et déployer des modèles d'IA/ML avec des outils comme AWS Sagemaker, Azure Machine Learning ou Databricks Mosaic AI.
Fivetran Managed Data Lake Service prend en charge plus de 500 sources de données, y compris les bases de données sur site et en cloud comme Postgres, MySQL, Oracle et SAP, les applications SaaS, les data warehouses, les événements et les fichiers. Fivetran peut également créer des connecteurs personnalisés, garantissant la prise en charge de n'importe quelle source de données sans nécessiter de précieuses ressources d'ingénierie pour la gestion des pipelines ou le développement des connecteurs. Ce large portefeuille de compatibilité des sources permet aux clients d'unifier leurs données dans le Data Lake, quel que soit l'endroit où elles se trouvent actuellement.
« Nous sommes très heureux que Fivetran prenne en charge Delta Lake en tant que destination directe », déclare Himanshu Raja, directeur produits chez Databricks. « Grâce à cette nouvelle fonctionnalité, les clients peuvent désormais utiliser Fivetran pour construire un lakehouse ouvert avec Delta Lake alimenté par la plateforme d'intelligence de données Databricks. Nous sommes également très enthousiastes quant à l'intégration prochaine de Fivetran avec Unity Catalog afin de fournir une gouvernance et une sécurité prêtes à l'emploi pour toutes les tables générées par Fivetran. »
Les avantages de Fivetran Managed Data Lake Service comprennent :
Le fait de donner aux utilisateurs professionnels et aux data scientists des moyens accrus de disposer de données centralisées, démocratisées et prêtes à être interrogées, qui ajoutent du contexte, invitent à la réflexion et favorisent la découverte des données.
Efficacité opérationnelle améliorée en convertissant automatiquement les données en formats de table ouverts (Delta Lake / Apache Iceberg) avec des fonctions robustes de catalogage et de gouvernance des données.
Réduction de la charge de travail des développeurs en confiant à Fivetran les tâches lourdes de mise à jour des tables, de détection des PII, de déduplication et d'autres tâches de maintenance des tables de bas niveau qui peuvent être automatisées.
Réduction des coûts grâce à l'automatisation de la migration des données loin des data warehouses hérités qui vous enferment dans des formats de données propriétaires.
Une tranquillité d'esprit grâce à une réplication des données sereine qui garantit que vos ensembles de données arrivent toujours dans leur intégralité et intacts, avec chaque changement capturé.
En réponse à la demande croissante d'IA avancée, Fivetran a constaté une croissance substantielle et un intérêt des clients en particulier parmi les grandes entreprises pour les destinations de Data Lake. Cette augmentation de la demande souligne le besoin critique d'architectures de données rentables et flexibles qui permettent aux clients de réussir avec l'IA et le machine learning.
D'autres acteurs du secteur constatent également une demande de nouvelles architectures pour répondre à l'évolution des besoins. Par exemple, « Starburst continue de voir l'adoption d'architectures ouvertes prendre de l'ampleur. L'adoption d'Iceberg par Fivetran dans son service de gestion de Data Lake valide encore davantage l'architecture Icehouse », déclare Anders Holden, directeur de la gestion des produits chez Starburst Data. « Ce service simplifie le processus d'ingestion et élimine la complexité de la gestion des Data Lake. En utilisant Starburst pour exécuter des analyses SQL rapides sur le Data Lake, les entreprises constateront un délai plus court pour obtenir des informations et un processus de pipeline de données rationalisé, tout en gagnant du temps et en réduisant les coûts. »
Fivetran Managed Data Lake Service est disponible dès à présent. Fivetran automatise et gère entièrement la standardisation des données au fur et à mesure qu’elles sont déplacées vers les destinations du Data Lake, les mettant ainsi à la disposition des entreprises pour qu'elles trouvent de nouvelles façons d'innover avec les données.
Les utilisateurs de Fivetran peuvent essayer Managed Data Lake Service en bénéficiant d'une utilisation gratuite de juin à août 2024.
Fivetran Managed Data Lake Service simplifie la gestion du Data Lake en convertissant automatiquement les données des clients dans des formats ouverts populaires (par exemple Apache Iceberg ou Delta Lake) avant de les placer dans le Data Lake. Combiné à la gestion et à la maintenance continues des tables proposées par Fivetran, les clients bénéficient de la facilité d'interrogation et d'utilisation d'un entrepôt de données en cloud, ainsi que de la flexibilité et de l'échelle d'un Data Lake. Aucun autre fournisseur de données ne peut gérer les Data Lake de cette manière, ce qui signifie que les clients de Fivetran bénéficient du faible coût des Data Lake et de la structure et des capacités de reporting des entrepôts de données. Les utilisateurs sont en mesure de construire facilement leur Data Lake avec des données disponibles pour les requêtes qui peuvent être lues par les entrepôts de données avec leur fonction de table externe sans avoir à déplacer ou à dupliquer les enregistrements de données à plusieurs endroits. Cela permet de prendre en charge un certain nombre de cas d'utilisation, notamment les workloads analytiques, opérationnelles et de genAI.
Fivetran Managed Data Lake Service se différencie non seulement en convertissant les données et en les centralisant dans le lac, mais aussi en fournissant un service de gestion de Data Lake de bout en bout qui automatise entièrement les tâches de gestion de données de bas niveau.
« Fivetran se charge de la gestion des données de changement, de la détection des informations personnelles identifiables (PII), de la déduplication et d'autres tâches de maintenance des tables de bas niveau, de sorte que les développeurs ne perdent pas de temps sur des tâches qui peuvent être automatisées », explique George Fraser, PDG de Fivetran. « Nous espérons rendre les utilisateurs professionnels et les scientifiques des données plus productifs en fournissant des données propres, centralisées et optimisées à partir de n'importe quelle source. »
Ce niveau d'automatisation et de maintenance est crucial pour de nombreuses entreprises. Comme l'explique Nick Chmura, responsable des données chez Luma Financial Technologies, « la maintenance automatisée des tables est la fonction la plus importante pour nous avec Fivetran, car nous avons beaucoup de connecteurs de sources différents. Essayer de créer une capture des données de changement et de la gérer pour tout... serait d'un coût prohibitif en raison du temps qu'il faudrait y consacrer. »
Fivetran Managed Data Lake Service permet de transformer des Data Lake traditionnellement non gouvernés en magasins de données organisés, gouvernés et optimisés en permanence. Grâce à des intégrations natives avec des catalogues de données tels que AWS Glue, Databricks Unity Catalog et Microsoft Purview, les utilisateurs peuvent rapidement découvrir, accéder et gérer des ensembles de données clés à partir du lac. À partir de là, les utilisateurs peuvent interroger et modifier les données avec Python, SQL ou d'autres langages pris en charge en exploitant des moteurs de calcul compatibles tels que Databricks, Snowflake, Starburst ou Redshift. Ils peuvent également transformer les données avec des outils comme dbt, les visualiser avec Power BI ou construire et déployer des modèles d'IA/ML avec des outils comme AWS Sagemaker, Azure Machine Learning ou Databricks Mosaic AI.
Fivetran Managed Data Lake Service prend en charge plus de 500 sources de données, y compris les bases de données sur site et en cloud comme Postgres, MySQL, Oracle et SAP, les applications SaaS, les data warehouses, les événements et les fichiers. Fivetran peut également créer des connecteurs personnalisés, garantissant la prise en charge de n'importe quelle source de données sans nécessiter de précieuses ressources d'ingénierie pour la gestion des pipelines ou le développement des connecteurs. Ce large portefeuille de compatibilité des sources permet aux clients d'unifier leurs données dans le Data Lake, quel que soit l'endroit où elles se trouvent actuellement.
« Nous sommes très heureux que Fivetran prenne en charge Delta Lake en tant que destination directe », déclare Himanshu Raja, directeur produits chez Databricks. « Grâce à cette nouvelle fonctionnalité, les clients peuvent désormais utiliser Fivetran pour construire un lakehouse ouvert avec Delta Lake alimenté par la plateforme d'intelligence de données Databricks. Nous sommes également très enthousiastes quant à l'intégration prochaine de Fivetran avec Unity Catalog afin de fournir une gouvernance et une sécurité prêtes à l'emploi pour toutes les tables générées par Fivetran. »
Les avantages de Fivetran Managed Data Lake Service comprennent :
Le fait de donner aux utilisateurs professionnels et aux data scientists des moyens accrus de disposer de données centralisées, démocratisées et prêtes à être interrogées, qui ajoutent du contexte, invitent à la réflexion et favorisent la découverte des données.
Efficacité opérationnelle améliorée en convertissant automatiquement les données en formats de table ouverts (Delta Lake / Apache Iceberg) avec des fonctions robustes de catalogage et de gouvernance des données.
Réduction de la charge de travail des développeurs en confiant à Fivetran les tâches lourdes de mise à jour des tables, de détection des PII, de déduplication et d'autres tâches de maintenance des tables de bas niveau qui peuvent être automatisées.
Réduction des coûts grâce à l'automatisation de la migration des données loin des data warehouses hérités qui vous enferment dans des formats de données propriétaires.
Une tranquillité d'esprit grâce à une réplication des données sereine qui garantit que vos ensembles de données arrivent toujours dans leur intégralité et intacts, avec chaque changement capturé.
En réponse à la demande croissante d'IA avancée, Fivetran a constaté une croissance substantielle et un intérêt des clients en particulier parmi les grandes entreprises pour les destinations de Data Lake. Cette augmentation de la demande souligne le besoin critique d'architectures de données rentables et flexibles qui permettent aux clients de réussir avec l'IA et le machine learning.
D'autres acteurs du secteur constatent également une demande de nouvelles architectures pour répondre à l'évolution des besoins. Par exemple, « Starburst continue de voir l'adoption d'architectures ouvertes prendre de l'ampleur. L'adoption d'Iceberg par Fivetran dans son service de gestion de Data Lake valide encore davantage l'architecture Icehouse », déclare Anders Holden, directeur de la gestion des produits chez Starburst Data. « Ce service simplifie le processus d'ingestion et élimine la complexité de la gestion des Data Lake. En utilisant Starburst pour exécuter des analyses SQL rapides sur le Data Lake, les entreprises constateront un délai plus court pour obtenir des informations et un processus de pipeline de données rationalisé, tout en gagnant du temps et en réduisant les coûts. »
Fivetran Managed Data Lake Service est disponible dès à présent. Fivetran automatise et gère entièrement la standardisation des données au fur et à mesure qu’elles sont déplacées vers les destinations du Data Lake, les mettant ainsi à la disposition des entreprises pour qu'elles trouvent de nouvelles façons d'innover avec les données.
Les utilisateurs de Fivetran peuvent essayer Managed Data Lake Service en bénéficiant d'une utilisation gratuite de juin à août 2024.
Autres articles
-
Rapport MIT Technology Review Insights : la préparation à l'IA repose en priorité sur la préparation des données
-
Fivetran renouvelle son engagement auprès de FM Logistic pour la réplication de ses données opérationnelles en temps réel
-
Les entreprises sont optimistes quant à l'adoption de l'IA, bien qu’elles perdent en moyenne 406 millions de dollars par an en raison de modèles d'IA sous-performant
-
Fivetran transforme Deliveroo en une entreprise axée sur les données pour la livraison de repas
-
Fivetran annonce l'intégration de dbt Cloud Orchestration pour accélérer l'analyse des données
