Snowflake lance Polaris Catalog et souligne son engagement en faveur de l'interopérabilité

Le Data Cloud IA Snowflake (NYSE: SNOW), annonce aujourd'hui lors de sa conférence utilisateurs annuelle, le Snowflake Summit 2024, le lancement de Polaris Catalog, une implémentation de catalogue ouvert et neutre vis à vis des fournisseurs pour Apache Iceberg, le standard ouvert pour la mise en œuvre de data lakehouses, de datalakes et d'autres architectures modernes. Polaris Catalog sera mis en open source dans les 90 prochains jours pour offrir aux entreprises et à l'ensemble de la communauté Iceberg de nouveaux niveaux de choix, de flexibilité et de contrôle sur leurs données, avec une sécurité d'entreprise complète et une interopérabilité d'Apache Iceberg avec Amazon Web Services (AWS), Confluent, Dremio, Google Cloud, Microsoft Azure, Salesforce, et bien plus encore.

" Les entreprises veulent un stockage ouvert et des moteurs de requête interopérables sans blocage. Aujourd'hui, avec le soutien des leaders de l'industrie, nous simplifions encore la façon dont toute organisation peut facilement accéder à ses données à travers divers systèmes avec une flexibilité et un contrôle accrus ", déclare Christian Kleinerman, EVP of Product, Snowflake. "Polaris Catalog prolonge l'engagement de Snowflake envers Apache Iceberg en tant que standard ouvert de choix, et signale l'intention des leaders de l'industrie de permettre aux clients et à la communauté Iceberg au sens large d'exploiter leurs données par le biais d'une approche ouverte et neutre, favorisant l'interopérabilité entre les moteurs sur ces données."

Polaris Catalog présente de nouveaux niveaux d'interopérabilité pour Apache Iceberg

Apache Iceberg est passé du stade de l'incubation à celui de projet de la Apache Software Foundation en mai 2020, et a depuis gagné en popularité pour devenir l'un des principaux formats de tables de données open source. Avec Polaris Catalog, les utilisateurs disposent désormais d'un endroit unique et centralisé où n'importe quel moteur peut trouver et accéder aux tables Iceberg d'une organisation avec une interopérabilité complète et ouverte. Polaris Catalog s'appuie sur le protocole REST open source d'Iceberg, qui fournit un standard ouvert permettant aux utilisateurs d'accéder et de récupérer des données à partir de n'importe quel moteur prenant en charge l'API Rest d'Iceberg, notamment Apache Flink, Apache Spark, Dremio, Python, Trino et bien d'autres.

Les organisations peuvent commencer à exécuter Polaris Catalog, hébergé dans le Data Cloud IA de Snowflake en quelques minutes, hébergé dans Snowflake en avant-première publique bientôt, ou l'auto-héberger dans leur propre infrastructure à l'aide de conteneurs tels que Docker ou Kubernetes. Comme l'implémentation du backend de Polaris Catalog sera open source, les organisations peuvent librement échanger l'infrastructure d'hébergement tout en éliminant le verrouillage du fournisseur.

Des organisations de premier plan rejoignent la communauté du catalogue Polaris

Une partie de ce qui rend Apache Iceberg si puissant est sa communauté vibrante de divers adoptants, contributeurs et offres commerciales. Pour s'assurer que Polaris Catalog puisse répondre aux besoins évolutifs de la communauté et du paysage, Snowflake collabore avec l'écosystème Iceberg pour faire avancer le projet.

Cela fait suite à la récente extension du partenariat entre Snowflake et Microsoft, qui crée une interopérabilité plus transparente entre Snowflake et Fabric. Cette interopérabilité est possible grâce à l'engagement de Snowflake et de Microsoft à soutenir les principaux standards ouverts de l'industrie pour les formats de stockage, Apache Iceberg et Apache Parquet. Avec Polaris Catalog, les deux organisations poursuivent leur partenariat avec pour mission commune de permettre à tous les utilisateurs d'exploiter leurs données d'entreprise, quel que soit l'endroit où elles sont stockées, pour créer des applications à l'échelle alimentées par l'Intelligence Artificielle.

"Depuis le premier jour chez Microsoft, nous nous sommes attachés à donner à chaque utilisateur les moyens d'aller plus loin, et cela commence par une base de données solide. Grâce à notre soutien et à nos contributions aux standards de données ouvertes, notamment Delta Parquet, Apache Iceberg et Apache XTable, nous poursuivons cette mission en permettant aux organisations d'atteindre un nouveau niveau d'interopérabilité des données ouvertes, afin qu'elles puissent en faire plus avec leurs données", a déclaré Arun Ulagaratchagan, Corporate Vice President, Azure Data, Microsoft. "Snowflake continue d'être un de nos partenaires stratégiques, et nous sommes ravis de leur volonté de travailler avec la communauté Iceberg sur un catalogue ouvert pour permettre à nos clients communs et à la communauté open-source au sens large d'avoir plus de flexibilité et de contrôle sur leurs données ouvertes Iceberg."

Grâce à l'expertise de Snowflake, qui sert de base de données alimentant les données cross-cloud et les charges de travail d'IA de milliers de clients mondiaux, et à l'innovation et aux compétences open source de la communauté Iceberg en pleine croissance, ils continueront à simplifier l'interopérabilité des données à travers les moteurs ensemble.

Snowflake continue d'étendre ses engagements en matière d'open source

Polaris Catalog fait suite à une série d'engagements récents de Snowflake en matière d'open source, notamment ses investissements dans Iceberg Tables, qui permettent aux clients de Snowflake de travailler avec des données dans leur propre stockage au format Apache Iceberg, tout en bénéficiant de la facilité d'utilisation, de la performance et de la gouvernance unifiée de Snowflake.

Snowflake a également annoncé récemment Snowflake Arctic, l'un des grands modèles de langage (LLM) de niveau entreprise le plus ouvert du marché. Dans le cadre de son engagement en faveur de l'open source, Snowflake a non seulement publié les poids d'Arctic sous une licence Apache 2.0, mais aussi des détails sur la manière dont il a été entraîné. En outre, Snowflake soutient la communauté open source Streamlit, qui compte désormais plus de 275 000 développeurs actifs mensuels et plus de 6 millions de consultations mensuelles d'applications. Depuis que Snowflake a acquis Streamlit en mars 2022, la communauté open source a continué de prospérer, augmentant de plus de 500 % au cours des deux dernières années, alors que Snowflake et Streamlit continuent d'investir dans des avancées open source de pointe pour les développeurs.

Commentaires

" AWS s'engage à travailler avec des partenaires tels que Snowflake sur des solutions open source qui peuvent accélérer le choix des clients", déclare Chris Grusz, Managing Director, Technology Partnerships, Amazon Web Services. "Nous sommes heureux de travailler avec Snowflake pour continuer à faire en sorte qu'Apache Iceberg reste interopérable à travers nos moteurs.”

" Chez Confluent, nous avons pour mission de briser les silos de données afin d'aider les organisations à renforcer leurs activités grâce à des informations en temps réel", déclare Shaun Clowes, Chief Product Officer, Confluent. "Avec Tableflow sur Confluent Cloud, les entreprises pourront transformer les flux de données de toute l'entreprise en tables Apache Iceberg en un seul clic. Ensemble, le Polaris Catalog de Snowflake et Tableflow permettent aux équipes de données d'accéder facilement à ces tables pour le développement d'applications critiques et l'analyse en aval."

" Les clients veulent des écosystèmes ouverts et prospères et veulent être propriétaires de leur stockage, de leurs données et de leurs métadonnées. Ils ne veulent pas être enfermés", déclare Tomer Shiran, Founder, Dremio. "Nous nous engageons à soutenir les standards ouverts, tels qu'Apache Iceberg et les catalogues ouverts Project Nessie et Polaris Catalog. Ces technologies ouvertes fourniront l'interopérabilité de l'écosystème et le choix que les clients méritent."

"Nous sommes activement impliqués dans la communauté open source, en particulier dans le domaine des données", déclare Neema Raphael, Chief Data Officer et Head of Data Engineering, Goldman Sachs. "Nous avons ouvert notre plateforme de données, Legend, ce qui nous permet de travailler avec des formats de tables open source comme Iceberg qui fournira une plus grande interopérabilité entre les moteurs de requête comme Snowflake. Le lancement d'un catalogue Iceberg open source comme Polaris est une nouvelle étape passionnante dans la poursuite de cet engagement en faveur de l'interopérabilité."

"La popularité d'Apache Iceberg a permis d'établir un standard de stockage ouvert qui simplifie l'accès aux données zéro-copie pour les organisations à travers leur écosystème", déclare Raveendrnathan Loganathan, Executive Vice President of Software Engineering, Salesforce. "Notre Salesforce Data Cloud a été conçu dès le départ avec les standards ouverts Apache Parquet pour les fichiers et Apache Iceberg pour les tables, ce qui favorise les innovations zéro-copie pour débloquer les données piégées, obtenir des informations et orchestrer des actions dans l'ensemble du Customer 360. Nous sommes ravis de compter Snowflake parmi les membres de notre Zero Copy Partner Network, et nous sommes impatients de voir comment ce nouveau standard de catalogue ouvert favorisera l'accès à la copie zéro dans l'entreprise.