Databricks AI/BI : l’analyse intelligente des données du monde réel

Databricks AI/BI propose deux expériences complémentaires : Dashboards, une interface low-code alimentée par l'IA pour créer et distribuer des tableaux de bord interactifs rapides, et Genie, une interface conversationnelle pour répondre aux questions ad-hoc et de suivi en langage naturel. Les deux sont alimentés par un système d'IA composites qui apprend continuellement à partir de l'utilisation de l'ensemble des données d'une organisation, y compris les pipelines ETL, le lignage et d'autres requêtes. Cela permet à l'IA/BI de répondre à des questions complexes de manière précise et automatique, sans nécessiter de configuration ou de modélisation préalable, comme c'est le cas avec les outils conventionnels.

AI/BI marque une étape importante vers une véritable BI en libre-service, en élargissant considérablement les types d'analyses que les utilisateurs quotidiens peuvent effectuer grâce à une approche axée sur l'IA. L'intelligence de l'AI/BI est rendue possible par la Data Intelligence Platform de Databricks, qui est intégrée en natif pour fournir une gouvernance unifiée, un lignage, un partage sécurisé et une performance rapide comme l'éclair pour toutes les tailles de données.

Permettre le libre-service grâce à l'IA générative

Aujourd'hui, les outils de BI permettent aux organisations de fournir un accès de base aux données par le biais de rapports et de tableaux de bord, mais ils ne peuvent répondre qu'aux questions spécifiques pour lesquelles ils ont été conçus. L'évolution des données ou des conditions commerciales soulève constamment de nouvelles questions qui requièrent l'expertise limitée des data scientists et des data analystes. Récemment, l'industrie de la BI s'est tournée vers l'IA générative pour résoudre ce problème en ajoutant de grands modèles de langage (LLM) à une stack de BI conventionnelle. Toutefois, ces tentatives ont largement échoué dans le monde réel. L'approche consistant à résoudre ce problème en transmettant un ensemble de questions en langage naturel aux LLM afin de générer un plan d'exécution pour répondre à ces questions est fondamentalement limitée parce que les cas d'utilisation du monde réel sont pleins de questions commerciales nuancées avec des données désordonnées et une sémantique mal définie. En fin de compte, les solutions « bolt-on AI » peuvent fournir des démonstrations convaincantes mais sont incapables de travailler avec des questions et des données réelles.

« Une solution BI vraiment intelligente doit comprendre la sémantique et les nuances uniques d'une entreprise pour répondre efficacement aux questions des utilisateurs professionnels », déclare Ali Ghodsi, cofondateur et CEO de Databricks. « Nous pensons que cela nécessite une approche différente de la manière dont les logiciels de BI ont été conçus dans le passé - une approche qui place un système d'IA au centre de l'architecture et qui est conçue pour tirer parti des forces des systèmes d'IA ainsi que pour compléter leurs faiblesses afin de relever les défis de la compréhension et de l'apprentissage de ces nuances. Le lancement d'AI/BI est une étape vers la construction d'un tel système ».

Au-delà des LLM « Bolt-on » : L'IA/BI est un système d'IA composé pour l'analyse

Au cœur de l'IA/BI se trouve un système d'IA composé qui utilise un ensemble d'agents d'IA pour raisonner sur des questions des métiers et générer des réponses utiles. Chaque agent est responsable d'une tâche restreinte mais importante, telle que la planification, la génération de SQL, l'explication, la visualisation et la certification des résultats. Ces agents sont également soutenus par d'autres composants, tels qu'un sous-système de classement des réponses et un index vectoriel. Ensemble, ils fournissent des capacités de raisonnement qui vont bien au-delà de n'importe quel modèle monolithique individuel.

Le système est conçu pour apprendre en permanence et améliorer ses performances en fonction du retour d'information humain. Par exemple, si l'on lui donne la définition d'un client résilié, l'IA/BI n'utilisera pas seulement ces connaissances pour répondre à des questions similaires (par exemple, les clients résiliés dans la région EMEA par rapport à la région APJ), mais aussi pour calculer le taux de résiliation ou déduire la signification des clients fidélisés. L'intelligence artificielle conserve ces connaissances au-delà d'une seule analyse ou d'une seule conversation pour s'améliorer de plus en plus, à l'instar d'un analyste humain. En outre, l'IA/BI apprend d'autres informations sur les données d'une organisation dans la plateforme Databricks, telles que les pipelines ETL, le lignage, les statistiques de popularité et d'autres requêtes sur les données.

Ce système alimente deux interfaces complémentaires :

Tableaux de bord AI/BI : une solution de tableaux de bord alimentée par l'IA et à code bas qui inclut les fonctionnalités BI conventionnelles que les utilisateurs s'attendent à trouver prêtes à l'emploi, pour répondre à un ensemble fixe de questions commerciales

AI/BI Genie : une interface conversationnelle capable d'apprendre les données et la sémantique sous-jacentes en continu sur la base du retour d'information humain, et de répondre à un ensemble beaucoup plus large de questions des métiers sur la base de ses capacités de raisonnement, tout en continuant à fournir des réponses certifiées pour les modèles de requête spécifiés par les équipes chargées des données.

Databricks AI/BI est construit au-dessus de la Data Intelligence Platform et y est étroitement intégré. Les avantages sont les suivants :

Gouvernance et lignage unifiés : AI/BI est profondément intégré dans Databricks Unity Catalog. Elle suit le même cadre de gouvernance, et toutes les politiques globales définies par les administrateurs s'appliquent à l'IA/BI. Et grâce à la fonctionnalité de lignage de Unity Catalog, les producteurs de données ou les administrateurs peuvent observer comment leurs produits datas sont utilisés dans l'IA/BI, et les utilisateurs finaux peuvent accorder une plus grande confiance à leur analyse parce qu'ils peuvent retracer les origines de leurs ensembles de données jusqu'à l'ingestion des données.

Partage sans effort, sans nouvelles licences d'utilisateur : L'IA/BI est intégré dans la plateforme IAM de Databricks qui s'intègre directement avec les IDP comme Entra AD ou Okta pour permettre un partage sécurisé.

Un rapport qualité-prix inégalé dans l'industrie : L'IA/BI est étroitement intégrée aux data warehouse SQL de Databricks et au moteur Photon, qui contiennent des optimisations uniques pour fournir des interactions de haute performance. Il offre des performances de prix inégalées dans l'industrie pour des volumes de données allant du mégaoctet au pétaoctet.

Aucune extraction de données n'est nécessaire : Par conséquent, l'IA/BI ne nécessite pas d'extraire les ensembles de données d'intérêt vers un moteur de BI distinct, ce qui permet d'améliorer la fraîcheur des données et de simplifier la gouvernance.

« Chez SEGA, notre objectif est de divertir le monde avec des expériences créatives et innovantes, et la data intelligence joue un rôle important dans la réalisation de cet objectif. Nous utilisons Databricks AI/BI pour aider les décideurs à poser des questions ad hoc en temps réel sur le comportement des consommateurs sans avoir à dépendre de nos experts en données pour construire des tableaux de bord et des requêtes. Désormais, les membres de notre équipe peuvent obtenir des informations détaillées sur les ventes de jeux et les données de gameplay en posant simplement des questions en langage naturel » déclare Felix Baker, Head of Data Services, SEGA Europe. « L'IA/BI nous permettra de démocratiser les données, d'augmenter la productivité et d'accélérer la prise de décision basée sur les données au sein de SEGA, ce qui nous permettra de nous concentrer sur ce qui compte vraiment : créer les meilleures expériences de jeu possibles pour nos joueurs. »

Disponibilité

AI/BI est inclus pour tous les clients Databricks SQL Pro et Serverless. AI/BI Dashboards est généralement disponible ; Genie est en avant-première publique à partir d'aujourd'hui. Il n'y a pas de frais de licence supplémentaires au-delà des coûts de calcul de l'entrepôt pour les deux produits.