Databricks, la société spécialisée dans les données et l'IA, annonce aujourd'hui plusieurs innovations pour Mosaic AI afin d'aider les clients à créer des applications d'IA générative de qualité prêtes pour la mise en production. Databricks investit dans Mosaic AI sur trois domaines clés : le soutien à la construction de systèmes d'IA composites, les fonctionnalités d'amélioration de la qualité des modèles et les nouveaux outils de gouvernance de l'IA. Les innovations qui en résulteront donneront aux clients la confiance nécessaire pour créer et mesurer des applications de qualité industrielle, tenant ainsi les promesses de l'IA générative pour leur entreprise.
Les organisations ont du mal à faire passer les projets d'IA générative du stade de projet pilote à celui de production à grande échelle en raison de préoccupations liées à la confidentialité, à la qualité et aux coûts. Bien que les modèles de base se soient tous considérablement améliorés, ils peinent encore à produire des résultats de haute qualité. Les modèles les plus performants peuvent encore donner des réponses inexactes, dangereuses ou exposer des données confidentielles. Pour relever ces défis, les organisations vont au-delà du déploiement d'un modèle unique extrêmement volumineux vers des systèmes d'IA composites. Cette approche utilise de multiples composants, notamment divers modèles, extracteurs, bases de données vectorielles et outils d'évaluation, de surveillance, de sécurité et de gouvernance. Par conséquent, les systèmes d'IA compositess offrent une qualité de production nettement supérieure, ce qui permet aux organisations de fournir efficacement des applications d'IA plus précises, plus sûres et mieux gouvernées.
« Nous pensons que les systèmes d'IA composites seront le meilleur moyen de maximiser la qualité, la fiabilité et la mesure des applications d'IA à l'avenir, et pourraient constituer l'une des tendances les plus importantes de l'IA en 2024 », déclare Matei Zaharia, cofondateur et CTO de Databricks. « Databricks est particulièrement bien placée pour tirer parti de ces tendances grâce aux investissements que nous faisons pour améliorer la qualité, en augmentant le modèle avec des données en temps réel et des agents et des outils pour lui donner de nouvelles capacités dont il n'a que peu de connaissances. »
Pour aider les clients à créer des applications d'IA générative de qualité, Databricks lance Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Unity Catalog GenAI Tools, Mosaic AI Model Training et Mosaic AI Gateway.
Mosaic AI Agent Framework et Unity Catalog GenAI Tools aident les organisations à créer des systèmes d'IA composites
Databricks introduit plusieurs nouvelles fonctionnalités pour aider les clients à déployer des systèmes d'IA compositess conçus pour l'usage en entreprise. Le RAG est un type de système d'IA composite, car il utilise de multiples composants tels qu'une base de données vectorielle et des outils de surveillance, d'évaluation, de sécurité et de gouvernance pour améliorer la précision du LLM. Le mois dernier, Databricks a annoncé la disponibilité générale de Mosaic AI Vector Search en tant que base de données vectorielles sans serveur intégrée de manière transparente à la Data Intelligence Platform. Aujourd'hui, Databricks annonce Mosaic AI Agent Framework, qui permet aux développeurs de créer rapidement et en toute sécurité des applications RAG de haute qualité à l'aide de modèles de base et de leurs données d'entreprise. Ils peuvent évaluer la qualité de leur application RAG avec Mosaic AI Agent Evaluation, itérer rapidement et redéployer facilement leur application. Mosaic AI Agent Evaluation est un outil d'évaluation assisté par l'IA qui détermine automatiquement si les résultats sont de haute qualité et fournit une interface utilisateur intuitive pour obtenir des commentaires de la part des parties prenantes humaines. Collectivement, ces fonctionnalités garantissent que les organisations peuvent déployer des solutions d'IA générative de qualité industrielle.
Les systèmes d'IA composites tirent souvent parti d'agents ou d'outils en tant que fonctions qui dotent ces systèmes de nouvelles capacités d'interaction avec le monde, telles que la génération et l'exécution intelligentes de code, la recherche sur le web, l'appel d'API, et bien plus encore. Unity Catalog GenAI Tools permet aux organisations de contrôler, de partager et d'enregistrer des agents ou des outils à l'aide de Databricks Unity Catalog. Cela garantit que les modèles dotés d'outils peuvent les utiliser d'une manière sécurisée et contrôlée, et que ces outils peuvent être découverts dans l'ensemble de l'organisation.
Mosaic AI Model Training permet d'affiner les modèles de base, d'en améliorer la qualité et d'en réduire le coût.
Mosaic AI Model Training affine les modèles de base open source avec les données privées d'une organisation, en lui apportant de nouvelles connaissances spécifiques à son domaine ou à sa tâche. Ces modèles affinés sont entièrement détenus et contrôlés par le client et produisent des résultats de meilleure qualité pour des cas d'usages spécifiques, car ils ont été formés sur les données privées de l'organisation pour des tâches spécialisées. En plus d'être plus précis pour des domaines spécifiques, les petits modèles affinés par ce mode d’apprentissage sont également plus rapides et moins coûteux à utiliser que les grands modèles propriétaires, car ils ont moins de paramètres et nécessitent moins de puissance de calcul.
Mosaic AI Gateway offre une gouvernance pour l'ensemble de vos applications et modèles GenAI.
Mosaic AI Gateway offre une interface unifiée pour interroger, gérer et déployer n'importe quel modèle open source ou propriétaire, ce qui permet aux clients de changer facilement les grands modèles de langage (LLM) qui alimentent leurs applications sans avoir besoin d'apporter des modifications complexes au code de l'application. Il prend en charge le suivi de l'utilisation et les garde-fous, ce qui permet aux organisations de savoir qui appelle le modèle, de fixer des limites de taux pour contrôler les dépenses des utilisateurs de l'entreprise et de filtrer la sécurité et les informations personnelles identifiables (PII), quel que soit le modèle utilisé. Enfin, il offre une gouvernance et une surveillance intégrées pour garantir en permanence la qualité.
Disponibilité
Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Model Training et Mosaic AI Gateway sont désormais en version publique. Unity Catalog GenAI Tools est en version privée.
Les organisations ont du mal à faire passer les projets d'IA générative du stade de projet pilote à celui de production à grande échelle en raison de préoccupations liées à la confidentialité, à la qualité et aux coûts. Bien que les modèles de base se soient tous considérablement améliorés, ils peinent encore à produire des résultats de haute qualité. Les modèles les plus performants peuvent encore donner des réponses inexactes, dangereuses ou exposer des données confidentielles. Pour relever ces défis, les organisations vont au-delà du déploiement d'un modèle unique extrêmement volumineux vers des systèmes d'IA composites. Cette approche utilise de multiples composants, notamment divers modèles, extracteurs, bases de données vectorielles et outils d'évaluation, de surveillance, de sécurité et de gouvernance. Par conséquent, les systèmes d'IA compositess offrent une qualité de production nettement supérieure, ce qui permet aux organisations de fournir efficacement des applications d'IA plus précises, plus sûres et mieux gouvernées.
« Nous pensons que les systèmes d'IA composites seront le meilleur moyen de maximiser la qualité, la fiabilité et la mesure des applications d'IA à l'avenir, et pourraient constituer l'une des tendances les plus importantes de l'IA en 2024 », déclare Matei Zaharia, cofondateur et CTO de Databricks. « Databricks est particulièrement bien placée pour tirer parti de ces tendances grâce aux investissements que nous faisons pour améliorer la qualité, en augmentant le modèle avec des données en temps réel et des agents et des outils pour lui donner de nouvelles capacités dont il n'a que peu de connaissances. »
Pour aider les clients à créer des applications d'IA générative de qualité, Databricks lance Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Unity Catalog GenAI Tools, Mosaic AI Model Training et Mosaic AI Gateway.
Mosaic AI Agent Framework et Unity Catalog GenAI Tools aident les organisations à créer des systèmes d'IA composites
Databricks introduit plusieurs nouvelles fonctionnalités pour aider les clients à déployer des systèmes d'IA compositess conçus pour l'usage en entreprise. Le RAG est un type de système d'IA composite, car il utilise de multiples composants tels qu'une base de données vectorielle et des outils de surveillance, d'évaluation, de sécurité et de gouvernance pour améliorer la précision du LLM. Le mois dernier, Databricks a annoncé la disponibilité générale de Mosaic AI Vector Search en tant que base de données vectorielles sans serveur intégrée de manière transparente à la Data Intelligence Platform. Aujourd'hui, Databricks annonce Mosaic AI Agent Framework, qui permet aux développeurs de créer rapidement et en toute sécurité des applications RAG de haute qualité à l'aide de modèles de base et de leurs données d'entreprise. Ils peuvent évaluer la qualité de leur application RAG avec Mosaic AI Agent Evaluation, itérer rapidement et redéployer facilement leur application. Mosaic AI Agent Evaluation est un outil d'évaluation assisté par l'IA qui détermine automatiquement si les résultats sont de haute qualité et fournit une interface utilisateur intuitive pour obtenir des commentaires de la part des parties prenantes humaines. Collectivement, ces fonctionnalités garantissent que les organisations peuvent déployer des solutions d'IA générative de qualité industrielle.
Les systèmes d'IA composites tirent souvent parti d'agents ou d'outils en tant que fonctions qui dotent ces systèmes de nouvelles capacités d'interaction avec le monde, telles que la génération et l'exécution intelligentes de code, la recherche sur le web, l'appel d'API, et bien plus encore. Unity Catalog GenAI Tools permet aux organisations de contrôler, de partager et d'enregistrer des agents ou des outils à l'aide de Databricks Unity Catalog. Cela garantit que les modèles dotés d'outils peuvent les utiliser d'une manière sécurisée et contrôlée, et que ces outils peuvent être découverts dans l'ensemble de l'organisation.
Mosaic AI Model Training permet d'affiner les modèles de base, d'en améliorer la qualité et d'en réduire le coût.
Mosaic AI Model Training affine les modèles de base open source avec les données privées d'une organisation, en lui apportant de nouvelles connaissances spécifiques à son domaine ou à sa tâche. Ces modèles affinés sont entièrement détenus et contrôlés par le client et produisent des résultats de meilleure qualité pour des cas d'usages spécifiques, car ils ont été formés sur les données privées de l'organisation pour des tâches spécialisées. En plus d'être plus précis pour des domaines spécifiques, les petits modèles affinés par ce mode d’apprentissage sont également plus rapides et moins coûteux à utiliser que les grands modèles propriétaires, car ils ont moins de paramètres et nécessitent moins de puissance de calcul.
Mosaic AI Gateway offre une gouvernance pour l'ensemble de vos applications et modèles GenAI.
Mosaic AI Gateway offre une interface unifiée pour interroger, gérer et déployer n'importe quel modèle open source ou propriétaire, ce qui permet aux clients de changer facilement les grands modèles de langage (LLM) qui alimentent leurs applications sans avoir besoin d'apporter des modifications complexes au code de l'application. Il prend en charge le suivi de l'utilisation et les garde-fous, ce qui permet aux organisations de savoir qui appelle le modèle, de fixer des limites de taux pour contrôler les dépenses des utilisateurs de l'entreprise et de filtrer la sécurité et les informations personnelles identifiables (PII), quel que soit le modèle utilisé. Enfin, il offre une gouvernance et une surveillance intégrées pour garantir en permanence la qualité.
Disponibilité
Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Model Training et Mosaic AI Gateway sont désormais en version publique. Unity Catalog GenAI Tools est en version privée.
Autres articles
-
Databricks renforce son partenariat avec AWS pour offrir des capacités avancées d'IA générative
-
Databricks renforce son partenariat avec AWS pour offrir des fonctionnalités avancées d'IA générative
-
Databricks Apps : Le moyen le plus rapide et le plus sûr de créer des applications de données et d'IA
-
La Data Intelligence Plateform de Databricks permet à Heathrow d'améliorer la satisfaction de ses clients et d'optimiser le flux de passagers
-
Devoteam et Databricks renforcent leur partenariat en EMEA, avec désormais le plus haut niveau de certification « Elite » et des objectifs ambitieux en matière de transformation via la data et l’IA
