Databricks lance DBRX, un Nouveau Standard pour des Modèles Open Source Efficients

Databricks, la société spécialisée dans les données et l'IA, a annoncé aujourd'hui le lancement de DBRX, un modèle de grand langage (LLM) à usage général qui surpasse tous les modèles open source existants sur des benchmarks standard. DBRX démocratise la formation et le réglage de LLM personnalisés et performants pour chaque entreprise, de sorte que les organisations n'ont plus besoin de s'appuyer sur une petite poignée de modèles fermés. Disponible dès aujourd'hui, DBRX permet aux entreprises du monde entier de construire, d'entraîner et de servir de manière rentable leurs propres LLM personnalisés.

" Chez Databricks, notre vision a toujours été de démocratiser les données et l'IA. Nous y parvenons en fournissant une intelligence des données à chaque entreprise - en les aidant à comprendre et à utiliser leurs données privées pour construire leurs propres systèmes d'IA. DBRX est le résultat de cet objectif", a déclaré Ali Ghodsi, cofondateur et PDG de Databricks. "Nous sommes enthousiasmés par DBRX pour trois raisons essentielles : premièrement, il bat les modèles open source sur des benchmarks industriels de pointe. Deuxièmement, il surpasse GPT-3.5 sur la plupart des benchmarks, ce qui devrait accélérer la tendance que nous observons chez nos clients, à savoir que les entreprises remplacent les modèles propriétaires par des modèles open source. Enfin, DBRX utilise un mélange d'architectures d'experts, ce qui rend le modèle extrêmement rapide en termes de tokens par seconde, tout en étant rentable. "Dans l'ensemble, DBRX établit un nouveau standard pour les LLM open source - il offre aux entreprises une plateforme pour construire des capacités de raisonnement personnalisées basées sur leurs propres données.

DBRX surpasse les modèles open source dans les tests de référence de l'industrie

DBRX surpasse les LLM open source existants tels que Llama 2 70B et Mixtral-8x7B sur des benchmarks industriels, tels que la compréhension du langage, la programmation, les mathématiques et la logique.

DBRX surpasse également GPT-3.5 sur les indices de références.

Pour un examen approfondi des évaluations de modèles et des benchmarks de performance, et pour voir comment DBRX est plus compétitif que GPT-4 pour des cas d'utilisation interne tels que SQL, visitez le blog technique de Mosaic Research.

DBRX établit un nouveau standard pour les LLM open source efficient

DBRX a été développé par Mosaic AI et entraîné sur NVIDIA DGX Cloud. Databricks a optimisé DBRX pour le rendre efficient avec un mélange d’architecture d'experts (MoE), construite sur le projet open source MegaBlocks. Le modèle qui en résulte est jusqu'à deux fois plus efficace en termes de calcul que d'autres LLM de premier plan disponibles sur le marché et offre des performances de premier plan.

DBRX établit un nouveau standard pour les modèles open source, permettant une IA générative personnalisable et transparente pour toutes les entreprises. Une enquête récente d'Andreessen Horowitz a révélé que près de 60 % des leaders de l'IA pensent à augmenter l'utilisation de l'open source ou même passer à à l'open source, lorsque des modèles open source “fine-tunés” égalent à peu près les performances des modèles fermés. En 2024 et au-delà, les entreprises s'attendent à une transition significative de l'utilisation des sources fermées vers les sources ouvertes. Databricks pense que DBRX va accélérer cette tendance.

Les organisations bénéficient de capacités de niveau entreprise avec DBRX sur la Data Intelligence Platform

Associé aux outils unifiés de Databricks Mosaic AI, DBRX permet aux utilisateurs de créer et de déployer rapidement des applications d'IA générative sûres, de qualité, précises et gouvernées sans renoncer au contrôle de leurs données et de leur propriété intellectuelle. Les utilisateurs bénéficient de capacités intégrées de gestion, de gouvernance, de lignage et de surveillance des données, depuis les données jusqu'aux applications d'IA générative de qualité de production, sur la Databricks Data Intelligence Platform.

" Chez Accenture, nous sommes à la pointe de la mise en œuvre de solutions d'IA générative - en utilisant des techniques avancées pour adapter les modèles open source aux besoins uniques de nos clients grâce à nos services de personnalisation des modèles de base ", a déclaré Lan Guan, Chief AI Officer chez Accenture. "La disponibilité de modèles open source plus sophistiqués peut offrir de nouvelles opportunités de générer des résultats significatifs pour nos clients dans chaque partie de l'entreprise."

"Nous sommes à un point d'inflexion important pour l'IA qui nécessite une communauté de chercheurs, d'ingénieurs et de techniciens pour mieux la comprendre et conduire une innovation significative. C'est pourquoi notre équipe à AI2 est profondément engagée à faire progresser la science de l'IA générative à travers le développement de modèles ouverts et nous sommes ravis de voir de nouveaux modèles comme DBRX apporter plus de transparence, d'accessibilité et de collaboration à l'industrie", a déclaré Dirk Groeneveld, ingénieur logiciel principal à l'Allen Institute for Artificial Intelligence (AI2).

"Chez Block, nous utilisons des outils d'IA générative pour donner de l'autonomie à nos clients et faire gagner du temps aux employés de Block en automatisant les flux de travail. Nous sommes impatients d'explorer les capacités de DBRX pour renforcer les capacités de notre génération de code assistée par l'IA et la récupération des connaissances en fonction du contexte ", a déclaré Jackie Brosamer, responsable de l'ingénierie de la plateforme Data & ML chez Block.

"Databricks est un partenaire clé du Nasdaq pour certains de nos systèmes de données les plus importants. Ils continuent d'être à la pointe de la technologie industrielle en matière de gestion des données et d'exploitation de l'IA, et nous sommes ravis de la sortie de DBRX. La combinaison d'un modèle performant et d'une économie de service favorable est le type d'innovation que nous recherchons pour développer notre utilisation de l'IA générative au Nasdaq", a déclaré Mike O'Rourke, responsable de l'IA et des services de données au NASDAQ.

"En tant que l'un des plus grands investisseurs technologiques au monde, Prosus reconnaît le pouvoir de transformation de l'IA générative. Nous attendons avec impatience la sortie de DBRX et son potentiel pour donner à plus d'entreprises la capacité de construire des modèles personnalisés sécurisés, portables et hautement performants", a déclaré Paul Boor, directeur principal de la science des données chez Prosus Group.

"Nous avons travaillé en étroite collaboration avec l'équipe Mosaic AI de Databricks pour construire des LLM personnalisés qui démocratisent l'accès au codage pour le prochain milliard de développeurs de logiciels. Avec la sortie du nouveau et puissant modèle DBRX open-source, nous prévoyons l'adoption accélérée de modèles d'IA générative sécurisés qui sont personnalisés en fonction des données d'une organisation", a déclaré Michele Catasta, vice-président de l'IA chez Replit.

"Notre étude montre que les entreprises prévoient de consacrer la moitié de leur budget d'IA à l'IA générative", a déclaré Dave Menninger, directeur exécutif de Ventana Research, qui fait partie de l'ISG. "L'un des trois principaux défis auxquels elles sont confrontées est la sécurité et la confidentialité des données. Avec sa plateforme de Data Intelligence de bout en bout et l'introduction de DBRX, Databricks permet aux entreprises de créer des applications d'IA générative qui sont gouvernées, sécurisées et adaptées au contexte de leur activité, tout en conservant le contrôle et la propriété de leurs données et productions tout au long du processus."

"Zoom a utilisé la puissance des LLM pour permettre de nouvelles fonctionnalités de la plateforme comme notre AI Companion. Nous avons hâte d'évaluer le potentiel de DBRX pour rendre l'entraînement et le service de modèles d'IA génératifs personnalisés plus rapides et plus rentables pour nos principaux cas d'utilisation ", a déclaré Chenguang Zhu, responsable de GenAI Science chez Zoom.

Disponibilité de DBRX

DBRX est disponible gratuitement sur GitHub et Hugging Face pour la recherche et l'utilisation commerciale. Dès aujourd'hui sur la plateforme Databricks, les entreprises peuvent interagir avec DBRX, exploiter ses capacités de contexte long dans les systèmes de génération augmentée de récupération (RAG), et construire des modèles DBRX personnalisés sur leurs propres données privées. DBRX est également disponible sur AWS et Google Cloud, ainsi que directement sur Microsoft Azure via Azure Databricks.
DBRX devrait également être disponible dans le catalogue d'API de NVIDIA et pris en charge par le microservice d'inférence NVIDIA NIM.