Databricks, leader de l’analytique unifiée et société à l’origine d’Apache Spark, annonce que sa plateforme Unified Analytics offre désormais l’automatisation et des fonctions augmentées tout au long du cycle de vie du machine learning. L’offre d’analytique augmentée ainsi élargie automatise non seulement la conception de modèles de machine learning, mais s’applique également à l’automatisation de la préparation de données et au déploiement de modèles. Les nouvelles fonctionnalités AutoML (Automated Machine Learning) sont destinées aux experts ainsi qu’aux citizens data scientists.
« Gartner prévoit que d'ici 2020, plus de 40 % des tâches de data science seront automatisées, ce qui se traduira par une productivité accrue et une utilisation plus large par les citizen data scientists ». Pour accélérer cette automatisation et aider les équipes de data science à apporter une valeur ajoutée à leur entreprise, la plate-forme Unified Analytics de Databricks utilise le machine learning pour ajouter des fonctions augmentées de préparation des données, de visualisation, d'ingénierie des fonctionnalités, de réglage des hyperparamètres, de recherche de modèles, de suivi automatique des modèles, de reproductibilité et de déploiement. Basée sur une intégration avec le framework open source MLflow, cette offre AutoML permet aux citizens data scientists, et pas seulement aux experts, de bénéficier à de fonctions augmentées pour leurs workflows de data science et de machine learning à grande échelle.
« Les data scientists et les ingénieurs en machine learning cherchent continuellement des moyens d'accélérer et d'étendre leurs initiatives de machine learning », déclare Adam Conway, vice-président de la gestion des produits chez Databricks. « En introduisant le concept de low-code et no-code, AutoML représente un changement fondamental dans la façon dont les organisations abordent le machine learning et la data science. Dotée de l’automatisation adéquate, AutoML peut considérablement raccourcir le délai de création de valeur des équipes de data science. »
L’offre de Databricks fournit les fonctions AutoML à différents niveaux de contrôle et d’automatisation.
AutoML Toolkit : pipeline de machine learning automatisé de bout-en-bout, notamment pour l’ingénierie de fonctionnalités, de recherche de modèles, et le déploiement, est disponible via les solutions spécifiques du Databricks Labs. Les exécutions d’AutoML Toolkit sont automatiquement suivies dans MLflow.
Automated Model Search : recherche d’hyperparamètres conditionnels optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow
Automated Hyperparameter Tuning : recherche d’hyperparamètres optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow. Intégration étroite à PySpark MLlib’s Cross Validation pour un suivi automatique des expériences dans MLflow.
Intégration à AzureML: s'appuyant sur la collaboration MLflow open source entre Databricks et Microsoft annoncée en avril, cette intégration permet aux clients d'accéder aux fonctionnalités AutoML offertes par Azure Machine Learning.
Smarter With Gartner, Top 10 Strategic Technology Trends for 2019, October 15, 2018, https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
« Gartner prévoit que d'ici 2020, plus de 40 % des tâches de data science seront automatisées, ce qui se traduira par une productivité accrue et une utilisation plus large par les citizen data scientists ». Pour accélérer cette automatisation et aider les équipes de data science à apporter une valeur ajoutée à leur entreprise, la plate-forme Unified Analytics de Databricks utilise le machine learning pour ajouter des fonctions augmentées de préparation des données, de visualisation, d'ingénierie des fonctionnalités, de réglage des hyperparamètres, de recherche de modèles, de suivi automatique des modèles, de reproductibilité et de déploiement. Basée sur une intégration avec le framework open source MLflow, cette offre AutoML permet aux citizens data scientists, et pas seulement aux experts, de bénéficier à de fonctions augmentées pour leurs workflows de data science et de machine learning à grande échelle.
« Les data scientists et les ingénieurs en machine learning cherchent continuellement des moyens d'accélérer et d'étendre leurs initiatives de machine learning », déclare Adam Conway, vice-président de la gestion des produits chez Databricks. « En introduisant le concept de low-code et no-code, AutoML représente un changement fondamental dans la façon dont les organisations abordent le machine learning et la data science. Dotée de l’automatisation adéquate, AutoML peut considérablement raccourcir le délai de création de valeur des équipes de data science. »
L’offre de Databricks fournit les fonctions AutoML à différents niveaux de contrôle et d’automatisation.
AutoML Toolkit : pipeline de machine learning automatisé de bout-en-bout, notamment pour l’ingénierie de fonctionnalités, de recherche de modèles, et le déploiement, est disponible via les solutions spécifiques du Databricks Labs. Les exécutions d’AutoML Toolkit sont automatiquement suivies dans MLflow.
Automated Model Search : recherche d’hyperparamètres conditionnels optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow
Automated Hyperparameter Tuning : recherche d’hyperparamètres optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow. Intégration étroite à PySpark MLlib’s Cross Validation pour un suivi automatique des expériences dans MLflow.
Intégration à AzureML: s'appuyant sur la collaboration MLflow open source entre Databricks et Microsoft annoncée en avril, cette intégration permet aux clients d'accéder aux fonctionnalités AutoML offertes par Azure Machine Learning.
Smarter With Gartner, Top 10 Strategic Technology Trends for 2019, October 15, 2018, https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
Autres articles
-
Databricks renforce son partenariat avec AWS pour offrir des capacités avancées d'IA générative
-
Databricks renforce son partenariat avec AWS pour offrir des fonctionnalités avancées d'IA générative
-
Databricks Apps : Le moyen le plus rapide et le plus sûr de créer des applications de données et d'IA
-
La Data Intelligence Plateform de Databricks permet à Heathrow d'améliorer la satisfaction de ses clients et d'optimiser le flux de passagers
-
Devoteam et Databricks renforcent leur partenariat en EMEA, avec désormais le plus haut niveau de certification « Elite » et des objectifs ambitieux en matière de transformation via la data et l’IA
