Cloudera et Microsoft développent conjointement Livy, un projet Open Source pour une utilisation simplifiée de Spark à partir d’applications d’utilisateurs finaux

Cloudera, le leader de la gestion analytique des données d’entreprise basée sur Apache™ Hadoop et les dernières technologies open source, annonce ce jour sa collaboration avec Microsoft afin de réduire la charge de travail des développeurs d’applications utilisant Spark. Cloudera, Microsoft ainsi que d’autres contributeurs open source ont créé une nouvelle REST sous licence Apache open source reposant sur le service Spark nommé Livy, en phase de développement alpha.

Livy facilite l’interaction des applications avec Spark, la gestion des tâches et la récupération de résultats de façon programmée. A l’origine, Livy est un serveur REST servant à soumettre, exécuter et gérer des tâches et des contextes Spark. Ses API clients lui permettent de réaliser un enregistrement de tâches Spark détaillé et la récupération des résultats, et ce de façon synchronisée ou désynchronisée. Les clients peuvent utiliser Spark comme un service multi-tenant sans se soucier du déploiement, de la configuration ou du suivi. En tant que service multi-tenant, Livy apporte à Spark l’isolation, la sécurité et l’adaptabilité de la session utilisateur

Les avantages de Livy sont notamment :
- L’adoption simplifiée de Spark– Aucun client Spark n’a besoin d’une installation ou d’un processus de configuration de Spark pour commencer. Seul un client léger raccordé à une extrémité HTTP est nécessaire.
- L’accès à des applications tierces – Les applications peuvent créer sur des API client construites sur REST en Java, Scala et Python pour un enregistrement très fin des tâches Spark, l’extraction de résultats et la gestion des contextes Spark (les API client Scala et Python sont en cours de développement). Spark peut être invoqué par des applications codées dans différents référentiels comme Django pour Python, Play pour Scala ou Java. De plus, puisque tout cela est basé sur REST, avec un petit peu de travail, on peut aussi amener Livy sur des applications codées en langages comme Node.js ou Go.
- La création de nouvelles architectures – Livy facilite l’intégration de Spark dans des architectures orientées services ou basées sur des microservices qui interagissent principalement via REST.

“Microsoft a pour objectif de simplifier le Big Data et les analyses avancées afin de démocratiser l’usage d’Apache Hadoop et de Spark,” explique Tiffany Wissner, senior director, Data Platform Marketing pour Microsoft. “ La collaboration sur le Projet Livy a contribué à faciliter l’interaction des développeurs avec Spark via un service web REST. Par ailleurs, cela a aussi participé à rendre Spark prêt à être utilisé en entreprise comme une solide base permettant d’exploiter des cahiers interactifs ».

“Spark accélère le traitement du Big Data par une API flexible. On note une tendance naturelle des utilisateurs et partenaires à mettre en avant le potentiel de Spark à partir d’applications client facilement compatibles avec Spark, et Livy rend tout cela possible, ”ajoute Anand Iyer, senior product manager chez Cloudera. “Livy ouvrira Spark à de nouveaux cas d’application et nous espérons que cela attirera une communauté de développeurs qui non seulement construiront des applications sur Livy, mais contribueront également à son développement en aidant à construire son API et améliorer ses fonctionnalités. Le projet en est encore à ses balbutiements et toute contribution aura un immense impact. ”