eBay est déjà bien équipé pour gérer le Big Data

Dans ces conditions on comprend facilement que le terme Big Data a un sens chez eBay, qui pour s’éclairer sur toutes ses activités et en tirer un enseignement, utilise un mix de moyens décisionnels fondés sur Teradata et Hadoop. eBay cherche en premier à donner à ses analystes et ingénieurs les outils qu'ils veulent. Les analystes financiers par exemple sont habitués à des outils conviviaux qui ne les obligent pas à programmer et leur masquent les ordres SQL. D’un autre côté beaucoup d’ingénieurs ne sont pas opposés à utiliser le framework de développement MapReduce, qui leur permet de traiter les données non structurées (web logs, text, social network, ...). Enfin l’utilisation parallèle et conjointe de ces moyens crée un environnement analytique particulièrement riche pour les « data scientists ».

La grande quête d’informations vise principalement à comprendre ce dont les clients ont besoin, ce qui fonctionne, ce qu’il faudrait améliorer. Concrètement des analyses sont faites dans l’optique d’optimiser les expériences des vendeurs et des acheteurs. Par exemple Hadoop s'est révélé particulièrement utile pour interpréter les mots mal orthographiés, ce qui fait que maintenant le moteur de recherche d'eBay sait faire des propositions pertinentes, même si un mot, un nom de produit ont été tapés de façon incorrecte. Toutes les dimensions des relations commerciales sont ainsi passées au peigne fin, promotion marketing, sécurité, service, finance, fidélité, ...dans une recherche constante de qualité. Cependant même si Hadoop offre de nombreux avantages, c’est une technologie difficile à bien maîtriser, et les ingénieurs ont dû retrousser leurs manches et se plonger dans le code source pour en devenir des experts. Au final les résultats sont fondamentalement le fruit d'une collaboration entre les différentes équipes informatiques, d’analyse avancée et métier

eBay exploite actuellement trois systèmes qui sont alimentés (ELT) grâce à des solutions d’AB Initio et d’UC4. Le premier et le plus petit système, est un entrepôt d’entreprise Teradata de 6 P0 qui intègre des données structurées et peut supporter plus de 500 utilisateurs concurrents. Le deuxième est un « extreme data appliance Teradata » de 40 P0 qui gère des données semi-structurées, permet de réaliser des analyses complexes (saisonnalité, ...) et supporte 150 utilisateurs concurrents. Le troisième est un système Hadoop fondé sur des serveurs de commodité, qui gère plus de 20 P0 de données non-structurées et supporte moins de 10 utilisateurs concurrents. Enfin toutes ces données sont exploitées avec divers moyens dont SQL, Pig, Hive, SAS, Microstrategy, Tableau Software, ...

Pour aller plus loin sur ce cas vous pouvez voir différentes présentations sur Youtube que vous trouverez en tapant les mots : Big Data et eBay.