Big Data : Hadoop n’est pas la panacée universelle

L’observation des premières expériences Big Data montre que de nombreuses technologies différentes sont utilisées, même si une technologie émergente, basée sur le projet open-source Apache Hadoop, est très souvent présente dans les infrastructures des pionniers du Big Data. La popularité d’Hadoop semble résider dans sa capacité à traiter de grands volumes de données, avec une infrastructure faite de grappes de serveurs standards low cost. Mais attention tous les experts indiquent qu’il n’y a pas de solutions universelles en matière de Big Data, que les utilisateurs doivent déterminer en fonction de leurs besoins le mixte de technologie qu’il convient qu’ils mettent en place, et définir précisément où chacune (dont Hadoop) peut ajouter de la valeur dans leur architecture décisionnelle.

D’abord, il faut considérer les données qui sont à traiter. Il y a celles dont le modèle de données est établi et stable dans le temps. Ici nous trouverons tout ce qui concerne la BI classique, le reporting, les analyses financières, les décisions automatisées liées à l’opérationnel, et l’analyse des données spatiales. Il y a celles que l’on peut stocker de façon plus ou moins brute, et qui vont être modélisées de différentes façons suivant les besoins des analyses itératives. Cela peut concerner par exemple les analyses des clics des utilisateurs dans leur navigation sur le web, les données des capteurs, les CDR dans les télécommunications. Il y a celles qui sont simplement définie par un format. Il s’agit par exemple des images, des vidéos, et des enregistrements audio.

Il faut aussi considérer ce que l’on veut faire des données. Si l’idée est d’exploiter classiquement (reporting, BI, data mining) des données structurées, un appliance classique convient parfaitement, on peut éventuellement le compléter d’un stockage bon marché avec une solution Hadoop ou un appliance spécifique comme « l’Extreme Data Appliance » de Teradata pour certaines données qui n’ont pas grand intérêt à être intégrées dans le modèle de l’entrepôt d’entreprise. Pour les autres données (web log, capteurs, CDR, images, vidéos, ...) il faut avoir recours suivant les traitements prévus à des solutions du type Hadoop et/ou Teradata Aster, qui permettent de mettre en œuvre à moindre coût (stockage, développement d’application, exploitation, intégration avec l’entrepôt de données structurées) des programmes MapReduce.

A noter que la solution Teradata Aster MapReduce utilise une technologie brevetée SQL-MapReduce qui permet de mettre en œuvre des programmes MapReduce sans avoir à apprendre un nouveau langage de programmation. Cette solution offre aussi des performances, une évolutivité pour prendre en charge de gros volumes de données, et traiter des données relationnelles avec des données relevant de divers formats. Par rapport à Hadoop cette solution offre des avantages conséquents en matière de charges de développement d’applications et de temps de réponse des requêtes par exemple.

Qu'elle soit mesurée par une augmentation des revenus, des gains de parts de marché ou la réduction des coûts, l’analyse des données a toujours joué un rôle clé dans la réussite des entreprises. Aujourd’hui le développement d’internet et de processus d'affaires automatisés, rend crucial l’exploitation des Big Data, et amènent les dirigeants d'entreprises à dépendre de plus en plus de leurs moyens d’analyse de données. Dans ce contexte, les équipes informatiques sont alors amenées à compléter leurs infrastructures décisionnelles existantes, avec de nouvelles solutions qui permettent de mettre en œuvre des algorithmes complexes. Les pionniers qui ont déjà exploités des Big Data avec succès disent tous qu’il n’existe pas de solution miracle, pas plus Hadoop qu’une autre, c’est pourquoi Teradata propose différentes plateformes mettant en œuvre la base de données Teradata, la solution Aster MapReduce ansi qu’Hadoop.

Pour aller plus loin sur le sujet vous pouvez utilement découvrir le dernier Teradata Aster Big Analytics Appliance qui intègre dans une même plateforme les solutions Aster et Hadoop (distribution Hortonworks) :
http://www.asterdata.com/resources/downloads/datasheets/Teradata-Aster-Big-Analytics-Appliance-Datasheet.pdf