Les technologies traditionnelles des entrepôts de données vont devoir cohabiter avec les équipements de nouvelle génération dans les salles blanches.
Le Data Warehouse traditionnel est-il démodé ? A écouter les déclarations des VP de SAP, menés à la bataille par le patriarche Hasso Plattner, la page est tournée. Les entrepôts de données statiques, mis à jour en temps différé avec des données agrégées faute de place, ont fait leur temps. Timo Elliott de SAP n’hésite pas à diaboliser (un peu) le directeur informatique en gardien du temple : « We don’t let people access the data warehouse – that would slow it down too much » que l’on pourrait traduire par « Ne laissons pas les utilisateurs accéder à l’entrepôt de données, ça le ralentirait trop. »
Avec l’abaissement des couts de stockage, l’arrivée des SSD et l’augmentation de la puissance des processeurs, réaliser des recherches en temps quasi-réel ou avec des temps de réponses acceptables, sans qu’il soit nécessaire de préparer le travail dans des datamarts, est maintenant une réalité. SAP pousse bien évidemment sa base en mémoire HANA pour conquérir le marché, avec un certain succès. Avec 2.100 clients et un chiffre d’affaires de 149 M€ (+79%) au dernier trimestre, HANA commence à trouver sa place alors que les ventes de licences traditionnelles de SAP s’essoufflent. HANA permet notamment d’accélérer SAP BW qui en avait bien besoin. SAP place désormais HANA en tant que composant central de l’Enterprise Data Warehouse (EDW), l’entrepôt de données global de l’entreprise et pour ceux qui considèreraient HANA comme une solution un peu trop légère vis-à-vis de leurs besoins, SAP leur propose Sybase IQ dès lors que les volumétries deviennent trop importantes. Sybase IQ est rangé dans la classe des bases peta-octiques par son éditeur.
Avec l’abaissement des couts de stockage, l’arrivée des SSD et l’augmentation de la puissance des processeurs, réaliser des recherches en temps quasi-réel ou avec des temps de réponses acceptables, sans qu’il soit nécessaire de préparer le travail dans des datamarts, est maintenant une réalité. SAP pousse bien évidemment sa base en mémoire HANA pour conquérir le marché, avec un certain succès. Avec 2.100 clients et un chiffre d’affaires de 149 M€ (+79%) au dernier trimestre, HANA commence à trouver sa place alors que les ventes de licences traditionnelles de SAP s’essoufflent. HANA permet notamment d’accélérer SAP BW qui en avait bien besoin. SAP place désormais HANA en tant que composant central de l’Enterprise Data Warehouse (EDW), l’entrepôt de données global de l’entreprise et pour ceux qui considèreraient HANA comme une solution un peu trop légère vis-à-vis de leurs besoins, SAP leur propose Sybase IQ dès lors que les volumétries deviennent trop importantes. Sybase IQ est rangé dans la classe des bases peta-octiques par son éditeur.
Le data warehouse devient hybride
Jean-Michel Franco, directeur Solutions chez Business&Decision : « On aura toujours besoin des données traditionnelles, mais ce ne sera plus le composant central unique. A ses côtés, on a besoin d’un outil de recherche, de « discovery ».
Pour autant, quelle entreprise a mis au rebus les entrepôts de données « historiques » pour les remplacer par ces logiciels de nouvelle génération ? Mis en place à grands frais voici dix à quinze ans pour certaines, ces bases de données représentent encore la mémoire de l’entreprise et les arrêter risque de s’avérer bien plus compliqué que certains commerciaux SAP ne l’espèrent. Jean-Michel Franco, directeur Solutions chez Business&Decision explique : « Le data warehouse, c’est un peu comme le concept de longue traine : il permet de travailler la donnée dans le temps, sur la durée, mais il peut s’avérer beaucoup moins adapté lorsqu’il s’agit de travailler sur de la donnée non structurée, dont le schéma est établi a posteriori. C’est un nouveau cas d’usage. » Quel utilisateur Oracle Report ou BusinessObjects n’a pas rêvé de disposer d’un outil de type Qlikview pour explorer une idée ou plus simplement chercher l’origine d’une donnée. L’arrivée de salariés voulant disposer d’outils de navigation temps réel dans la donnée a interpelé tous les acteurs du secteur. Michel Bruley, directeur marketing de Teradata/Aster pour l’Europe le reconnait : « Pendant des années, la base de données Teradata devait traiter l’ensemble des besoins des entreprises en termes d’entrepôt de données. Mais, Teradata a évolué. Le Data warehouse a évolué : Cela fait maintenant 3 ans que nous produisons des serveurs intégrant des mémoires SSD et la prochaine version de notre base de données Teradata intègre le « in-memory » depuis sa V 14.10. »
Amaury Prévot-Leygonie, consultant BI et data Warehouse Senior chez Keyrus ajoute : « Pour moi, je vois 2 tendances importantes dans les data warehouses : d’un part l’arrivée des équipements spécialisés (les appliances) tels que j’ai pu tester chez Teradata et le Big Data. Les appliances, avec le stockage en colonnes des données et les SSD, offrent des performances de traitement des données extrêmement élevées, ça offre une toute nouvelle aisance à exploiter les données, les analyses. » L’autre phénomène, c’est Hadoop qui va venir relayer les ETLs sur un certain nombre de traitements où ils étaient à la peine : « i[Certains flux ETL pourront migrer vers Hadoop, je pense notamment au cas du Ministère de la Justice pour l’analyse des dossiers des prévenus. Ces documents peu structurés, tous différents avec de multiples relations internes se prêtent très mal à l’approche classique SQL : la migration vers Hadoop permet de simplifier l’analyse et gagner en vitesse] », explique Amaury Prévot-Leygonie qui ajoute : « Le Big Data, c’est via HDFS, la possibilité de stocker des données sans structure : on sort totalement de l’approche traditionnelle : les chaines de chargements ETL ne sont pas remises en cause, mais avec Hadoop on peut réaliser des calculs que l’on ne pouvait pas réaliser en SQL, c’est le V de variété avec Volume, vitesse et véracité. » Informatica, Talend… tous ont ajouté à leurs offres une brique ou au moins un interfaçage à des solutions MapReduce, et le déport d’un calcul de score sur un cluster Hadoop peut être piloté via l’ETL.
Amaury Prévot-Leygonie, consultant BI et data Warehouse Senior chez Keyrus ajoute : « Pour moi, je vois 2 tendances importantes dans les data warehouses : d’un part l’arrivée des équipements spécialisés (les appliances) tels que j’ai pu tester chez Teradata et le Big Data. Les appliances, avec le stockage en colonnes des données et les SSD, offrent des performances de traitement des données extrêmement élevées, ça offre une toute nouvelle aisance à exploiter les données, les analyses. » L’autre phénomène, c’est Hadoop qui va venir relayer les ETLs sur un certain nombre de traitements où ils étaient à la peine : « i[Certains flux ETL pourront migrer vers Hadoop, je pense notamment au cas du Ministère de la Justice pour l’analyse des dossiers des prévenus. Ces documents peu structurés, tous différents avec de multiples relations internes se prêtent très mal à l’approche classique SQL : la migration vers Hadoop permet de simplifier l’analyse et gagner en vitesse] », explique Amaury Prévot-Leygonie qui ajoute : « Le Big Data, c’est via HDFS, la possibilité de stocker des données sans structure : on sort totalement de l’approche traditionnelle : les chaines de chargements ETL ne sont pas remises en cause, mais avec Hadoop on peut réaliser des calculs que l’on ne pouvait pas réaliser en SQL, c’est le V de variété avec Volume, vitesse et véracité. » Informatica, Talend… tous ont ajouté à leurs offres une brique ou au moins un interfaçage à des solutions MapReduce, et le déport d’un calcul de score sur un cluster Hadoop peut être piloté via l’ETL.
Le ‘Discovery’ se place en complément de l’entrepôt de données
Bousculé par les nouvelles technologies, l’entrepôt de données reste indéboulonnable en tant que fondement de la Business intelligence des entreprises. Il va devoir cependant cohabiter avec de nouvelles briques du système d’informations comme le souligne Jean-Michel Franco : « On aura toujours besoin des données traditionnelles, mais ce ne sera plus le composant central unique. A ses côtés, on a besoin d’un outil de recherche, de « discovery ». C’est ce que propose Teradata avec sa plateforme Aster qui va se positionner comme un outil agile, capable de travailler sur des données non structurées, un outil s’adressant à un nombre plus faible d’utilisateurs. Le concept de base qui fait tout, c’est fini. Même SAP, qui mise sur HANA, a fini par intégrer Sybase IQ dans le périmètre de son offre. Tous les éditeurs l’ont compris et ils ont maintenant tous Hadoop à leur catalogue. » L’enjeu de l’entrepôt de données du futur va être de faire cohabiter ces univers différents, sans multiplier, une fois de plus, les silos. Le Gartner a baptisé cette notion d’entrepôt de données « logique » (Logical Data warehouse) : un entrepôt de données unique d’un point de vue logique, mais constitué de plusieurs entrepôts de données, plusieurs datamarts et avec de multiples technologies sous-jacentes : relationnel, NoSQL, non structuré.
Michel Bruley espère que Teradata sera en avance et convaincre ses clients : « On offre plusieurs plates-formes, dont Aster et Hadoop. L’intégration de toutes nos offres est réalisée avec Teradata UDA (Unified Data Architecture) qui fait en sorte que ces différents composants parlent entre eux. L’entreprise va disposer d’une plate-forme analytique qu’elle va utiliser pour réaliser du discovery puis ensuite elle va industrialiser ses requêtes sur le data warehouse. »
L’entrepôt de donnée monolithique est mort, il est temps de passer à l’hybride !
Michel Bruley espère que Teradata sera en avance et convaincre ses clients : « On offre plusieurs plates-formes, dont Aster et Hadoop. L’intégration de toutes nos offres est réalisée avec Teradata UDA (Unified Data Architecture) qui fait en sorte que ces différents composants parlent entre eux. L’entreprise va disposer d’une plate-forme analytique qu’elle va utiliser pour réaliser du discovery puis ensuite elle va industrialiser ses requêtes sur le data warehouse. »
L’entrepôt de donnée monolithique est mort, il est temps de passer à l’hybride !
Autres articles
-
Qlik améliore l’intégration avec SAP, Databricks et Snowflake et favorise la création de valeur grâce à l’IA
-
Teradata lance des cas d’usage d’IA générative à démarrage rapide grâce à l’intégration d’Amazon Bedrock
-
Oracle Database@Azure disponible dans de nouvelles régions et avec de nouveaux services pour répondre à la demande mondiale
-
Teradata nomme Louis Landry au poste de Chief Technology Officer
-
Teradata AI Unlimited pour Microsoft Fabric est désormais disponible en avant-première via Microsoft Fabric Workload Hub