Le traitement des données ne date pas d’hier
En matière de traitement de gros volumes de données, deux écoles de pensées se sont dessinées avec le temps. D’une part, le datawarehouse qui mobilise des outils d’extraction, de transformation et de chargement de données – les fameux ETL – et d’autre part, la virtualisation des données.
La première école est une ancienne méthode encore largement appliquée par les entreprises. Elle nécessite un traitement quotidien de la gestion des données. La seconde est, de son côté, plus récente et prend en compte les enseignements de la première.
Le datawarehouse, un moyen efficace pour gérer les données ?
Les datawarehouses sont des moyens efficaces pour gérer les données. Ils n’offrent cependant pas la vision panoramique nécessaire à chacun pour travailler ensemble. Le tableau qu’ils génèrent est incomplet, donnant lieu à de multiples interprétations. Osez imaginer la situation d’un trader dans une grande banque et son service de conformité face à différentes versions d’une information donnée. Aucun des deux parties n’a tort mais leurs versions divergentes peuvent être source de conflits au sein de l’entreprise et leur porter préjudice, par exemple, au regard des réglementations adoptées.
Stocker les données en entrepôts n’est plus adapté aux banques. A l’origine, les produits d’une banque étaient organisés par lignes métiers : revenus fixes, titres de propriété, contrats à terme et options, courtage…Chaque équipe bénéficiait de ses propres systèmes d’informations et services, ce qui donnait lieu à une analyse des données séparée dans des entrepôts bien distincts. Les requêtes étaient menées individuellement auprès de chacune des équipes – ventes, recherche, gestion des risques… – et ne requéraient pas une vue unifiée de l’ensemble de l’organisation. Or, les établissements bancaires doivent désormais gérer des demandes entrantes qui sont le terrain de jeux de plusieurs lignes métiers en concurrence ou complémentaires.
Du fait de l’augmentation du nombre de clients, de l’élargissement de l’éventails de produits financiers et des fusions réalisées, les activités bancaires se sont complexifiées avec le temps. Les entrepôts ne pouvaient plus gérer la masse d’informations produite. Les banques avaient besoin d’un nouveau système offrant des versions à la fois unifiées et complètes des événements et ce, beaucoup plus rapidement. La virtualisation était alors la lumière au bout du chemin.
La virtualisation, une approche qui facilite l’accès aux données
A l’origine, le processus traditionnel d’extraction, de transformation et de chargement des données au sein de l’entrepôt ne donnait pas au demandeur un accès instantané et en temps réel au système source. Sur ce point, la virtualisation est un progrès non négligeable.
Ce manque de fluidité du processus était source d’erreurs et impliquait une migration massive de données qui devaient être extraites d’un point spécifique. Les copies ainsi obtenues devaient être gérées, contrôlées et sécurisées – un véritable gaspillage de ressources.
La virtualisation des données couvre l’ensemble des sources originales, quel que soit le datawarehosue et la ligne métier. Elle ne nécessite pas de système de données physique et intégré. L’infrastructure existante assure ses fonctions de base tandis que la couche de virtualisation utilise les données issues de ces sources.
De même, elle améliore la communication, facilite l’accès aux données de l’organisation et permet d’extraire rapidement des connaissances d’une multitude de sources. Un vaste projet de traitement des données n’est plus utile comme l’exige l’alternative de recourir à l’ETL ou l’entrepôt.
En effet, lorsqu’un employé avait besoin de données sur une référence client, celui-ci devait s’adresser à chaque ligne métier séparément et assurer le suivi de sa demande jusqu’à sa bonne exécution. Ce processus a créé un véritable marché noir de la donnée : les équipes en charge de la distribution des données copiaient le contenu du système d’enregistrements et ajoutaient leurs propres informations en fonction de leurs besoins spécifiques.
Travestis en « courtiers de la donnée », les équipes mettaient en œuvre une pratique à haut risque comme, par exemple, dans le cadre d’audits au sein de l’organisation. Les conséquences étaient désastreuses : baisse de la productivité, infraction des règles de conformité et coûts d’intégration de données très élevées.
Un avantage financier pour les organisations
La virtualisation s’est présentée comme une méthode déterminante non seulement sur le plan de l’organisation des données mais aussi financier. Elle a la capacité de réunir et de collecter des informations de toutes les sources en couvrant chaque ligne métier. Les données sont ensuite agrégées en une seule entité logique intelligible par tous quelque que soit leur provenance – portail, rapport, application…
Au niveau financier, les entreprises constatent un retour sur investissement potentiel de 300 %, une chute de 83 % du coût de la distribution des données et une hausse de la qualité allant jusqu’à 25 %. Au vu de la valeur des données financières, les dividendes potentiels pourraient être considérables.
Les entreprises ont tout intérêt à appréhender la virtualisation au-delà de ses seuls atouts technologiques. Elle pourrait bientôt devenir le fer-de-lance de leur développement commercial. L’ETL n’a qu’à bien se tenir.
En matière de traitement de gros volumes de données, deux écoles de pensées se sont dessinées avec le temps. D’une part, le datawarehouse qui mobilise des outils d’extraction, de transformation et de chargement de données – les fameux ETL – et d’autre part, la virtualisation des données.
La première école est une ancienne méthode encore largement appliquée par les entreprises. Elle nécessite un traitement quotidien de la gestion des données. La seconde est, de son côté, plus récente et prend en compte les enseignements de la première.
Le datawarehouse, un moyen efficace pour gérer les données ?
Les datawarehouses sont des moyens efficaces pour gérer les données. Ils n’offrent cependant pas la vision panoramique nécessaire à chacun pour travailler ensemble. Le tableau qu’ils génèrent est incomplet, donnant lieu à de multiples interprétations. Osez imaginer la situation d’un trader dans une grande banque et son service de conformité face à différentes versions d’une information donnée. Aucun des deux parties n’a tort mais leurs versions divergentes peuvent être source de conflits au sein de l’entreprise et leur porter préjudice, par exemple, au regard des réglementations adoptées.
Stocker les données en entrepôts n’est plus adapté aux banques. A l’origine, les produits d’une banque étaient organisés par lignes métiers : revenus fixes, titres de propriété, contrats à terme et options, courtage…Chaque équipe bénéficiait de ses propres systèmes d’informations et services, ce qui donnait lieu à une analyse des données séparée dans des entrepôts bien distincts. Les requêtes étaient menées individuellement auprès de chacune des équipes – ventes, recherche, gestion des risques… – et ne requéraient pas une vue unifiée de l’ensemble de l’organisation. Or, les établissements bancaires doivent désormais gérer des demandes entrantes qui sont le terrain de jeux de plusieurs lignes métiers en concurrence ou complémentaires.
Du fait de l’augmentation du nombre de clients, de l’élargissement de l’éventails de produits financiers et des fusions réalisées, les activités bancaires se sont complexifiées avec le temps. Les entrepôts ne pouvaient plus gérer la masse d’informations produite. Les banques avaient besoin d’un nouveau système offrant des versions à la fois unifiées et complètes des événements et ce, beaucoup plus rapidement. La virtualisation était alors la lumière au bout du chemin.
La virtualisation, une approche qui facilite l’accès aux données
A l’origine, le processus traditionnel d’extraction, de transformation et de chargement des données au sein de l’entrepôt ne donnait pas au demandeur un accès instantané et en temps réel au système source. Sur ce point, la virtualisation est un progrès non négligeable.
Ce manque de fluidité du processus était source d’erreurs et impliquait une migration massive de données qui devaient être extraites d’un point spécifique. Les copies ainsi obtenues devaient être gérées, contrôlées et sécurisées – un véritable gaspillage de ressources.
La virtualisation des données couvre l’ensemble des sources originales, quel que soit le datawarehosue et la ligne métier. Elle ne nécessite pas de système de données physique et intégré. L’infrastructure existante assure ses fonctions de base tandis que la couche de virtualisation utilise les données issues de ces sources.
De même, elle améliore la communication, facilite l’accès aux données de l’organisation et permet d’extraire rapidement des connaissances d’une multitude de sources. Un vaste projet de traitement des données n’est plus utile comme l’exige l’alternative de recourir à l’ETL ou l’entrepôt.
En effet, lorsqu’un employé avait besoin de données sur une référence client, celui-ci devait s’adresser à chaque ligne métier séparément et assurer le suivi de sa demande jusqu’à sa bonne exécution. Ce processus a créé un véritable marché noir de la donnée : les équipes en charge de la distribution des données copiaient le contenu du système d’enregistrements et ajoutaient leurs propres informations en fonction de leurs besoins spécifiques.
Travestis en « courtiers de la donnée », les équipes mettaient en œuvre une pratique à haut risque comme, par exemple, dans le cadre d’audits au sein de l’organisation. Les conséquences étaient désastreuses : baisse de la productivité, infraction des règles de conformité et coûts d’intégration de données très élevées.
Un avantage financier pour les organisations
La virtualisation s’est présentée comme une méthode déterminante non seulement sur le plan de l’organisation des données mais aussi financier. Elle a la capacité de réunir et de collecter des informations de toutes les sources en couvrant chaque ligne métier. Les données sont ensuite agrégées en une seule entité logique intelligible par tous quelque que soit leur provenance – portail, rapport, application…
Au niveau financier, les entreprises constatent un retour sur investissement potentiel de 300 %, une chute de 83 % du coût de la distribution des données et une hausse de la qualité allant jusqu’à 25 %. Au vu de la valeur des données financières, les dividendes potentiels pourraient être considérables.
Les entreprises ont tout intérêt à appréhender la virtualisation au-delà de ses seuls atouts technologiques. Elle pourrait bientôt devenir le fer-de-lance de leur développement commercial. L’ETL n’a qu’à bien se tenir.
A propos de l’auteur
Robert Eve est Senior Director chez TIBCO Software. Avec plus de 30 ans d'expérience dans le domaine de la donnée et de l'analytique, ses spécialités incluent la virtualisation des données, la gouvernance informatique et la stratégie de mise sur le marché. Robert Eve est titulaire d'une maîtrise en gestion du MIT et d'un Bachelor en Administration des affaires avec Mentions de l'Université de Berkeley en Californie.
Autres articles
-
TPG investit 336 millions de dollars pour accélérer la croissance de Denodo, leader de la gestion de données
-
Quand allons-nous enfin reconnaître le rôle des données dans la performance des entreprises ?
-
Optimisation des données et stratégie d’entreprise : l'intelligence est un privilège
-
Intégration des Données : TIBCO améliore ses offres en apportant de l’intelligence à ses processus d’unification
-
TIBCO présente de nouvelles fonctions d'analyse ultra immersives pour étendre la science des données à l'ensemble de l'entreprise