Cyril Cohen-Solal / Country Manager, Keyrus
Depuis une dizaine d’années, de nombreuses études ont mis en évidence ce que la non-qualité des données coûte aux entreprises. La plupart se focalisent sur les données unitaires (mauvaise adresse client, doublon…), mettant en exergue les conséquences de l’utilisation de données incomplètes, erronées ou incohérentes par les équipes commerciales et marketing. La question ne se limite cependant pas aux données de détail qui ne sont que la partie émergée de l’iceberg. Les problèmes de qualité de données se posent partout où il y a des bases de données, des systèmes transactionnels et des référentiels – autant dire absolument à tous les niveaux de l’entreprise. Pour améliorer la qualité des données, il faudrait donc agir en continu au niveau de tous les systèmes. Même s’il existe aujourd’hui des outils logiciels performants, les entreprises qui ont lancé des projets dans ce domaine (qualité de données, gouvernance de données, master data management…) peuvent témoigner des difficultés d’une telle démarche et du temps qu’il faut pour obtenir des améliorations tangibles et durables, notamment au niveau des outils décisionnels.
Traiter le problème au niveau du décisionnel
Face au besoin urgent d’assurance qualité souligné par les dirigeants d’entreprise, la solution la plus rapidement efficace consiste à faire porter les efforts non pas sur les systèmes transactionnels et opérationnels amont mais, compte tenu de la place centrale qu’il occupe désormais dans le fonctionnement de l’entreprise, sur l’environnement décisionnel lui-même. Pourquoi ? Parce que c’est vers la plate-forme décisionnelle que convergent aujourd’hui les données clés de l’entreprise (ERP, CRM, backoffice…). C’est là qu’elles sont consolidées mais aussi transformées et traitées pour alimenter le reporting et les tableaux de bord sur lesquels les dirigeants et les managers opérationnels fondent leurs décisions. C’est par conséquent à ce niveau qu’il est indispensable de s’assurer, d’une part, que les données entrantes sont valides (complètes, exactes et à jour) et, d’autre part, que les informations délivrées par les applications décisionnelles sont cohérentes entre elles et conformes aux normes métiers.
50% des gestionnaires de data d’entreprise estiment qu’ils auront sous 3 ans un système «Qualité de données temps réel». Cette technologie arrive en deuxième position après les systèmes de MDM.
Source : Rapport « Next Generation Data Integration » de TDWI, Second Quarter 2011
Prendre la mesure des conséquences
Si les informations fournies par le décisionnel sont fausses, incomplètes ou incohérentes, cela pose deux types de problèmes qui sont d’ailleurs liés. Le premier est la perte de confiance des utilisateurs dans les données, voire le rejet pur et simple des outils décisionnels. Typiquement, si les chiffres du tableau de bord du directeur général ne sont pas les mêmes que ceux du rapport du directeur des ventes, lesquels sont les bons ? A qui appartient-il de trancher ? D’où vient la divergence ? La cause est-elle au niveau des systèmes sources, du processus de chargement des données ou des traitements opérés sur les données ? Ces situations, très fréquentes, poussent les utilisateurs à se défier des données fournies par les systèmes de Business Intelligence (BI) et à multiplier les contrôles, ce qui leur fait perdre énormément de temps sans pour autant apporter de solution définitive aux problèmes détectés. En outre, elles jettent le discrédit sur les équipes en BI.
Deuxièmement, le défaut de qualité de données conduit à des décisions malencontreuses voire préjudiciables. Par exemple, dans le secteur télécoms, cette société s’apprêtait à arrêter une offre produit non-rentable au vu des états de reporting. Elle s’est aperçue à temps qu’il n’en était rien. En fait, l’offre était rentable mais une partie des revenus qu’elle générait était mal affectée, ce qui expliquait la marge négative apparaissant dans le reporting.
Autre exemple, une erreur dans la saisie d’unité (g contre mg) par une usine dans l’utilisation de produits toxiques n’a pu être détectée au niveau unitaire mais a provoqué au niveau consolidé une enquête règlementaire lourde injustifiée. Dans ces deux exemples, on comprend que les équipes en charge du décisionnel n’avaient pas les moyens de contrôler la qualité des données entrant et sortant du système décisionnel ni, a fortiori, d’alerter les utilisateurs sur d’éventuelles incohérences ou aberrations.
LES 3 RÈGLES D’OR DE L’ASSURANCE QUALITÉ BI
1. Intégrer les acteurs Business et leurs règles métiers
2. Mettre en place un contrôle temps réel, depuis la source jusqu’au reporting
3. Suivre, corriger, améliorer en continu
Un dispositif continu de contrôle et de validation
L’enjeu des systèmes décisionnels est plus que jamais de fournir aux utilisateurs des données fiables. Déployer une logique d’assurance qualité dans l’environnement décisionnel lui-même revient à mettre en place un dispositif permanent de contrôle et de validation des données dont le rôle peut être comparé à celui d’un logiciel antivirus. L’antivirus protège chaque ordinateur contre 90% des problèmes en faisant systématiquement barrage aux logiciels et données suspects et en vérifiant en permanence l’absence de comportements suspects des logiciels installés. Pour autant, il ne couvre pas la totalité des risques et doit être complété par des règles de gouvernance collective et de vigilance individuelle. Une politique de qualité de données doit nécessairement comporter ces deux mêmes volets : d’une part, des contrôles/alertes systématiques sous la responsabilité de l’équipe BI, et d’autre part, une vigilance/gouvernance sous la responsabilité conjointe des équipes fonctionnelles et BI.
Intégrer les fonctionnels dans le processus Qualité BI
Compte tenu de la diversité et du nombre toujours croissants des flux de données entrants et sortants des systèmes décisionnels, il devient pratiquement impossible de développer et maintenir manuellement tous les scripts de contrôle nécessaires pour garantir la qualité de données sur tous les domaines critiques pour l’entreprise. Une grande banque française a par exemple choisi de développer un dispositif de tests à base de script. Au bout de deux ans d’efforts, cette solution ne couvrait qu’un tiers de ses besoins de contrôle et de validation. L’apparition de nouveaux outils paramétrables rend désormais possible l’automatisation de tests de contrôle et de validation. Les tests sont lancés à chaque chargement de données dans le data warehouse de façon à vérifier l’exactitude et la cohérence des données et à garantir l’intégrité des référentiels en complétant, le cas échéant, les données manquantes. L’autre apport majeur de ce type de solutions est de permettre aux fonctionnels de définir des règles de cohérence pour les données/indicateurs clés de leur entreprise, ‘business unit’ ou département, par exemple « le taux de marge par produit ne peut être négatif », « le risque par contrat ne peut pas dépasser tel seuil », « les assurés véhicule ne peuvent pas avoir moins de 18 ans », « le chiffre d’affaires ne peut pas doubler d’un mois sur l’autre », etc.
En cas de non-conformité avec ces règles, une alerte est aussitôt émise et des tests complémentaires lancés pour mieux cibler l’origine du problème. Les responsables fonctionnels sont alertés et le problème peut être corrigé avant que la donnée défectueuse, anormale ou atypique soit propagée dans l’environnement décisionnel et dans l’entreprise.
Une approche qui renforce la valeur de la BI
Mettre en place une solution d’assurance qualité de données au niveau de la plate-forme décisionnelle présente de multiples avantages. Le premier est la possibilité d’aller vite et d’avancer indépendamment des projets de qualité de données à l’échelle de l’entreprise. Le second est d’obliger les parties prenantes (équipes techniques et fonctionnelles) à réfléchir sur le niveau de qualité requis ou acceptable. Il n’est en effet pas toujours pertinent de viser la qualité totale. On peut se concentrer sur les aspects les plus critiques ou les plus problématiques. Le fait d’impliquer les fonctionnels est un troisième avantage qui rééquilibre les responsabilités entre ceux qui assurent la production technique des données et ceux qui consomment ces données et qui sont, de ce fait, à même de juger de leur pertinence, de leur validité et de leur cohérence d’un point de vue métier. Cette responsabilité partagée et concertée se traduit logiquement par une plus grande confiance des utilisateurs dans les données qui leur sont fournies. Jugés plus fiables, les outils de BI sont alors davantage utilisés, ce qui conforte leur retour sur investissement. Enfin, une approche qualité de ce type devient quasiment indispensable dans un contexte où les outils de BI collaborative et de BI personnelle connaissent un succès croissant. La possibilité d’intégrer ces outils dans le périmètre contrôlé ne peut qu’empêcher la prolifération à l’intérieur de l’entreprise de données non vérifiées et potentiellement sources de décisions au mieux inappropriées, au pire très préjudiciables.
Traiter le problème au niveau du décisionnel
Face au besoin urgent d’assurance qualité souligné par les dirigeants d’entreprise, la solution la plus rapidement efficace consiste à faire porter les efforts non pas sur les systèmes transactionnels et opérationnels amont mais, compte tenu de la place centrale qu’il occupe désormais dans le fonctionnement de l’entreprise, sur l’environnement décisionnel lui-même. Pourquoi ? Parce que c’est vers la plate-forme décisionnelle que convergent aujourd’hui les données clés de l’entreprise (ERP, CRM, backoffice…). C’est là qu’elles sont consolidées mais aussi transformées et traitées pour alimenter le reporting et les tableaux de bord sur lesquels les dirigeants et les managers opérationnels fondent leurs décisions. C’est par conséquent à ce niveau qu’il est indispensable de s’assurer, d’une part, que les données entrantes sont valides (complètes, exactes et à jour) et, d’autre part, que les informations délivrées par les applications décisionnelles sont cohérentes entre elles et conformes aux normes métiers.
50% des gestionnaires de data d’entreprise estiment qu’ils auront sous 3 ans un système «Qualité de données temps réel». Cette technologie arrive en deuxième position après les systèmes de MDM.
Source : Rapport « Next Generation Data Integration » de TDWI, Second Quarter 2011
Prendre la mesure des conséquences
Si les informations fournies par le décisionnel sont fausses, incomplètes ou incohérentes, cela pose deux types de problèmes qui sont d’ailleurs liés. Le premier est la perte de confiance des utilisateurs dans les données, voire le rejet pur et simple des outils décisionnels. Typiquement, si les chiffres du tableau de bord du directeur général ne sont pas les mêmes que ceux du rapport du directeur des ventes, lesquels sont les bons ? A qui appartient-il de trancher ? D’où vient la divergence ? La cause est-elle au niveau des systèmes sources, du processus de chargement des données ou des traitements opérés sur les données ? Ces situations, très fréquentes, poussent les utilisateurs à se défier des données fournies par les systèmes de Business Intelligence (BI) et à multiplier les contrôles, ce qui leur fait perdre énormément de temps sans pour autant apporter de solution définitive aux problèmes détectés. En outre, elles jettent le discrédit sur les équipes en BI.
Deuxièmement, le défaut de qualité de données conduit à des décisions malencontreuses voire préjudiciables. Par exemple, dans le secteur télécoms, cette société s’apprêtait à arrêter une offre produit non-rentable au vu des états de reporting. Elle s’est aperçue à temps qu’il n’en était rien. En fait, l’offre était rentable mais une partie des revenus qu’elle générait était mal affectée, ce qui expliquait la marge négative apparaissant dans le reporting.
Autre exemple, une erreur dans la saisie d’unité (g contre mg) par une usine dans l’utilisation de produits toxiques n’a pu être détectée au niveau unitaire mais a provoqué au niveau consolidé une enquête règlementaire lourde injustifiée. Dans ces deux exemples, on comprend que les équipes en charge du décisionnel n’avaient pas les moyens de contrôler la qualité des données entrant et sortant du système décisionnel ni, a fortiori, d’alerter les utilisateurs sur d’éventuelles incohérences ou aberrations.
LES 3 RÈGLES D’OR DE L’ASSURANCE QUALITÉ BI
1. Intégrer les acteurs Business et leurs règles métiers
2. Mettre en place un contrôle temps réel, depuis la source jusqu’au reporting
3. Suivre, corriger, améliorer en continu
Un dispositif continu de contrôle et de validation
L’enjeu des systèmes décisionnels est plus que jamais de fournir aux utilisateurs des données fiables. Déployer une logique d’assurance qualité dans l’environnement décisionnel lui-même revient à mettre en place un dispositif permanent de contrôle et de validation des données dont le rôle peut être comparé à celui d’un logiciel antivirus. L’antivirus protège chaque ordinateur contre 90% des problèmes en faisant systématiquement barrage aux logiciels et données suspects et en vérifiant en permanence l’absence de comportements suspects des logiciels installés. Pour autant, il ne couvre pas la totalité des risques et doit être complété par des règles de gouvernance collective et de vigilance individuelle. Une politique de qualité de données doit nécessairement comporter ces deux mêmes volets : d’une part, des contrôles/alertes systématiques sous la responsabilité de l’équipe BI, et d’autre part, une vigilance/gouvernance sous la responsabilité conjointe des équipes fonctionnelles et BI.
Intégrer les fonctionnels dans le processus Qualité BI
Compte tenu de la diversité et du nombre toujours croissants des flux de données entrants et sortants des systèmes décisionnels, il devient pratiquement impossible de développer et maintenir manuellement tous les scripts de contrôle nécessaires pour garantir la qualité de données sur tous les domaines critiques pour l’entreprise. Une grande banque française a par exemple choisi de développer un dispositif de tests à base de script. Au bout de deux ans d’efforts, cette solution ne couvrait qu’un tiers de ses besoins de contrôle et de validation. L’apparition de nouveaux outils paramétrables rend désormais possible l’automatisation de tests de contrôle et de validation. Les tests sont lancés à chaque chargement de données dans le data warehouse de façon à vérifier l’exactitude et la cohérence des données et à garantir l’intégrité des référentiels en complétant, le cas échéant, les données manquantes. L’autre apport majeur de ce type de solutions est de permettre aux fonctionnels de définir des règles de cohérence pour les données/indicateurs clés de leur entreprise, ‘business unit’ ou département, par exemple « le taux de marge par produit ne peut être négatif », « le risque par contrat ne peut pas dépasser tel seuil », « les assurés véhicule ne peuvent pas avoir moins de 18 ans », « le chiffre d’affaires ne peut pas doubler d’un mois sur l’autre », etc.
En cas de non-conformité avec ces règles, une alerte est aussitôt émise et des tests complémentaires lancés pour mieux cibler l’origine du problème. Les responsables fonctionnels sont alertés et le problème peut être corrigé avant que la donnée défectueuse, anormale ou atypique soit propagée dans l’environnement décisionnel et dans l’entreprise.
Une approche qui renforce la valeur de la BI
Mettre en place une solution d’assurance qualité de données au niveau de la plate-forme décisionnelle présente de multiples avantages. Le premier est la possibilité d’aller vite et d’avancer indépendamment des projets de qualité de données à l’échelle de l’entreprise. Le second est d’obliger les parties prenantes (équipes techniques et fonctionnelles) à réfléchir sur le niveau de qualité requis ou acceptable. Il n’est en effet pas toujours pertinent de viser la qualité totale. On peut se concentrer sur les aspects les plus critiques ou les plus problématiques. Le fait d’impliquer les fonctionnels est un troisième avantage qui rééquilibre les responsabilités entre ceux qui assurent la production technique des données et ceux qui consomment ces données et qui sont, de ce fait, à même de juger de leur pertinence, de leur validité et de leur cohérence d’un point de vue métier. Cette responsabilité partagée et concertée se traduit logiquement par une plus grande confiance des utilisateurs dans les données qui leur sont fournies. Jugés plus fiables, les outils de BI sont alors davantage utilisés, ce qui conforte leur retour sur investissement. Enfin, une approche qualité de ce type devient quasiment indispensable dans un contexte où les outils de BI collaborative et de BI personnelle connaissent un succès croissant. La possibilité d’intégrer ces outils dans le périmètre contrôlé ne peut qu’empêcher la prolifération à l’intérieur de l’entreprise de données non vérifiées et potentiellement sources de décisions au mieux inappropriées, au pire très préjudiciables.
A propos de l'auteur
Diplômé d’Informatique de Gestion (Paris Dauphine), Cyril Cohen-Solal possède une expertise de 15 années dans le domaine de la Business Intelligence qui lui a permis d’accompagner les plus grandes entreprises en France et à l’International dans la conception et mise en œuvre de leur système décisionnel. Cyril Cohen-Solal est également en charge, au sein du Groupe Keyrus depuis l’acquisition en 2011 de l’éditeur Vision.bi, de la distribution des solutions d’amélioration de la qualité des environnements décisionnels, commercialisées sous la marque « Quality Gates ». En parallèle à ces activités, il enseigne depuis 8 ans à Paris Dauphine dans le cadre du Master Informatique Décisionnel.