Ce sont eux qui préparent la data, la normalisent et la « nettoient » afin de la rendre exploitable pour pouvoir en faire des extractions et des analyses. Préparer les données pour en tirer les bonnes informations est essentiel car la qualité des données devient de plus en plus bénéfique. Utiliser la data comme outil d’aide à la décision se fera largement à tous les niveaux et pour tout type d’entreprises. Un métier d’avenir donc, car le besoin en ingénieurs de la donnée est actuellement en train de croitre et il semblerait que le marché soit confronté à un problème récurrent de recrutement mais également de rétention de ceux déjà en poste.
Manque de formation et accélération de la transformation
Plusieurs raisons expliqueraient ces difficultés à recruter des ingénieurs de la donnée. Tout d’abord, il existe des raisons contextuelles, puisqu’il y a quelques années la data n’occupait pas une telle place au sein des entreprises et les primo-arrivants sur le marché de l’emploi, fraichement diplômés, ne sont pas formés au traitement massif des données, qui nécessite de maîtriser de nouvelles solutions et de nouveaux langages, notamment dans le cloud. Aujourd’hui la quantité de données générée est telle que les compétences jusqu’alors demandées ne sont plus suffisantes et ont largement dépassé le niveau des fonctions de back office où elles étaient autrefois cantonnées. Elles concernent aujourd’hui l’ensemble des « métiers » en entreprise qui veulent tous « consommer » de la donnée.
Si le système éducatif semble avoir compris ces nouveaux enjeux et propose désormais des formations spécifiques afin de pallier ce manque, il n’est pas le seul à blâmer pour comprendre cette pénurie. En effet, il semblerait que tout le monde ait eu du mal à suivre la cadence de l’évolution de la technologie, qu’il s’agisse de vitesse de connexion aux ordinateurs, ou de déploiement de la fibre optique. Cette vitesse de connexion a permis une compression optimale, entrainant une forte accélération de la production de données et donc des besoins d’analyse. A cela s’ajoute le développement des objets connectés, et l’accès à de plus en plus de bases de données, que ce soit via les initiatives d’open data, ou via les échanges de plus en plus fréquents entre partenaires business. Toutes ces nouveautés entrainent la multiplication des sources de données et la nécessité de les traiter pour pouvoir les exploiter.
La situation actuelle serait plutôt la conséquence de la difficulté à s’adapter à la vitesse d’évolution de la technologie plutôt qu’un manque d’anticipation.
Vision d’ensemble et appétence pour les corrélations, les deux compétences clés du data engineer
Le recrutement d’ingénieurs de la donnée est essentiel mais il faut également pouvoir identifier les bons profils ayant les connaissances techniques, et qui sauront comprendre les enjeux commerciaux de la donnée. Être data engineer requiert des aptitudes spécifiques comme la capacité à avoir une vue d’ensemble des activités de l’entreprise. Lorsqu’un ingénieur de la donnée se penche sur celle-ci, il ne la traite pas pour un usage unique ; il doit alors être capable d’avoir une vision globale, pour savoir où ses données peuvent être appliquées et comment en optimiser l’usage. Il doit également questionner la provenance de la donnée, sa fiabilité, ainsi que sa capacité à être interprétée de différentes manières. Enfin, l’ingénieur de la donnée doit se demander comment préserver l’utilisateur d’une erreur d’interprétation de la donnée fournie ? Autant de questions essentielles à la préparation de la donnée pour lui donner une vraie valeur.
Autre aspect non négligeable de la fonction en lien avec la capacité à prendre de la hauteur ; un bon ingénieur de la donnée doit savoir collaborer avec les autres métiers. En effet, il doit être parfaitement au fait du travail du data scientist ; en comprenant ses missions pour lui préparer les données à analyser les plus « propres » possibles. Enfin, il doit combiner curiosité et « Data Literacy » (ou datalphabétisation en français), c’est-à-dire la capacité à lire, analyser, travailler et argumenter tout en ayant recours aux données pour la prise de décision. Sans cette tournure d’esprit spécifique, son parcours professionnel au sein de la donnée risque de se terminer plus tôt que prévu.
Comment recruter les data engineers puis les retenir en entreprise ?
Dans le cadre d’un recrutement, il faut également apporter un soin particulier à la typologie des postes proposés et à la façon dont ils sont nommés. En effet, l'absence de normalisation en termes de dénomination des rôles peut parfois prêter à confusion. Certaines entreprises vont qualifier les ingénieurs en informatique de scientifiques des données et vice versa. Il y a donc un réel besoin d'uniformiser, de classifier et de préciser le rôle de l’ingénieur de la donnée. La formation apporte une première réponse afin de normaliser et de certifier les rôles entre les ingénieurs et les scientifiques, mettant fin aux confusions récurrentes. Dans certains pays, une qualification spécifique est requise pour devenir ingénieur. Au Canada, par exemple, il faut être titulaire d'un diplôme en ingénierie pour exercer ce type de fonctions alors qu’ailleurs de nombreux développeurs sont diplômés en informatique.
Quoi qu’il en soit, la profession a de plus en plus de succès. Selon une étude réalisée par l’EBG (Electronic Business Group) et Stratégies, les profils data sont les plus plébiscités à 84 % par les dirigeants interrogés sur ce sujet. Mais une fois les recrutements réalisés, il faut réussir à faire en sorte de stimuler et retenir ces ingénieurs. Cela peut se faire en bonne intelligence avec des dispositifs qui ont déjà fait leur preuve en termes de renforcement de l’implication et de l’engagement des salariés : lancer des défis constants, donner les moyens nécessaires à l’accomplissement des tâches et valoriser le travail effectué. La motivation peut aussi passer par la rémunération et il faut être en mesure de proposer des salaires attractifs car la conséquence directe de cette course au bon profil est une forte hausse des salaires obtenus par les data scientists, les data miners ou autres responsables BI, et architectes data en 2019 (+ 12,8 %). Enfin, les outils mis à leur disposition et faisant la différence par rapport à la concurrence sont le dernier critère essentiel d’attractivité. Ainsi, les solutions de Data Integration évoluent pour faciliter leurs tâches et proposer des processus qui répondent au besoin de traitement en temps réel des données.
Si les professionnels de la donnée sont donc en première ligne pour en tirer la valeur des données, ils ne devraient pas être les seuls à devoir supporter cette avalanche de données. L’ensemble des collaborateurs devrait être « datalphabétisés » et s’impliquer dans une réelle approche de la donnée. C’est encore loin d’être le cas. Selon une étude réalisée par la Wharton School et le cabinet d’études IHS Markit, si les deux tiers des entreprises (63 %) ont l’intention d’embaucher davantage de salariés compétents en matière de données, la responsabilité de ces compétences repose sur ces derniers. Les dirigeants d’entreprise se montrent encore trop peu disposés à engager des ressources en faveur de l’amélioration de la datalphabétisation de leurs salariés. Cependant la maîtrise de la lecture des données devrait être prise plus au sérieux car tout le monde est amené à faire usage de la donnée à divers niveaux dans l’exercice de son travail.
Manque de formation et accélération de la transformation
Plusieurs raisons expliqueraient ces difficultés à recruter des ingénieurs de la donnée. Tout d’abord, il existe des raisons contextuelles, puisqu’il y a quelques années la data n’occupait pas une telle place au sein des entreprises et les primo-arrivants sur le marché de l’emploi, fraichement diplômés, ne sont pas formés au traitement massif des données, qui nécessite de maîtriser de nouvelles solutions et de nouveaux langages, notamment dans le cloud. Aujourd’hui la quantité de données générée est telle que les compétences jusqu’alors demandées ne sont plus suffisantes et ont largement dépassé le niveau des fonctions de back office où elles étaient autrefois cantonnées. Elles concernent aujourd’hui l’ensemble des « métiers » en entreprise qui veulent tous « consommer » de la donnée.
Si le système éducatif semble avoir compris ces nouveaux enjeux et propose désormais des formations spécifiques afin de pallier ce manque, il n’est pas le seul à blâmer pour comprendre cette pénurie. En effet, il semblerait que tout le monde ait eu du mal à suivre la cadence de l’évolution de la technologie, qu’il s’agisse de vitesse de connexion aux ordinateurs, ou de déploiement de la fibre optique. Cette vitesse de connexion a permis une compression optimale, entrainant une forte accélération de la production de données et donc des besoins d’analyse. A cela s’ajoute le développement des objets connectés, et l’accès à de plus en plus de bases de données, que ce soit via les initiatives d’open data, ou via les échanges de plus en plus fréquents entre partenaires business. Toutes ces nouveautés entrainent la multiplication des sources de données et la nécessité de les traiter pour pouvoir les exploiter.
La situation actuelle serait plutôt la conséquence de la difficulté à s’adapter à la vitesse d’évolution de la technologie plutôt qu’un manque d’anticipation.
Vision d’ensemble et appétence pour les corrélations, les deux compétences clés du data engineer
Le recrutement d’ingénieurs de la donnée est essentiel mais il faut également pouvoir identifier les bons profils ayant les connaissances techniques, et qui sauront comprendre les enjeux commerciaux de la donnée. Être data engineer requiert des aptitudes spécifiques comme la capacité à avoir une vue d’ensemble des activités de l’entreprise. Lorsqu’un ingénieur de la donnée se penche sur celle-ci, il ne la traite pas pour un usage unique ; il doit alors être capable d’avoir une vision globale, pour savoir où ses données peuvent être appliquées et comment en optimiser l’usage. Il doit également questionner la provenance de la donnée, sa fiabilité, ainsi que sa capacité à être interprétée de différentes manières. Enfin, l’ingénieur de la donnée doit se demander comment préserver l’utilisateur d’une erreur d’interprétation de la donnée fournie ? Autant de questions essentielles à la préparation de la donnée pour lui donner une vraie valeur.
Autre aspect non négligeable de la fonction en lien avec la capacité à prendre de la hauteur ; un bon ingénieur de la donnée doit savoir collaborer avec les autres métiers. En effet, il doit être parfaitement au fait du travail du data scientist ; en comprenant ses missions pour lui préparer les données à analyser les plus « propres » possibles. Enfin, il doit combiner curiosité et « Data Literacy » (ou datalphabétisation en français), c’est-à-dire la capacité à lire, analyser, travailler et argumenter tout en ayant recours aux données pour la prise de décision. Sans cette tournure d’esprit spécifique, son parcours professionnel au sein de la donnée risque de se terminer plus tôt que prévu.
Comment recruter les data engineers puis les retenir en entreprise ?
Dans le cadre d’un recrutement, il faut également apporter un soin particulier à la typologie des postes proposés et à la façon dont ils sont nommés. En effet, l'absence de normalisation en termes de dénomination des rôles peut parfois prêter à confusion. Certaines entreprises vont qualifier les ingénieurs en informatique de scientifiques des données et vice versa. Il y a donc un réel besoin d'uniformiser, de classifier et de préciser le rôle de l’ingénieur de la donnée. La formation apporte une première réponse afin de normaliser et de certifier les rôles entre les ingénieurs et les scientifiques, mettant fin aux confusions récurrentes. Dans certains pays, une qualification spécifique est requise pour devenir ingénieur. Au Canada, par exemple, il faut être titulaire d'un diplôme en ingénierie pour exercer ce type de fonctions alors qu’ailleurs de nombreux développeurs sont diplômés en informatique.
Quoi qu’il en soit, la profession a de plus en plus de succès. Selon une étude réalisée par l’EBG (Electronic Business Group) et Stratégies, les profils data sont les plus plébiscités à 84 % par les dirigeants interrogés sur ce sujet. Mais une fois les recrutements réalisés, il faut réussir à faire en sorte de stimuler et retenir ces ingénieurs. Cela peut se faire en bonne intelligence avec des dispositifs qui ont déjà fait leur preuve en termes de renforcement de l’implication et de l’engagement des salariés : lancer des défis constants, donner les moyens nécessaires à l’accomplissement des tâches et valoriser le travail effectué. La motivation peut aussi passer par la rémunération et il faut être en mesure de proposer des salaires attractifs car la conséquence directe de cette course au bon profil est une forte hausse des salaires obtenus par les data scientists, les data miners ou autres responsables BI, et architectes data en 2019 (+ 12,8 %). Enfin, les outils mis à leur disposition et faisant la différence par rapport à la concurrence sont le dernier critère essentiel d’attractivité. Ainsi, les solutions de Data Integration évoluent pour faciliter leurs tâches et proposer des processus qui répondent au besoin de traitement en temps réel des données.
Si les professionnels de la donnée sont donc en première ligne pour en tirer la valeur des données, ils ne devraient pas être les seuls à devoir supporter cette avalanche de données. L’ensemble des collaborateurs devrait être « datalphabétisés » et s’impliquer dans une réelle approche de la donnée. C’est encore loin d’être le cas. Selon une étude réalisée par la Wharton School et le cabinet d’études IHS Markit, si les deux tiers des entreprises (63 %) ont l’intention d’embaucher davantage de salariés compétents en matière de données, la responsabilité de ces compétences repose sur ces derniers. Les dirigeants d’entreprise se montrent encore trop peu disposés à engager des ressources en faveur de l’amélioration de la datalphabétisation de leurs salariés. Cependant la maîtrise de la lecture des données devrait être prise plus au sérieux car tout le monde est amené à faire usage de la donnée à divers niveaux dans l’exercice de son travail.
Autres articles
-
Qlik améliore l’intégration avec SAP, Databricks et Snowflake et favorise la création de valeur grâce à l’IA
-
Qlik lève les obstacles à la migration vers le cloud et ouvre la voie à une adoption transparente de l’IA dans tous les secteurs
-
Une entreprise française sur deux réduit ses investissements dans l'IA par manque de confiance
-
La technologie de Qlik favorise l’obtention de résultats plus rapides et en temps réel pour GenWizard d'Accenture
-
Thoma Bravo a signé un accord pour vendre une participation minoritaire significative de Qlik à une filiale détenue à 100 % par l'Abu Dhabi Investment Authority (ADIA)