Les 6 compétences les plus recherchées en Big Data

Déjà une étude menée par Dell en 2013 montrait que 74% des entreprises européennes étaient convaincues de l’intérêt du Big Data dans leurs activités. Une année après, une étude menée par CAPGEMINI le leader mondial des activités de services montrait que 43% des entreprises étaient en train de se restructurer pour saisir les opportunités du Big Data dans les 3 années à venir. Ces chiffres montrent que malgré l’engouement médiatique qu’il y’a autour du Big Data, l’opportunité est bel et bien réel. Par ailleurs, en 2014, le gouvernement français a lancé les 34 plans de la Nouvelle France Industrielle (NFI), un projet porté à l’époque par l’ex-ministre Arnaud MONTEBOURG dont l’ambition est de positionner la France sur le Big Data. Par le projet de la Nouvelle France Industrielle, le gouvernement espère la création de 100 000 emplois directs dans le Big Data d’ici 2018. Autant vous dire donc que l’intérêt pour le Big Data est bien réel et que l’opportunité est juste énorme. Dans cet article, vous retrouverez les 6 compétences de base que vous devez absolument développer pour faire partie de la vague de ceux qui saisissent les opportunités du Big Data.

Le SQL est le langage de manipulation et d’interrogation des bases de données relationnelles. Il est plus que jamais le langage standard de requête et d’interrogation des bases de données. Malgré les multiples tentatives de le déclasser, il a su s’imposer sur le marché depuis plus de 20 ans comme étant le langage de choix pour l’exploitation des données. Avec l’accroissement exponentiel du volume de données auquel nous assistons, il n’est pas difficile de prédire qu’Hadoop va devenir la plateforme standard de traitement de données, un peu comme l’est progressivement devenu Excel peu de temps après l’essor des PC. Problème : à la différence d’Excel, Hadoop n’a pas été conçu au départ pour être utilisé par les utilisateurs métier, mais par les développeurs. Or, l’expérience a et continue de montrer que l’adoption à grande échelle d’une technologie et son succès ne dépendent pas des développeurs, mais des utilisateurs métiers (confère la loi de Metcalfe). Pour qu’une technologie accroche les métiers, il faut absolument qu’elle soit transparente pour eux, c’est-à-dire qu’elle ne leur demande aucune compétence supplémentaire et Hadoop n’y fais pas exception. Aujourd’hui, en matière de gestion de données, le SQL est la compétence favori des métiers. De plus, les entreprises utilisent de plus en plus le HDFS comme répertoire de stockage central pour toutes leurs données, données provenant pour la plupart des systèmes opérationnels (comptabilité, marketing, finance, Ressources Humaines, etc.) ; la majorité des outils d’exploitation de ces données (par exemple Business Objects, Oracle, SAS, Teradata, Tableau, etc.) s’appuient sur le SQL. C’est pourquoi le SQL est une compétence clé pour travailler et réussir dans le Big Data. La fondation Apache a bien compris ce rapport étroit qui existe entre le SQL et les analystes métiers, c’est pourquoi depuis qu’elle a repris Hadoop en 2009, elle s’évertue à le rapprocher le plus que possible du SQL. Ainsi, la connaissance du SQL va vous permettre d’utiliser les outils comme Hive, Impala, HawQ, Presto, qui sont des outils qui permettent d’exécuter le SQL directement sous Hadoop.

Le philosophe Ludwig Wittgenstein, disait déjà : « les limites de mon langage signifient les limites de mon monde ». La maîtrise de la programmation dans un langage évolué tel que Java, Scala ou Python est la deuxième compétence que vous devez posséder pour réussir dans le Big Data. Malgré la large échelle d’adoption du SQL dans le Big Data, celui-ci reste un langage déclaratif. En d’autres termes, il donne la possibilité d’écrire ses programmes sous forme d’instructions déclaratives qui indiquent le QUOI sans entrer dans les détails du COMMENT. Ici l’utilisateur définit de ce qu’il souhaite obtenir à l’aide d’un ensemble d’instructions et de mots clés tels que SELECT, GROUP BY, WHERE, et le moteur du langage se charge de traduire ces instructions en plan d’exécution. Bien que cette approche permet de simplifier le développement, elle a pour principal inconvénient de limiter la complexité des problèmes qui peuvent y être exprimés. Les langages de programmation fonctionnelle telle que Scala, ou Pig permettent d’écrire les applications sous forme de séquences d’opérateurs qui permettent d’exprimer le cheminement nécessaire pour obtenir son résultat. Ce style de programmation offre une plus grande flexibilité sur le type de problème qui peut être exprimé par l’utilisateur. Des langages plus évolués comme le Java ou le C++ permettent d’aller plus loin et de développer de nouvelles fonctionnalités sous forme de procédures/fonctions qui s’appellent les unes aux autres. Grâce à cette caractéristique, l’utilisateur peut gérer ses programmes comme des projets applicatifs entiers et a un contrôle total sur leur performance. Nous vous recommandons d’apprendre jusqu’à proéminence au moins un langage de programmation. Quant à vous indiquer lequel, ce serait plus difficile, car le niveau popularité des différents langages varie sans cesse. Actuellement, les trois langages les plus populaires pour le Big Data sont : Java, Scala et Python.

De façon traditionnelle, la gestion des données a consisté à centraliser le stockage et le traitement des données sur un serveur placé dans une architecture clients/serveur. Avec l’explosion du volume de données, pour réussir à exploiter les « Big Data », l'approche n'est plus de centraliser le stockage et le traitement des données sur un serveur, mais de distribuer leur stockage et de paralléliser leur traitement sur plusieurs ordinateurs (un cluster). Il existe plusieurs outils qui implémentent cette approche, mais Hadoop est aujourd’hui l’outil le plus mature du marché et par conséquent le plus adopté. D’ailleurs, avec l’intégration d’Hadoop au SQL, il n’est pas difficile de prédire qu’il va devenir la plateforme standard de traitement de données, un peu comme l’est progressivement devenu Excel peu de temps après l’essor des PC. Ainsi, si vous souhaitez travailler dans le Big Data, il vous faut impérativement connaitre le fonctionnement d’Hadoop. Attention, l’idée ici n’est pas d’être expert, mais d’avoir les connaissances de base pour pouvoir l’utiliser à son maximum. Hadoop représente un changement dans la manière d’aborder les traitements de données. Il vous faut donc prendre le temps de comprendre en quoi consiste ce changement.

S’il y’a bien une compétence qui est très négligée aussi bien dans le monde de la technologie que dans le monde du développement logiciel, c’est la communication. La communication c’est l’art de transmettre de façon claire ses idées à une audience. La communication est la capacité de transmettre ses idées de sorte que les autres non seulement comprennent ce que vous dites mais aussi le sens de ce que vous dites. C’est également la capacité d’écouter et de comprendre les autres. Une communication est efficace lorsque les autres membres de l’équipe perçoivent tous le sens du message transmis par le destinataire. Tacler les problèmes du Big Data exige des compétences très variées. Le mythe du mouton à 5 pattes que représentait le Data Scientist à l’époque est tombé. Les entreprises ont compris que si elles veulent véritablement saisir les opportunités du Big Data, il est plus réaliste de se constituer des équipes pluridisciplinaires (équipes composées de compétences différentes, mais complémentaires) composées de professionnels de différents métiers que d’essayer de recruter une super star. Dès lors, on assiste de plus en plus à des projets Big Data regroupant des métiers de différents pôles de l’entreprise. Par exemple, vous aurez dans la même équipe des développeurs, des analystes marketing, des administrateurs, des chefs de projets, des infographes et des managers. Cette approche d’équipe pluridisciplinaire porte même un nom : le DevOps. Avec l’approche DevOps prenant de plus en plus d’ampleur, il devient crucial pour les membres d’une équipe de pouvoir communiquer de façon à ce que des personnes issues de métiers différents puissent comprendre et que le projet soit livré dans les délais. Ainsi, si vous voulez réussir en Big Data, au-delà des qualifications techniques comme le SQL, Java, Scala ou Hadoop, nous vous recommandons fortement de développer et d’affiner continuellement vos capacités communicationnelles. Vous en aurez besoin pour communiquer aussi bien avec les directeurs, les managers, les techniciens que les commerciaux. De plus, cette compétence transverse vous aidera dans plusieurs autres domaines de votre vie non reliée aux activités professionnelles.

En plus de devoir aimer travailler dans des équipes mixtes, En Big Data, il est également très important d’avoir l’esprit d’équipe, d’apprendre des autres membres de l’équipe et de leur enseigner ce que vous savez. Aujourd’hui, la technologie évolue très rapidement, les entreprises rencontrent des nouveaux challenges tous les jours. Vous devez donc avoir la capacité de collaborer avec les autres membres de l’équipe sur une base régulière, combiner vos forces avec les leurs afin d’avoir une vision 360° et de pouvoir bénéficier de l’effet de MasterMind. A titre explicatif, l’effet MasterMind c’est l’effet synergétique provoqué par la concentration combinée de plusieurs personnes.

Dans l’âge industrielle, l’âge moyen de la retraite était de 65 ans parce qu’à cet âge, les individus étaient trop fatigués pour soulever les pneus et placer les moteurs dans les véhicules dans les lignes d’assemblages. Aujourd’hui, on est techniquement obsolète et prêt pour la retraite tous les 18 mois, qui représente le rythme avec lequel la technologie évolue aujourd’hui. L’ère Numérique est résolument une ère autodidacte, une ère où chacun apprend de lui-même que de ses parents comme c’était le cas dans l’ère agraire ou de la fac comme c’était le cas dans l’ère industrielle. Il est bien connu en vertu de la loi économique de la rareté que le salaire d’un individu n’est pas fonction de son ancienneté ou de son niveau d’expérience comme on le pense intuitivement, mais de sa rareté. Cependant, dans le Big Data, la rapidité des progrès technologiques fait qu’il est de plus en plus difficile d’être rare (ou de se différencier). Les technologies évoluent tellement vite qu’il est devenu inutile de suivre leur évolution. Lorsque vous vous spécialisez technologiquement, vous prenez le risque d’être obsolète à peine quelques mois ou années plus tard. Le temps moyen de péremption d’une technologie aujourd’hui est estimé à 6 mois et il est établi que la moitié des technologies qu’un étudiant en informatique apprend lors d’un programme de Master est démodé lorsqu’il arrive à la troisième année du programme d’étude. Ceci n’est pas juste propre au Big Data. Prenez l’industrie automobile par exemple, lorsque les entreprises quittent des véhicules de moteur à combustion pour les remplacer par les moteurs à injection, que pensez-vous qu’il se passe pour toutes les personnes qui sont spécialisés dans la maintenance des moteurs à explosion ? Bien évidemment, elles sont précipitées au chômage. De même, lorsque le tableau de bord mécanique des véhicules sont progressivement remplacés par des tableaux de bord électroniques, est-il difficile de deviner ce qui arrive aux spécialistes des tableaux de bord mécaniques ? Si vous étudiez bien les entreprises qui ont mis les clés sous le paillasson comme Kodak ou les maisons de disques, vous vous rendrez compte que la spécialisation, qui a pendant longtemps été leur point fort est devenu avec la technologie leur point faible. Kodak n’a pas pu s’adapter au changement de la pellicule vers le numérique, Nokia n’a pas su s’adapter des téléphones à claviers aux smartphones. Les fabricants de cassettes n’ont pas su s’adapter à l’arrivée de CD, etc. Face à cette rapide recrudescence technologique, le succès exige aujourd’hui de posséder ce que certains économistes appellent les “basics skills” (les compétences de base). Au lieu de vous spécialiser, il faut développer des compétences conceptuelles qui vous permettront de vous adapter à tous les futurs changements dans votre marché. Par exemple, au lieu d’apprendre la programmation en Scala, vous apprendrez la programmation fonctionnelle. Au lieu d’apprendre Hadoop, vous apprendrez les principes et les architectures de calcul distribué. Ainsi de suite. L’idée est d’éviter de fonder votre compétence sur la spécialisation sur une technologie et ainsi éviter de « vous retrouver avec des compétences qui ne servent plus à rien » comme l’a si bien dit Henri Steele Commager.

Comme vous pouvez le voir, un vrai changement est en cours, le Big Data est bien là et apporte des opportunités qui sont bel et bien réelles. Ceux qui seront proactifs, sortiront de leur zone de confort et développeront les compétences que nous avons énoncées dans cet article bénéficieront professionnellement, socialement, et financièrement des opportunités que le Big Data a à offrir. Ceux qui ne sortirons pas de leur zone de confort et continuerons à procrastiner ou nier l’évidence du Big Data finirons surpris et frustrés de n’avoir pas réagi suffisamment à temps. Souvenez-vous, 100 000 emplois directs sont prévu par le gouvernement cette année seulement. Notre prière pour vous est que vous prenez les devants et embrassiez le monde fabuleux dans lequel nous vivons actuellement, le monde du Big Data ! Nous avons rédigé l’ouvrage « Hadoop Devenez opérationnel dans le monde du Big Data » pour vous accompagner dans le développement de ces 6 compétences. Plus précisément, l’ouvrage « Hadoop Devenez opérationnel dans le monde du Big Data » va vous munir des compétences de long-terme dont vous aurez besoin pour travailler dans le Big Data. Vous y retrouverez 3 chapitres entièrement consacré au fonctionnement d’Hadoop ; le chapitre 7 vous aidera à développer les compétences nécessaires pour écrire et exécuter du SQL sur Hadoop et le chapitre 11 vous aidera à développer l’état d’esprit d’abondance que vous devez avoir pour détecter les opportunités du Big Data et aider votre entreprise à faire la différence sur son marché. L’ouvrage est disponible ici : https://www.editions-eni.fr/livre/hadoop-devenez-operationnel-dans-le-monde-du-big-data-9782409007613