Big Data, Le livre

Parmi les personnes que je rencontre, une majorité semble admirative devant l'idée d'écrire un livre de 250 pages. Il est vrai qu'à l'heure du web, beaucoup ont du mal à lire plus de deux pages, et sont obligés de sous-traiter lorsqu'il s'agit de rédiger quelques pages… Mais ne vous inquiétez pas, l'écriture est mon métier. Alors certes, écrire 250 pages est plus long et prenant que d'écrire 2 pages, mais c'est beaucoup plus facile et rapide que d'écrire 125 fois deux pages !

Pour cela il faut un bon outil. Et comme je l'expliquais avant-hier dans mon billet, l'écriture n'est pas linéaire. Un logiciel de traitement de texte est lui, justement linéaire. Et réorganiser les idées, les paragraphes, les chapitres, suppose de jongler entre les copier-coller. Même le "mode plan" de Word se révèle rapidement inadapté à des textes de plusieurs centaines de pages.
Par ailleurs, il faut collecter et suivre tout le travail de recherche, d'interviews, de collecte de documents, etc. C'est le rôle de "chef de projet" que j'évoquais hier.

Pour tout cela, j'ai retenu un outil professionnel adapté à ces tâches, Scrivener. Il ne coûte que 45 dollars US et la dernière version, compatible Mac et Windows, gère tout ce dont j'ai besoin :
- un dossier "recherches" dans lequel chaque interview est notée, accompagnée de méta-données sur la date prévue, les contacts, l'environnement, etc;
- un dossier "brouillon" dans lequel les morceaux de textes sont conservés, classés et réorganisés à volonté avec plusieurs niveaux de chapitres et sous-chapitres;
- un mode "tableau de liège" où les idées peuvent être "punaisées", réorganisées, et où chaque idée peut être accompagnée d'un mini-synopsis;
- la "compilation" de l'ensemble du dossier brouillon donne le texte final.

Accompagné de ma fidèle DropBox, où sont stockés l'ensemble des documents de mon livre, Scrivener me permet d'accéder à la dernière version de mon projet depuis mon Mac de bureau ou depuis mon Mac portable.
Bien sur le processus de sauvegardes a mon attention quotidienne, et j'ai prévu ceinture, bretelles et plus encore. Vous n'imaginez pas le risque que représente la perte d'un texte de plusieurs centaines de pages déjà rédigées. Temps perdu bien sur, mais surtout motivation à zéro qui conduit le plus souvent à l'abandon total du projet. Donc en ce qui me concerne, à part en cas de guerre nucléaire mondiale, mon projet devrait rester à l'abri.

Mais le plus intéressant reste l'apprentissage de l'utilisation de Scrivener, que j'adopterai maintenant également sur de plus petits projets tels que les livres blancs. Il aide véritablement à organiser ses idées, et surtout permet de cumuler les pages, sans avoir véritablement l'impression d'écrire de longs textes. Si vous voulez le découvrir, regardez la petite vidéo ci-dessous.
Diviser la tâche pour mieux l'appréhender, cela faisait également partie des conseils de ma mère !

Passons sur cette retransmission en direct qui a permis à environ 145 000 internautes de suivre en direct cet événement; hier réservées aux invités spéciaux, les images du centre de contrôle de la NASA sont maintenant ouvertes à tous, en direct, et chacun peut vivre l'événement. Cette mise à disposition de données au public est un progrès fabuleux, pour le savoir, et pour la démocratisation des sciences auprès du public.

Mais revenons à notre sujet, le big data. Car l'analyse de cet événement sous l'angle des données est intéressant; et nous permettra d'une part de relativiser, d'autre part de comparer quelques chiffres… Les spécialistes du sujet qui tomberaient sur cet article me pardonneront certaines imprécisions. Je ne suis pas un spécialiste du domaine. Mais n'hésitez pas à me corriger !

Ce qui frappe tout d'abord c'est la distance. Mars%C3%A8te) est une planète située en environ 55,7 millions de kilomètres de la Terre. Il aura fallu un peu plus de huit mois à Curiosity pour parcourir cette distance, soit une vitesse moyenne de l'ordre de 10 400 km/h, si je ne me trompe pas dans mes calculs.

Mais la communication à une telle distance pose quelques problèmes bien spécifiques. Il est déjà incroyable pour les simples mortels que nous sommes, d'imaginer que l'on puisse envoyer des données à 56 millions de kilomètres de distance et qu'elles nous parviennent. Mais ces données mettent 13 minutes 46 à rejoindre nos oreilles électroniques. Elles voyagent donc à la vitesse incroyable de 243 millions de km/h ! Elles passent pour cela par des satellites qui relaient les informations vers la terre, en particulier afin de faire économiser de l'énergie à Curiosity qui dispose néanmoins d'un canal direct de communication avec la terre.

Un délai qui fait que les informations ou images reçues par le centre de contrôle de la Nasa dataient finalement de 13 minutes 46 auparavant. Comme l'a fait remarquer un commentateur, avec ce décalage, pendant que les ingénieurs attendaient les données, Curiosity avait soit déjà posé ses pattes sur le sol martien, soit s'y était écrasé, et ils n'avaient aucun moyen de le savoir, si ce n'est d'attendre ce délai nécessaire à la transmission des données sur cette distance.

Le flux de données est également réduit. N'imaginez pas transmettre des giga-octets de données par seconde sur cette distance. C'est une simple communication à 8 Ko/s qui relie Curiosity à sa planète d'origine. Et c'est par ce flux de 8 Ko/s que sont transmises les données techniques, et les images que le robot nous envoie de la planète Mars. Des images là encore contraintes par la distance, 64 pixels de côté pour les premières vignettes, puis de "grandes" photos de 256 pixels de coté. Mais une photo de 256 pixels de large en noir et blanc, non compressée, c'est tout de même 64 Ko soit 8 secondes de transmission à 8 Ko/s. Tout est donc vraiment relatif.

Faut-il alors considérer que les données envoyées par Curiosity relèvent du Big Data ?
- Elles sont bien de différents formats (données structurées, images…)
- La vitesse est bien présente - à 243 millions de km/h je pense que l'on peut l'accorder :-)
- quant au volume… même si le robot communiquera certainement pendant au moins une année martienne (soit 687 de nos jours), cela ne devrait représenter, à 8 Ko/s, que 475 millions de Ko - 475 Go "seulement" en deux ans. Pas vraiment du big data !

Mais ce facteur supplémentaire de la distance et du délai de transmission mérite-t-il que l'on classe cette application dans la catégorie du Big Data ? Le débat est ouvert, dites-moi ce que vous en pensez !

Pour découvrir les photos prises par Curiosity sur le sol de Mars et envoyées à la terre : http://mars.jpl.nasa.gov/msl/multimedia/raw/

J'ai la chance de connaître une excellente auteure de romans noirs, Ingrid Desjours. Souvent elle me parle de ses périodes d'écriture, lorsque le monde lui devient étranger, et qu'elle plonge avec ses personnages dans un triolisme effréné, cerveau, doigts et clavier. Enfermée dans sa grotte, elle gratte ou plutôt tape pendant des heures, pour accoucher de ses textes… Impressionnant !

J'en suis très loin, et l'écriture d'un livre professionnel s'apparente plus à un travail de chef de projet et d'ouvrier qualifié qu'à une quelconque création artistique.
Tout d'abord l'écriture n'est pas linéaire. Je ne raconte pas une histoire, je synthétise des savoirs, des connaissances, des idées. Et je n'ai d'ailleurs à ce stade qu'une idée imprécise du plan du livre "Big Data". Cela n'a aucune importance. Car j'écris morceau par morceau. Hier j'ai rédigé un chapitre complet sur le big data dans l'industrie des télécommunications. Où sera-t-il finalement placé dans le livre ? Aucune idée. Et pendant son écriture, il y a au moins trois ou quatre autres idées de sous-chapitres ou d'éléments à ajouter ailleurs dans le livre qui me sont venues. Je les ai notées, et j'y reviendrai par la suite. Inversement, lorsque demain je travaillerai sur l'interview d'un expert de l'analyse prédictive, il me parlera certainement à nouveau du secteur des télécommunications. Je rajouterai alors de la matière au chapitre ad-hoc. Plutôt que d'être angoissé par la feuille blanche en me disant "plus que 250 pages…", j'accumule les morceaux rédigés. Puis je les mets en ordre. Viendra ensuite, à la fin, le temps de la relecture et de l'harmonisation. Mais nous n'en sommes pas là.

Rédiger un livre professionnel est donc essentiellement un travail de chef de projet : définir des tâches, les segmenter, les répartir, les documenter, veiller à leur exécution… et d'ouvrier, car chaque jour, je dois m'atteler à la rédaction d'un ou de plusieurs chapitres. Inspiration ou pas, il faut produire. Parfois ça sort tout seul, parfois l'accouchement est difficile. Gros avantage de ce type de naissance, si le bébé n'est pas beau, on peut le jeter et en refaire un autre !

Ne me demandez donc pas si je suis inspiré. Mais plutôt si j'ai été productif. Oh! Ce ne sera pas de la grande littérature, et ce n'est d'ailleurs pas ce que me demanderont mes futurs lecteurs. Mais du pragmatisme. Expliquer des idées parfois complexes avec des mots simples. Faire que le lecteur ait appris quelques petites choses à la fin de sa lecture et qu'il n'ait pas passé un trop mauvais moment.

Comment d'ailleurs jugerais-je de la qualité de ma production ? Tout simplement si certains lecteurs me disent avoir compris le sujet, ou mieux avoir trouvé ne serait-ce qu'une idée à mettre en pratique dans leur organisation. Quant à celui qui me dira avoir dévoré mon livre en une nuit tellement l'intrigue le prenait au tripes, je ne le croirai pas ! Il aura sans doute confondu.

Certes, ce n'est pas une question de taille... et je m'attache chaque jour à expliquer que le volume de données ne fait pas tout, et que la variété et le vitesse sont les deux critères complémentaires qui définissent le "big data".
Mais tout de même, il y a des volumes qui impressionnent. Ayant entrepris de télécharger le nouvel OS Apple, Moutain Lion sur mon nouveau Macbook Air - dont l'écriture de ce livre m'a donné l'excuse à ma conscience pour en justifier l'acquisition - je constate que ce téléchargement représente 4,34 Go. Autant dire qu'il fait souffrir ma connexion ADSL campagnarde à 1 Mb/s... quand il ne peut pas...
Mais je fais le lien avec les chiffres annoncés il y a quelques jours par Apple. Le constructeur était en effet fier d'annoncer qu'en quatre jours, trois millions de clients avaient téléchargé Mountain Lion.
Je vous avoue qu'il m'a fallu sortir de son étui ma calculatrice HP 17BII pour tenter de faire la multiplication. Je vous livre mes calculs, car je ne suis même pas certain de ne pas avoir commis quelque erreur... Merci Wikipedia

4,34 Go x 3 000 000 de téléchargements = 13 020 000 Go... ça c'est facile !
1 Go = 10 puissance 9 octets...
Donc 13 020 000 Go = 13 puissance 15 octets
Soit si j'ai bien compris 13 Po !

Apple a consommé 13 Po de bande passante en 4 jours juste pour le téléchargement de la nouvelle version de son OS par ses clients.

Est-ce beaucoup ou pas ? Quelle est la bande passante mondiale disponible ? Quelle part des "tuyaux" a consommé Apple ? Et cela coute combien au constructeur ?
Je me pose de nombreuses questions... en regrettant quand même pendant que je regarde mon Mac annoncer 7 heures de téléchargement, le système des DVD ou des clefs USB...

Ceci étant, pour les nostalgiques qui pestaient quand Word et Excel étaient livrés sur plusieurs disquettes 3"1/2, Mac OS Mountain Lion aurait nécessité la fabrication de 10 850 000 000 disquettes de 1,2 Mo... et vous auriez chacun reçu 3616 disquettes pour l'installation !

Au hasard de mes recherches et de ma veille sur l'actualité du big data, je tombe régulièrement sur des perles... je ne parle pas de pépites car celles-ci méritent des applaudissements et il y en a; mais de perles, venant en particulier de tous ceux qui se contentent d'ajouter le mot "big data" à une phrase pour tenter de lui donner une connotation plus "moderne". C'est bien dommage... car ce ne sert en rien les intérêts de la marque en question qui se dévalorise en employant sans raison ce terme; et cela ne sert en rien les utilisateurs, qui ne voient dans cette surabondance d'usage qu'une confusion de plus, excellente excuse pour retarder leurs investissements.
Sans doute les mêmes s'appelaient ils ".com" en 2000, "2.0" en 2005, "cloud en 2010"... et "big data" aujourd'hui...

Au programme de ma cueillette, je vous propose :

- Quantum qui se présente maintenant de la manière suivante : "Quantum Corp. (NYSE : QTM), spécialiste mondial incontesté de la protection des données et de la gestion des Big Data..."... Ca se saurait... Spielberg aurait fait un film...

- Kaseya, dont le métier, fort respectable au demeurant est de développer des anti-virus, anti-malware... qui comme par hasard aujourd'hui se sont fixés comme mission principale de "protéger les big data"... "«La solution Kaseya IT Management peut faire en sorte que les clients soient en mesure de travailler et de gérer leurs Big Data sans problèmes.
"La solution comprend des modules antivirus (KAV / KES) et anti-malware (KAM) pour sécuriser les Big Data des clients confrontés à des machines infectées. Le module Desktop Policy Management (KDPM) assure la conformité avec un accès standard et les mesures de sécurité nécessaires, tandis que la gestion des patchs assure que les équipements des clients sont à jour contre les vulnérabilités identifiées qui peuvent être exploitées pour obtenir un accès non autorisé à des Big Data confidentielles. Enfin, le module de sauvegarde de fichiers et de dossiers (KDB) permet le transfert sécurisé et la sauvegarde de données dans n'importe quel format de fichier"... vous aurez remarqué qu'un simple "chercher / remplacer" aura permis dans Word de reprendre un ancien texte, et de remplacer "données" par "big data" pour se donner un coup de jeune.

Tout cela me fait penser aux produits cosmétiques censés faire rajeunir. En regardant les publicités avec attention, vous noterez une mention devenue obligatoire "couches supérieures de l'épiderme"... Ne faudrait-il pas appliquer la même règle au big data et que ces opportunistes de la communication soient obligés d'indiquer que leur produit n'a d'action que "sur la couche supérieure de vos données" ?

Et oui, le Big Data a conquis ses lettres de noblesse. Dilbert s'en préoccupe, au travers d'une de ses petites bandes dessinées dont Scott Adams a le secret.
Parue le 29 juillet, vous pouvez la découvrir ici : http://www.dilbert.com/strips/comic/2012-07-29/

Comme souvent, en quelques dessins et quelques bulles bien rédigées, Dilbert souligne quelques traits du Big Data : le prix, le nuage, la vie privée, etc.

Et je me disais qu'il ne manquait plus que l'attention de Homer Simpson pour que le Big Data soit totalement démocratisé. C'était sans compter une des citations de ce grand philosophe des temps modernes : "Oh, people can come up with statistics to prove anything. Fourteen percent of people know that." – Homer Simpson
Alors la prochaine étape c'est clairement, et nous l'attendons tous, l'analyse du phénomène Big Data par Homer.

Intérêt : ★:★★☆☆
Valeur : ★:★★☆☆
Mon opinion : Une approche originale du big data au travers de l'évolution des métiers dans l'entreprise

Tony Cosentino a de bonnes idées. Vous ne le connaissez pas ? Moi non plus ! Mais il a eu une bonne idée supplémentaire, celle de développer ses réflexions dans un petit ouvrage de 106 pages, au prix très raisonnable de 12,69 euros chez Amazon. Un ouvrage auto-publié
La ligne directrice suivie par Tony Cosentino est de comparer l'évolution des métiers de l'analyse de données (market research) et de la mise en pratique (market insights). Selon l'auteur, ces deux métiers sont beaucoup trop déconnectés : les premiers ne s'impliquent pas et ne sont pas évalués sur les décisions prises; les seconds délaissent le travail des premiers et vont jusqu'à rejeter la faute sur eux si les décisions prises aboutissent à de mauvais résultats.
Mais dans un monde de la donnée, où la vitesse d'exécution prend de l'importance, et ou ces données sont à la base d'une majorité de décision, cette situation conflictuelle ne peut pas perdurer sans dommages pour l'organisation. Tout particulièrement dans le monde des technologies dans lequel l'auteur a bâti sa carrière.
Sans trop de prétention, ce petit livre est simple, bien écrit - je dirais même très bien écrit, dans un anglais qui nous change des livres aussi riches en vocabulaire que des diaporamas Powerpoint… vous aurez sans doute besoin comme moi d'un dictionnaire à portée de main - et il pose les bonnes questions, pointe du doigt les bons problèmes à résoudre, et suggère quelques bonnes évolutions.
Alors bien sur, lire ce livre ne changera pas l'organisation de votre entreprise, mais il vous aidera à prendre conscience de certaines choses.
Concernant le big data, vous aurez l'impression de faire rapidement le tour du sujet, mais Tony Consentino l'aborde sous un angle qui vous sortira des éternelles incantations sur Hadoop, et nous parle enfin des usages !

Intérêt : ★:★☆☆☆
Valeur : ★:☆☆☆☆
Mon opinion : A acheter uniquement si vous avez vraiment déjà lu tous les autres livres !

Vendu 15,50 euros chez Amazon (qui prend 55 % de marge auprès de l'éditeur), le petit livre "Big Data Glossary" porte mal son nom. Publié par O'Reilly et signé de Pete Warden, il n'est en réalité par un glossaire, mais plutôt un catalogue partiel.
Ce livret (difficile de parler de livre avec 44 pages seulement) donne l'impression par son titre qu'il serait un glossaire expliquant les différents termes de ce secteur du Big Data. En fait il faut analyser le sous-titre "A guide to the new generation of data tools" pour comprendre que l'auteur a plutôt voulu recenser quelques nouveaux outils et services dédiés à l'analyse de données.
Ce glossaire n'est d'ailleurs pas présenté par ordre alphabétique, mais par chapitre (bases de données NoSQL, MapReduce, Serveurs, Visualisation…); un assemblage un peu hétéroclite et loin d'être exhaustif. Il est plutôt la synthèse de l'expérience de l'auteur qui a testé certains nouveaux outils. Les outils présentés (parmi lesquels Cassandra, MongoDB, BigTable, Gephi, Pig…) sont résumés sur une demi-page et l'auteur partage son opinion.
C'est en effet le parti-pris de l'auteur, mais n'y sont présentés que des outils nouveaux (Greenplum mais pas PostgreSQL par exemple) et quelques services en ligne. Ce n'est donc pas non plus un catalogue ou un panorama.
En résumé, vous y apprendrez certaines choses et découvrirez peut-être quelques outils, mais cela ne vaut vraiment pas les 15,50 euros demandés.

"Un pas de plus vers Dieu", c'est le titre de l'émission du 20 juillet que vous pouvez revoir sur le site de France 5. Une émission réalisée à l'occasion de la découverte du boson de Higgs, mais au cours de laquelle les invités de Axel de Tarlé : Sandrine Laplace, Alain Cirou, Mathieu Grousson et Jean-François Colosimo, abordent bien des sujets liés à la découverte de l'univers et du monde dans lequel nous vivons.

Les trois reportages qui segmentent l'émission sont passionnants :
- un reportage sur le CERN et la découverte de ce fameux boson
- un reportage sur le super-calculateur du CEA installé par Bull à Bruyères-le-Chatel
- et un reportage sur les big data, au travers de l'analyse des médias sociaux par MFG Labs, et du séquençage de l'ADN à l'Institut Curie.

L'Institut Curie a d'ailleurs relayé l'information sur son site en expliquant comment un déluge de données déferle sur la recherche biomédicale. J'ai sollicité Philippe Hupé, bioinformaticien à l'Institut Curie, afin de le rencontrer dans la perspective de mon livre, mais je me permets de recopier ci-dessous le texte explicatif mis en ligne par l'organisme.

L'institut Curie nous explique que :

"Si les physiciens ont été les premiers à produire des masses considérables de données, la recherche biomédicale leur emboîte désormais le pas. L’arrivée des technologies de séquençage à haut débit permet aujourd’hui de lire l’ensemble du génome d’une tumeur en quelques jours. A la fin du séquençage, on récupère un fichier informatique sorte de livre qui contient l’ensemble des mots composant le génome des tumeurs. Mais attention, les mots sont dans le désordre et le livre est très volumineux : 6 milliards de mots de 100 lettres, soit pour les fans de Victor Hugo, l’équivalent de 200 000 fois Les Misérables. Ce comparatif explique bien pourquoi on parle de « Big Data ».

Ainsi à l’Institut Curie, les données du séquençage représentent un peu plus de 1 téraoctet par semaine, soit mille gigaoctects. « Pour avoir un ordre de grandeur, explique Philippe Hupé, responsable de la plateforme de bioinformatique, si votre smartphone pouvait contenir 1 téraoctet de MP3, vous pourriez écouter de la musique pendant 2 ans sans interruption ! »

Une fois l’ordre rétabli dans les « mots » du génome, il faut comparer le génome tumoral au normal. « Nous utilisons des algorithmes pour identifier les petites mutations ou les grands déplacements de séquences d'ADN dans la cellule cancéreuse » explique Philippe Hupé. Comme les données sont très volumineuses, on n’utilise pas un seul ordinateur mais plusieurs dizaines voire centaines.

Ces approches constituent l’essence même de la médecine personnalisée puisqu’elles permettent de découvrir des signatures génomiques prédisant les risques d’évolution des tumeurs ou encore de mettre en avant l’existence d’une altération pour laquelle on dispose d’un traitement spécifique. L’un des défis supplémentaires des « Big Data » en recherche biomédicale, c’est qu’ils doivent pouvoir être exploitées dans un temps compatible avec la clinique. L’Institut Curie dispose des atouts essentiels pour réussir son entrée dans cette nouvelle ère de la médecine avec entre autres, une plateforme de séquençage haut débit placée sous la responsabilité de Thomas Rio-Frio et une plateforme de bioinformatique co-dirigée par Emmanuel Barillot et Philippe Hupé. En 2011, ces capacités de l’institut ont d’ailleurs été reconnues à travers la labellisation Site de Recherche Intégrée sur le Cancer (SIRIC) par l’INCa et le financement obtenu dans le cadre de l’appel à projets des « équipements d’excellence» (Equipex) pour le projet ICGex, dédié à la génomique du cancer."

Tout cela est extrêmement intéressant et va dans la droite ligne du contenu de mon livre, tout sauf un manuel d'Hadoop ! On y parlera de ces frontières que franchissent l'analyse des données massives (ou volumineuses) et de l'impact de ce Big Data sur l'Homme.

En attendant, regardez cette émission sans tarder, je ne sais pas pendant combien de temps elle restera accessible !

Un pas de plus vers Dieu

Formule malheureuse comme accroche à la conférence Big Data organisée par Tarsus pendant le salon Cloud & IT Expo fin octobre. Le titre de ces assises du Big Data est en effet "Big Data : comment transformer l’information en décision… comme le plomb en or ?"... Faites-vous la même lecture que moi ?

A ma connaissance, l'homme n'a jamais réussi à transformer le plomb en or. Et ce n'est pas faute d'avoir essayé; il suffit de jeter un oeil aux pratiques du moyen-âge, à la sorcellerie, etc...
Récemment, les scientifiques auraient démontré que cette transformation est possible... en théorie. Il "suffit" en effet d'enlever à chaque atome d'or trois protons et huit neutrons, et le tour est joué !
Un article explique même comment il faut procéder : http://atchimiebiologie.free.fr/transmutaion/transmutaion.html et établit que la production d'un gramme d'or à l'aide d'un cyclotron couterait "environ" 2,68 milliards d'euros... pas très rentable donc...

Qu'ont alors voulu dire les organisateurs de cette conférence ? Que personne ne parviendrait jamais à transformer l'information en décision ? Que le Big Data n'est qu'un rêve, que personne ne saura jamais réaliser à moins de dépenser des milliards d'euros ? Le titre est accrocheur, mais je trouve le message inversement proportionnel à l'objectif recherché !

Et vous qu'en pensez vous ?