Big Data - Collecte et traitement des données

La matière de cet article provient d’une étude du Gartner Group [1]. Les auteurs de cette étude (Lisa Kart, Nick Heudecker et Frank Buytendijk) ont procédé à une enquête comportant sondages et entretiens informels, ont réunis certaines preuves et ont livré des conclusions qui appellent quelques commentaires tant elles peuvent paraître éloignées de ce que le Landerneau de l’IT pense à ce sujet de ce côté ci de l’Atlantique.

Tout d’abord, causons répartition de l’effort par métier et croissance du marché. Les investissements Big Data¹ en 2013 ont connu une croissance soutenue avec 64% des organisations sondées qui ont investi ou ont planifié des investissements dans les technologies de BI avancée, notamment les plateformes Big Data. Ceci est à mettre en perspective avec la proportion de 58% constatée lors du sondage de 2012.

Les investissements se répartissent entre industrie des médias et de la communication, banques et services. Les investissements prévus sur les deux prochaines années seront concentrés dans les domaines du transport, de la santé et de l’assurance. L’étude note que moins de 8% des répondants au sondage ont déployé une plateforme opérationnelle. Etonnant, non ?

On constate donc que l’effort Big Data est porté par les secteurs économiques qui faisaient déjà grand cas de la Business Intelligence « classique »². On constate également que les secteurs qui prévoient d’investir sont ceux qui recherchent déjà des compétences techniques de prédiction et d’optimisation. En effet, le secteur du transport (incluant les éditeurs de logiciels spécialisés dans la gestion des flux logistiques et les SIG) emploient déjà des spécialistes de l’ordonnancement et de la recherche opérationnelle. Les secteurs de la santé et de l’assurance emploient des statisticiens et des actuaires. Des professions qui ont ceci de commun qu’elles présupposent des compétences mathématiques avancées et qu’elles requièrent des données à analyser³.

Bref, le futur semble brillant pour matheux. Peut-être que notre ami Xavier Niel aurait été plus inspiré d’ouvrir une école de mathématiques qu’une école de codeurs[2]. Et que nos gouvernants seraient également plus inspirés de renforcer l’enseignement des maths[3] que de vouloir introduire des cours de programmation à l’école[4]. Mais je diverge. Reprenons.

L’amélioration de l’expérience utilisateur est toujours la priorité numéro une mais l’accroissement de l’efficience des processus métier est en seconde position sur le podium avec photo finish pour les départager. Quelque chose me dit que l’amélioration de l’efficience des processus métier va devenir prépondérante car des gains de productivité seront toujours recherchés et la raréfaction des matières premières et de l’énergie conduira vers un besoin accru en efficacité énergétique. Et pour rendre des processus efficients, on a besoin d’ingénieurs et de matheux. Et de données.

L’étude Gartner de 2012 avait identifié la gouvernance comme défi principal à l’adoption de Big Data par les entreprises. Il semble qu’en 2013, ce défi majeur soit devenu de savoir comment retirer de la valeur de ces fameuses données massives. Bien entendu, accéder aux compétences techniques du domaine (rappelez-vous : maths et ingénierie des systèmes !) reste un problème critique, et ceci, pour un tiers des organisations interrogées.

Finalement, je ne divergeais peut être pas tant que ça à propos des compétences recherchées. Ça tombe plutôt bien puisque mathématicien, actuaire, statisticien, ingénieur logiciel et ingénieur systèmes sont des professions qui se trouvent toutes dans le Top 10 des meilleurs jobs de 2014 [5]. Notons qu’aucune profession liée à la vente ou au marketing ou à la communication n’apparaît dans les 20 premières places de ce palmarès. Vous en conclurez ce que vous voudrez.

Certains vendent donc du rêve (lisez les notes de fin) et assurent que Big Data c’est avant tout la collecte et le traitement analytique de données non-conventionnelles par des méthodes originales et innovantes. D’après les analystes du Gartner Group, ce vœu ne s’est pas encore complètement réalisé dans la pratique puisque les sources de données choisies pour les projets-pilotes semblent être surtout des données transactionnelles et des logs. Quelle originalité, en effet ! Mais ces données sont tout de suite disponibles car elles ont été stockées depuis des années dans les SIE.

Ce qu’apporte vraiment Big Data c’est le passage à l’échelle des techniques d’analyse des données. Avant l’émergence de Map Reduce, calculer des estimateurs statistiques simples sur des ensembles de plusieurs centaines de millions d’observations était quasiment impossible sans investissement conséquent. Maintenant, on sait faire. A un coût raisonnable.

L’abstract de l’étude Gartner conclut avec ce bref constat : les technologies Big Data viennent compléter l’offre existante en systèmes de gestion et d’analyse de l’information mais ne les remplacent pas. Si on poursuit sur ce fil de raisonnement, on pourrait également postuler qu’il est plus risqué pour une entreprise ne disposant d’aucune plateforme de BI de s’engager dans un projet pilote de Big Data plutôt que de couvrir ses besoins fondamentaux dans ce domaine. Je vous laisse lire l’étude en entier pour vous faire une idée par vous-mêmes. Je laisse aussi à ses auteurs la primeur de leurs recommandations mais j’apporterais les miennes :

- Ne faites pas n’importe quoi parce qu’on vous a vendu un truc magique. There is no silver bullet.

- Discutez avec vos ingénieurs et, surtout, avec vos experts métier.

Si vraiment vous voulez vous lancez dans un projet Big Data, recrutez des spécialistes. Des matheux avec de l’expérience en analyse de données et en systèmes informatiques. Ne recrutez pas un community manager qui buzze.

Laissons le buzz aux abeilles tant qu’il en reste…

¹Je préfère le terme d’Advanced Business Intelligence mais il paraît que ça ne fait pas vendre du rêve. Vendre du rêve, laissons cela aux médias. Nous on vend de la compétence et des systèmes qui fonctionnent. Cela ne veut pas dire qu’on le fait sans passion ni conviction !
²Si, si, vous savez : Business Intelligence, intégration de données, MDM, toutes ces choses qui font si peu rêver.
³Et pourtant, dit comme ça, ça ne vend pas de rêve.
⁴L’étude citée en référence indique que les organisations sondées sont plus préoccupées par la versatilité des données que par leur débit ou leur volume.