- Le rêve de remplacer les développeurs en analyse de données se répète depuis 50 ans, de SQL à l’IA : les outils ont changé, mais le besoin d’expertise n’a pas disparu
- Les outils de chaque époque ont réellement amélioré la productivité, mais les tâches essentielles que sont la compréhension métier et le jugement de modélisation n’ont pas été automatisées
- Le self-service, la couche sémantique et l’analytical engineering ont élargi l’accès, tout en faisant émerger de nouvelles formes de rôles spécialisés
- Les outils fondés sur l’IA ont fortement accéléré la génération de code, mais le processus de réflexion qui consiste à décider quoi construire reste du ressort des humains
- Le goulot d’étranglement du travail sur les données ne se situe ni dans la saisie ni dans les outils, mais dans la réflexion et le jugement ; et cela n’a pas changé depuis 50 ans
- Cet article est une adaptation orientée data, inspirée de « Le rêve du remplacement des développeurs qui revient tous les 10 ans »
Un schéma qui se répète : pourquoi le même rêve revient sans cesse
- Tous les dix ans, un nouvel outil apparaît en promettant de simplifier la mise en place des plateformes data et de réduire la dépendance aux experts
- Les métiers se disent frustrés par la lenteur de livraison des données, tandis que les équipes data restent submergées par un flux infini de demandes
- Si ce cycle se répète depuis 50 ans, c’est à cause de la nature même du travail d’analyse de données
1974 : SQL et la naissance de la « base de données à qui l’on parle en anglais »
- SQL a été conçu pour permettre aux non-développeurs d’interroger les données, mais il exigeait en pratique de comprendre les jointures complexes et les agrégations
- L’idéal d’utilisateurs métier posant eux-mêmes leurs requêtes ne s’est pas concrétisé, et de nouveaux rôles spécialisés sont apparus
- L’accès aux données est devenu plus simple, mais l’expertise restait indispensable
Années 1980 : la promesse de l’OLAP et des langages de quatrième génération
- L’idée selon laquelle les utilisateurs pourraient analyser eux-mêmes si la structure des données épousait mieux le raisonnement métier s’est largement diffusée
- Les serveurs MOLAP ont apporté de vrais gains de productivité aux équipes finance et planification
- La conception dimensionnelle, l’optimisation des performances et les travaux d’intégration exigeaient toujours des connaissances spécialisées
- Les outils ont changé, mais le rôle des experts n’a fait que changer de forme
Années 1990 : data warehouse et modélisation dimensionnelle
- La modélisation dimensionnelle cherchait à masquer la complexité dans la couche ETL afin de simplifier l’analyse côté utilisateur
- Malgré des investissements massifs, de nombreux projets ont pris du retard ou ont échoué
- Le travail consistant à modéliser précisément les règles métier et les exceptions est resté un domaine impossible à automatiser
Années 2000 : couche sémantique et BI en self-service
- La couche sémantique abstrait les termes techniques en langage métier
- La BI en self-service a considérablement amélioré l’accessibilité à la visualisation
- Les divergences de définition et la confusion autour des données sont apparues comme de nouveaux problèmes
- La gestion centralisée et la gouvernance sont redevenues essentielles
Années 2010 : analytical engineering et ELT
- La généralisation des data warehouses cloud a rendu possibles les transformations basées sur SQL
- Les analystes ont pu construire eux-mêmes une partie des pipelines de données
- dbt a introduit dans l’univers data des pratiques de développement comme les tests, la documentation et le contrôle de version
- À mesure que l’ampleur des projets augmente, l’importance de l’architecture et du jugement demeure
Ère de l’IA : ce qui a changé et ce qui reste inchangé
- L’IA exécute très vite le travail mécanique consistant à transformer une intention en code
- Le choix d’un type de modélisation dimensionnelle, la définition des métriques et l’alignement métier requièrent toujours un jugement humain
- La vitesse de développement a augmenté, mais la durée globale des projets continue d’être absorbée par la réflexion et la coordination
- Le principal changement est le raccourcissement de la boucle de feedback, qui permet une amélioration itérative
La contrainte qui ne change pas : la complexité de la réflexion
- Un data warehouse est un modèle de l’entreprise, et une compréhension exacte est indispensable
- Derrière une demande qui semble simple se cachent d’innombrables définitions et exceptions
- Cette complexité appartient à un domaine que les outils ne peuvent pas éliminer
Ce que cela signifie pour les responsables data
- La vraie question n’est pas de savoir si les outils remplacent les experts, mais dans quelle mesure ils augmentent leur productivité
- Il faut évaluer s’ils réduisent le travail répétitif et permettent de se concentrer sur les décisions à forte valeur ajoutée
- Les nouveaux outils exigent de nouvelles compétences techniques
Pourquoi ce rêve persiste
- Le rêve de supprimer les experts a servi de moteur à l’innovation dans les outils
- Il ne s’est jamais pleinement réalisé, mais il a produit au passage une valeur concrète
- L’IA non plus ne remplace pas les experts, mais elle les rend plus efficaces
La direction à suivre
- Il n’y a aucune raison de rejeter les nouveaux outils, mais il faut garder des attentes réalistes
- L’investissement clé ne porte pas sur l’outil, mais sur les personnes capables de comprendre la complexité métier
- L’analyse de données consiste, au fond, à transformer la compréhension métier en une forme interrogeable
- Ce qui n’a pas changé en 50 ans, c’est que le plus grand goulot d’étranglement reste le jugement et la réflexion
Aucun commentaire pour le moment.