- Le domaine de l’ingénierie des données montre une polarisation croissante sous la double pression de la généralisation de l’IA et de l’accumulation de dette technique
- Le niveau d’usage de l’IA devient le cœur de la compétitivité, son utilisation quotidienne se généralisant au point que l’expression même d’« assisté par l’IA » pourrait disparaître
- L’importance de la modélisation des données et de la couche sémantique augmente fortement, ce qui stimule la demande de formation associée et accélère l’intégration des outils et l’automatisation
- Le marché des outils d’orchestration pourrait passer d’un centre de gravité autour d’Airflow vers des outils de nouvelle génération comme Dagster et Prefect, ou être absorbé par les plateformes
- Le manque de leadership et les inefficacités organisationnelles sont pointés comme le principal goulot d’étranglement, et la construction de capacités organisationnelles s’impose davantage que la technologie comme facteur décisif de survie
Tendances générales de l’ingénierie des données
- Des problèmes persistants comme l’absence de leadership, des responsabilités mal définies, la dette technique et la pression temporelle restent non résolus
- L’accélération liée à l’IA aggrave ces problèmes tout en laissant entrevoir des possibilités d’amélioration dans certains domaines
- L’écart continue de se creuser entre les équipes qui ont investi dans les fondamentaux et celles qui ne l’ont pas fait
- L’absence de modélisation des données constitue un problème majeur, et 38 % des équipes qui ne modélisent pas passent leur temps à réagir à des incidents fréquents
- À l’inverse, les équipes dotées d’un cadre de modélisation rencontrent moins de problèmes
- Le thème central de 2026 est que « la dette du passé revient avec des intérêts élevés », ce qui accroît la pression pour résorber la dette technique
1. Ignorer l’IA rendra la survie difficile
- Parmi les répondants à l’enquête, 82 % utilisent l’IA tous les jours, ce qui en fait déjà une exigence de base
- 64 % en sont encore à un usage expérimental ou tactique, tandis que 10 % ont complètement intégré l’IA dans leurs workflows
- Ces dernières équipes devraient rapidement creuser l’écart
- D’ici fin 2026, l’expression « assisté par l’IA » pourrait devenir si banale qu’elle disparaîtra des fiches de poste
- Toutefois, l’importance de la modélisation des données reste intacte
2. Crise de la modélisation des données et couche sémantique
- 89 % rencontrent des problèmes liés à la modélisation des données, et seuls 5 % utilisent un modèle sémantique
- Deux trajectoires sont avancées
- Trajectoire A : les couches sémantiques et contextuelles deviennent dominantes
- Trajectoire B : l’IA génère des modèles à la volée, réduisant le besoin de couche sémantique
- Il est suggéré que la trajectoire A se diffusera d’abord, avant que des modèles d’IA puissent ensuite s’y substituer
- Les outils de couche sémantique et d’ontologie sont attendus comme percée de 2026, et la demande de formation en modélisation et en sémantique atteint respectivement 19 %
3. Intégration ou disparition de l’orchestration
- 20 % des entreprises n’utilisent aucun outil d’orchestration, une situation jugée instable
- Certaines s’appuient sur des processus manuels ou des outils informels comme
cron
- Airflow et l’orchestration cloud native dominent aujourd’hui,
- Dagster affiche 12 % dans les PME contre 2,6 % dans les grandes entreprises, ce qui montre une diffusion bottom-up plutôt que descendante
- L’orchestration pour agents IA reste encore à un stade incertain
- À l’avenir, on peut envisager une percée de Dagster et Prefect dans l’entreprise ou une intégration aux plateformes (Databricks, Snowflake, dbt Cloud, etc.)
4. Fin du débat lakehouse vs warehouse
- La répartition actuelle est de 44 % pour les warehouses, 27 % pour les lakehouses et 12 % pour les hybrides
- Une convergence vers 35 % / 35 % / 30 % d’ici 2027 est évoquée
- Avec la convergence fonctionnelle entre Snowflake et Databricks, la distinction « Lakehouse » devrait progressivement perdre de son sens et se standardiser
- Le taux d’adoption de 40 % des lakehouses en Amérique latine est surveillé comme indicateur avancé
- D’ici fin 2026, le débat « warehouse vs lakehouse » pourrait être considéré comme un sujet dépassé
5. Le leadership devient le principal goulot d’étranglement
- 22 % des data engineers citent l’absence de leadership comme problème majeur,
- soit presque au même niveau que la dette technique (26 %)
- La mauvaise qualité des besoins exprimés (18 %) apparaît également, reflétant des inefficacités organisationnelles
- Dans la ruée actuelle vers l’adoption de l’IA, l’introspection du leadership et l’amélioration de la conception organisationnelle deviennent des priorités incontournables
- En 2026, les contenus et formations portant sur le leadership data, la gestion des parties prenantes et la conception organisationnelle devraient se multiplier
Tendance bonus : la disparition de certaines équipes
- 7 % des équipes anticipent une réduction, et parmi elles 30 % désignent l’absence de leadership comme goulot d’étranglement
- Il s’agit d’une réduction due non pas à l’efficacité apportée par l’IA, mais à des lacunes organisationnelles
- En 2026, certaines équipes data pourraient être dissoutes, intégrées aux départements engineering ou externalisées
- Seules survivront les équipes capables de prouver leur valeur métier ; les seules compétences techniques ne suffiront plus à assurer leur pérennité
Conclusion
- En 2026, l’enjeu central de l’ingénierie des données ne sera pas le choix des outils, mais la capacité d’exécution organisationnelle
- La maîtrise de l’IA, le cadre de modélisation des données et la qualité du leadership seront les critères qui feront la différence entre survie et déclin
- Plus que les avancées techniques, la maturité organisationnelle et la structure de collaboration détermineront l’avantage concurrentiel
Aucun commentaire pour le moment.