La gestion des données à l’ère de l’IA

• Si l’IA générative ne fonctionne pas avec des données fiables, il devient difficile de faire confiance aux résultats d’analyse, ce qui fait de la gestion des données une fonction stratégique centrale plutôt qu’un simple support technique
• À partir d’une phase initiale où les développeurs d’applications prenaient aussi en charge la structure des données, les rôles se sont différenciés entre concepteurs/administrateurs de bases de données, CIO et CDO, avec comme enjeux majeurs l’intégrité des données et une compréhension cohérente à l’échelle de l’entreprise
• Dans les données structurées, on modifie directement les modèles de données et les bases de données, mais dans un environnement d’IA générative, on exerce un contrôle indirect en sélectionnant et en nettoyant les textes fournis au LLM
• Pour les textes non structurés, il faut une ontologie/taxonomie plutôt qu’un modèle de données traditionnel, qu’il faut combiner avec l’ELDM (Enterprise Logical Data Model) de l’entreprise et mettre à jour en continu
• À mesure que les données se dispersent entre plusieurs systèmes, PC et Internet, une centralisation physique devient impossible, et une centralisation sémantique unifiant le sens des données à l’échelle de l’entreprise via l’ELDM devient essentielle

---

La gestion des données, née du développement d’applications

• Dans les premiers systèmes informatiques, le développeur d’applications définissait aussi les données utilisées par le système et leur structure, en plus de la collecte des besoins, du respect des méthodologies, de la programmation et des tests
• La conception des données n’était pas une fonction autonome de l’entreprise, mais l’une des nombreuses tâches incluses dans le processus de développement

Traitement transactionnel et émergence des rôles spécialisés en base de données

• Avec la généralisation des systèmes de traitement transactionnel, il a fallu intégrer à la conception des bases de données le temps de réponse, la disponibilité du système et l’intégrité de l’exécution des transactions
• L’apparition du concepteur de bases de données, chargé de traiter ces exigences de façon spécialisée, a commencé à faire reconnaître la gestion des données comme une activité distincte
• Avec la multiplication rapide des bases de données transactionnelles, il est devenu nécessaire d’avoir un administrateur de bases de données capable de les contrôler et de les coordonner

Problèmes d’intégrité des données et data warehouse

• À mesure qu’un même élément de donnée était stocké de façon répétée dans de nombreuses applications interconnectées, le problème de valeurs différentes selon l’emplacement est apparu
• Le problème de l’entreprise n’était plus de posséder des données, mais de déterminer à quelles données faire confiance
• Ajouter des applications et des technologies n’a pas résolu les problèmes d’intégrité ; cela les a au contraire amplifiés et accélérés
• Il a fallu une solution architecturale plutôt qu’une correction technique, séparant les données opérationnelles des données analytiques, ce qui a conduit à l’émergence du data warehouse

Modèles de données et environnement de données structurées

• Pour transformer les données opérationnelles en données analytiques et en data warehouse, il faut un modèle de données qui abstrait les types de données existants ou nécessaires à l’avenir
• Les systèmes opérationnels et les data warehouses sont constitués d’un environnement de données structurées où le format de chaque enregistrement est identique et seul le contenu change
• Les données structurées des applications, des bases de données et des bases transactionnelles sont gérées par un système de gestion de base de données (DBMS)
• Les pannes des systèmes transactionnels affectant directement les opérations réelles et les clients, comme dans les ATM ou les systèmes de réservation aérienne, la valeur d’une gestion fiable et précise des systèmes et des données a augmenté

Le travail des gestionnaires de données structurées

• Une fois le modèle de données construit, il est entretenu et modifié en continu en fonction de la conjoncture économique, de la concurrence, de la technologie, du droit et de l’évolution du marché
• Dans la conception des bases de données, on suit les principes de normalisation tout en appliquant le niveau de dénormalisation nécessaire aux performances du traitement transactionnel
  • Le gestionnaire de données arbitre entre normalisation et dénormalisation selon les objectifs du système et les exigences de performance
• Il rédige le DDL définissant la base de données à partir du modèle de données
• Il réalise la planification de capacité pour prévoir quand l’infrastructure de traitement transactionnel atteindra ses limites
• Il surveille en continu l’activité des bases de données et la croissance des volumes de données
• Lorsqu’un problème est détecté, il utilise un mode de contrôle direct en accédant directement au modèle de données ou à la base de données pour les corriger

Expansion des données non structurées/textuelles

• Dans l’entreprise, il existe non seulement des données structurées, mais aussi un vaste ensemble de données non structurées/textuelles ; certaines estimations indiquent que jusqu’à 90 % des données d’entreprise sont du texte
• Une part importante des informations clés de l’entreprise existe sous forme de texte, et l’organisation chargée de la gestion des données doit donc aussi les administrer
• Les données structurées et les données textuelles diffèrent fondamentalement par leur structure et leur mode de gestion

Ontologies et taxonomies dans l’environnement textuel

• Dans un environnement textuel, il est difficile d’appliquer tel quel un modèle de données structuré traditionnel
• Là où le modèle de données joue ce rôle pour les données structurées, l’environnement textuel s’appuie sur une ontologie/taxonomie (ontology/taxonomy)
• Les deux modèles remplissent des fonctions correspondantes, mais leur structure et leurs techniques de gestion diffèrent fortement
• Appliquer directement aux textes les techniques de modélisation et de gestion des données structurées n’est pas adapté et produit très peu de résultats concrets

Sélection et nettoyage des textes d’entrée du LLM

• Dans un environnement d’IA générative, la tâche la plus importante de la gestion des données consiste à examiner le texte source avant qu’il n’entre dans le LLM
• Il faut éliminer les textes inutiles sans lien avec l’activité de l’entreprise afin qu’ils n’alimentent pas le LLM
• En supprimant les textes superflus, on réduit la quantité de données à traiter à chaque exécution d’une requête, ce qui permet de réduire les coûts
• En ne conservant que les textes liés à l’activité, on clarifie le périmètre de ce que le LLM exprime et traite

ELDM et lien entre données structurées et non structurées

• Dans un environnement d’IA générative, le gestionnaire de données doit relier l’ontologie/taxonomie à l’ELDM (Enterprise Logical Data Model) de l’ensemble de l’entreprise
• L’ELDM sert à intégrer les modèles de données structurées traditionnels et les ontologies/taxonomies de l’environnement textuel
• Lorsque les exigences métier de l’entreprise changent, l’ontologie/taxonomie doit être mise à jour elle aussi

Collecte de textes externes et maintenance continue

• Il faut d’abord sélectionner un large éventail de textes sources provenant de canaux comme Internet
• Ensuite vient un processus de sélection en deux étapes consistant à extraire à nouveau, à partir des textes retenus, les données pertinentes pour l’activité de l’entreprise
• Comme l’environnement métier et la situation du monde évoluent en permanence, il faut surveiller et gérer continuellement l’ontologie/taxonomie
• Une maintenance itérative est nécessaire pour aligner en permanence l’évolution des conditions et la taxonomie

Contrôle indirect du LLM

• Le gestionnaire de données structurées peut modifier directement le modèle de données et la base de données, mais dans un environnement d’IA générative, il ne peut pas contrôler directement le LLM lui-même de la même manière
• Le moyen de contrôler les résultats de l’IA générative consiste à gérer quels textes fournir au LLM
• Ainsi, la gestion des données pour l’IA générative relève moins d’une modification directe que d’un contrôle indirect via la sélection et le nettoyage des données d’entrée

Évolution du rôle de la gestion des données dans l’organisation

• Au départ, la gestion des données n’était qu’une des nombreuses tâches assurées par les développeurs systèmes, sans organisation ni fonction dédiée dans l’entreprise
• Avec l’importance croissante du traitement transactionnel, la conception de bases de données s’est séparée en activité indépendante, donnant naissance au rôle de concepteur de bases de données
• Avec l’explosion du nombre de bases de données et l’augmentation des éléments de données à gérer, le rôle d’administrateur de bases de données s’est élargi
• À mesure que les écarts entre les données de plusieurs systèmes se sont aggravés, le CIO (Chief Information Officer) est apparu pour prendre en charge l’intégration de l’information à l’échelle de l’entreprise
• Puis, avec le besoin de comprendre globalement les données de l’entreprise en intégrant données structurées et textuelles, le rôle a évolué vers celui de CDO (Chief Data Officer)
• Plus les formes de données se diversifient, plus augmentent ensemble la complexité et l’importance de la gestion, ainsi que les opportunités d’usage et les défis associés

De la centralisation physique à la centralisation sémantique

• Pour comprendre de manière cohérente les données et leur signification à l’échelle de l’entreprise, il faut un cadre centralisé de compréhension des données
• Dans les débuts de l’informatique, la centralisation signifiait une centralisation physique consistant à regrouper les bases de données sur de grands mainframes
• Ensuite, à mesure que les données se sont dispersées entre ordinateurs personnels, Internet et systèmes d’entreprise, la centralisation physique est devenue impossible
• Plus les données sont distribuées, plus il devient nécessaire d’assurer une compréhension commune d’un même objet avec un même sens, sur Internet comme à l’intérieur de l’entreprise
• L’objet de la centralisation s’est déplacé du lieu de stockage des données vers leur signification et leur définition
• L’ELDM est utilisé comme moyen de maintenir centralement un sens commun des données à l’échelle de l’entreprise, même si celles-ci existent dans plusieurs emplacements physiques