À propos de la qualité des données — principes de base

Les données n’ont pas de qualité intrinsèque ; on peut considérer que leur qualité augmente à mesure que la valeur qu’elles créent dans un cas d’usage donné augmente.

La qualité des données se compose de quatre niveaux : donnée individuelle, corpus dans son ensemble, adéquation à l’usage et résultats métier. Les niveaux inférieurs rendent possibles les niveaux supérieurs, tandis que les niveaux supérieurs fournissent une raison d’investir dans les niveaux inférieurs.

Même des données de chiffre d’affaires exactes peuvent être adaptées à la comptabilité, mais inadaptées au pilotage en temps réel ou à la prévision des revenus futurs ; l’évaluation de la qualité d’une même donnée varie donc selon l’utilisateur et l’objectif.

Si l’on se concentre uniquement sur la vérification des attributs, on peut produire des données parfaites sans générer de valeur métier ; à l’inverse, si l’on ne poursuit que les résultats en ignorant la qualité de base, on peut créer un système non durable.

La gestion de la qualité des données ne doit pas se limiter au nettoyage des données : elle doit aussi inclure la mesure du chemin allant de l’usage des données aux changements de décision puis aux résultats métier, ainsi que l’ajustement des investissements en fonction de ces résultats.

Pourquoi les définitions standard ne suffisent pas

ISO 8000 définit des données de qualité comme des données qui satisfont à des exigences spécifiées, mais c’est une définition circulaire qui, bien qu’exacte, n’aide pas vraiment à prendre des décisions concrètes.

ISO 25012 définit la qualité des données à travers 15 attributs, dont l’exactitude, la complétude et la cohérence.

C’est utile pour contrôler l’état de données individuelles, mais cela ne dit pas si ces données contribuent effectivement à l’usage réel et aux résultats métier.

Si plusieurs praticiens évaluent différemment les mêmes données, c’est parce qu’ils jugent à partir de niveaux de qualité et d’objectifs d’usage différents.

La qualité des données découle de leur valeur

Les données n’ont pas de valeur intrinsèque ; ce que l’on peut faire avec elles détermine leur valeur.

La logique utilisée dans
Comment fixer le prix d’un actif de données
peut aussi s’appliquer à la qualité.

La qualité des données est une caractéristique qui accroît la valeur des données.

Comme la valeur des données est fonction de la manière dont elles sont utilisées, leur qualité l’est aussi.

L’objectif d’améliorer la qualité est de faire davantage avec les données, de faire la même chose mieux, plus vite et à moindre coût, ou de rendre possible quelque chose qui ne l’était pas auparavant.

Niveau 1 : qualité des données individuelles

La qualité à granularité fine (granular quality) évalue des unités de données individuelles, comme un enregistrement de base de données, une phrase, une paire question-réponse ou un exemple étiqueté.

Les principaux attributs d’évaluation comprennent l’exactitude, la précision, l’actualité, la conformité au format, la cohérence interne, la plausibilité, la provenance, l’interprétabilité et la fiabilité.

Chacun de ces attributs peut être évalué au niveau d’une unité individuelle, sans examiner d’autres enregistrements.

Cependant, toute évaluation suppose un contexte d’usage.

Il faut déterminer selon quel critère quelque chose est vrai,

à quel moment on considère que c’est à jour,

de quelle manière c’est utilisable,

et dans quel contexte c’est cohérent.

Qualité individuelle des données de chiffre d’affaires

Si l’on interprète mal les conditions contractuelles, les renouvellements, les remises, ou la distinction entre chiffre d’affaires ponctuel et récurrent, on peut se tromper dès le niveau de chaque élément de chiffre d’affaires.

Même avec un enregistrement exact, le choix de comptabiliser les revenus d’une marketplace en brut (gross) ou en net (net) dépend de la structure de l’activité.

Le jugement varie selon que l’entreprise fournit directement la valeur, fixe les prix et assume la responsabilité du service,

ou qu’elle est plutôt un intermédiaire mettant en relation acheteurs et vendeurs.

Même des auditeurs peuvent aboutir à des conclusions différentes : l’exactitude elle-même ne peut donc pas être séparée de l’objectif d’usage et du contexte comptable.

Niveau 2 : qualité de l’ensemble de données

Même si tous les enregistrements individuels sont exacts, cela ne garantit pas une qualité élevée du corpus dans son ensemble (aggregate quality).

Au niveau global, il faut évaluer les attributs suivants :

la couverture et les omissions éventuelles,

la déduplication,

la granularité des données,

la représentativité et l’équilibre,

la cohérence entre les enregistrements et les labels,

les distributions et statistiques agrégées,

le volume et la suffisance des données,

la continuité temporelle,

la possibilité de combinaison avec d’autres données,

la dérive dans le temps et l’espace.

Ces attributs ne sont pas visibles au niveau des données individuelles ; ils apparaissent dans les relations et distributions de l’ensemble des données.

Il faut vérifier si toutes les données sont présentes, si elles sont suffisamment nettoyées, si elles reflètent la réalité, et si elles restent stables dans le temps et l’espace.

Qualité globale des données de chiffre d’affaires

Même si chaque événement de chiffre d’affaires est enregistré correctement, les problèmes suivants peuvent subsister :

la définition du chiffre d’affaires a changé au milieu de l’historique,

certains revenus sont manquants,

le même revenu est compté deux fois,

des agrégations différentes ne concordent pas.

Des données qui reflètent parfaitement les clients actuels peuvent être de haute qualité pour la comptabilité et le reporting, mais de basse qualité pour prévoir l’expansion des revenus si la composition future des clients diffère.

La représentativité d’un jeu de données doit être évaluée non par rapport aux données elles-mêmes, mais par rapport à la population ou au phénomène auquel on veut l’appliquer.

Niveau 3 : adéquation à l’usage

L’adéquation à l’usage (fitness for purpose) évalue l’interaction entre les données et l’application réelle, plutôt que les attributs des données elles-mêmes.

Les états financiers ne sont pas adaptés à une campagne publicitaire, et les profils clients ne sont pas adaptés à l’analyse boursière ; mais si l’usage change, chacun peut devenir une donnée indispensable.

Adéquation informationnelle

Elle évalue si les données peuvent répondre à la question que l’on cherche à résoudre.

Elle inclut la pertinence, l’adéquation, la suffisance et la nécessité.

Le fait que des données soient exactes et le fait qu’elles fournissent l’information nécessaire sont deux questions différentes.

Adéquation opérationnelle

Elle évalue si les données peuvent être utilisées efficacement dans un environnement réel.

Elle inclut la disponibilité, les licences et la conformité réglementaire, l’interopérabilité, ainsi que le rapport entre risque et récompense.

Même si l’information est suffisante, si elle n’est pas accessible au moment nécessaire ou ne peut pas être utilisée légalement, elle n’est pas adaptée à l’usage.

Différences selon l’objectif pour les données de chiffre d’affaires

Même une excellente équipe finance a besoin de plusieurs jours pour arrêter parfaitement le chiffre d’affaires de fin de mois, mais un CEO peut devoir décider, au cours du mois où le chiffre d’affaires s’écarte des prévisions, d’investir, de réduire les coûts, d’embaucher ou de licencier.

Un chiffre d’affaires arrêté, de haute qualité pour un auditeur, peut être une donnée trop tardive pour les opérations en temps réel.

Même des données financières détaillées peuvent ne pas correspondre aux besoins de chaque utilisateur.

Le conseil d’administration veut une synthèse des points clés.

Le CMO veut connaître la contribution du marketing.

L’équipe commerciale veut connaître le montant des commissions.

Les détails, nuances, avertissements et différents axes d’analyse qui améliorent la qualité pour l’équipe finance peuvent au contraire réduire l’utilisabilité pour d’autres utilisateurs.

Niveau 4 : qualité des résultats métier

Même si la qualité individuelle, la qualité globale et l’adéquation à l’usage sont excellentes, cela ne garantit pas que les données créent réellement de la valeur métier.

La qualité des résultats métier (business-outcome quality) évalue dans quelle mesure les données ont amélioré les résultats de l’entreprise.

Il peut s’agir, par exemple,

d’une amélioration des scores d’évaluation,

d’une hausse du taux de rétention du chiffre d’affaires entreprise,

d’une amélioration du rendement ajusté du risque,

ou d’une augmentation du taux de conversion client.

On peut la décomposer en trois questions :

les données ont-elles réellement été utilisées ?

qu’est-ce qui a changé après leur utilisation ?

ce changement valait-il l’investissement ?

Mesurer l’usage et les résultats

L’usage des données se mesure par le taux d’adoption, l’influence sur les décisions et l’ampleur des changements de comportement.

L’évolution des résultats s’évalue à travers la différence avant/après, l’attribution précise et l’importance du changement.

La valeur du changement doit aussi prendre en compte le retour sur investissement, le moment où les résultats apparaissent, leur durabilité et les risques.

Quand des données de chiffre d’affaires de haute qualité échouent

Même si l’on modifie le système de commissions commerciales à partir de données de chiffre d’affaires exactes, non biaisées et adaptées aux besoins des utilisateurs, les résultats métier attendus peuvent ne pas se produire.

Si l’équipe commerciale optimise pour la nouvelle formule, les comportements suivants peuvent apparaître :

avancer des revenus futurs pour bénéficier de rémunérations accélérées,

offrir des remises qui dégradent les marges,

privilégier des contrats faciles à signer mais de faible qualité plutôt que des contrats difficiles à conclure mais à forte valeur de long terme.

Les données elles-mêmes peuvent être de haute qualité à tous les niveaux inférieurs, tandis que le dispositif et les changements de comportement qu’elles entraînent détruisent de la valeur métier.

Au niveau le plus élevé, il faut moins raffiner davantage les données elles-mêmes que mettre en place les processus suivants :

définir par de meilleures hypothèses la valeur que les données doivent créer,

instrumenter le chemin allant de l’usage des données aux comportements puis aux résultats,

réduire ou accroître l’investissement en fonction des résultats réels.

L’échelle de la qualité

Les quatre niveaux ne sont pas des checklists séparées, mais une échelle ordonnée et interdépendante.

Pour atteindre l’adéquation à l’usage et les résultats métier, il faut d’abord disposer d’une qualité suffisante au niveau des données individuelles et de l’ensemble des données.

À l’inverse, la qualité des niveaux inférieurs ne crée pas de valeur en soi ; elle ne justifie l’investissement que lorsqu’elle permet des résultats aux niveaux supérieurs.

Aux niveaux inférieurs, il faut vérifier que l’on n’est pas tellement absorbé par le contrôle des attributs que l’on en oublie les cas d’usage métier.

Aux niveaux supérieurs, il faut vérifier que l’on n’est pas tellement absorbé par les résultats que l’on ignore l’hygiène de base des données.

Les modes d’échec des standards existants

Une approche de type ISO 25012 peut tomber dans le piège de la checklist : mesurer de nombreux attributs de qualité sans pour autant améliorer l’activité.

Une approche de type ISO 8000 s’en tient à l’idée que les données qui produisent de bons résultats sont de bonnes données, sans indiquer concrètement quoi améliorer.

L’échelle de la qualité relie dans une même structure les contrôles actionnables des niveaux inférieurs et les jugements de valeur des niveaux supérieurs.

Conflits entre niveaux différents

Les débats sur la qualité des données surviennent souvent lorsque les interlocuteurs parlent depuis des niveaux différents de l’échelle.

Un ingénieur data ops privilégie l’exactitude des labels et l’état des enregistrements, mais ces données peuvent ne pas être utilisées par l’activité.

Un CEO met l’accent sur un modèle opérationnel idéal et les résultats métier, mais ce modèle peut être construit sur des données d’entrée peu fiables.

Face à un problème, l’un cherche à corriger les données de détail tandis que l’autre cherche une nouvelle stratégie, mais aucune des deux approches ne résout tous les problèmes à elle seule.

Trois manières de sauter des niveaux
Échec de lancement

Il s’agit du cas où l’on se concentre trop sur les niveaux inférieurs, au point de rendre parfaites la qualité individuelle, la qualité globale et l’adéquation à l’usage, sans produire la moindre valeur métier.

Les niveaux inférieurs sont concrets, mesurables et faciles à améliorer directement ; ce sont donc ceux sur lesquels les organisations se concentrent le plus facilement.

Parce qu’il existe de nombreux éléments mesurables, le travail de remise en ordre des données peut devenir l’objectif à la place des résultats réels.

Échec des fondations

Il s’agit du cas où l’on ignore les niveaux inférieurs pour optimiser directement la valeur métier.

Cela peut fonctionner temporairement si l’objectif est clair et si la boucle de feedback est suffisamment rapide.

L’approche consistant à dire que seul le résultat compte, même en présence de problèmes d’exactitude, de provenance ou d’actualité, n’est généralement pas durable ; les problèmes des données de base finissent par apparaître.

Utiliser la provenance comme preuve de qualité

Une source externe fiable peut garantir à la place de l’organisation la qualité des données individuelles et globales, réduisant ainsi l’investissement nécessaire en vérification interne.

Choisir un fournisseur spécialisé dans un secteur donné peut aussi réduire la charge de vérification de l’adéquation à l’usage.

Cependant, la valeur métier doit être créée directement par l’organisation qui achète les données.

La confiance dans une source de données n’apparaît pas automatiquement.

Elle se construit avec le temps, les ressources et des résultats répétés.

Elle se maintient tant que les données continuent de fonctionner.

Elle s’affaiblit rapidement si les résultats attendus ne se matérialisent pas.

Prochaine étape

La qualité des données n’est pas une propriété absolue des données elles-mêmes ; elle apparaît dans l’objectif d’usage et le processus de création de valeur.

Une gestion efficace de la qualité exige de vérifier les quatre niveaux sans rester bloqué sur un seul d’entre eux.

Un prochain article abordera la manière dont l’IA transforme nos intuitions existantes sur la qualité des données.