La qualité des données n'est pas une réalisation ponctuelle. Même les données qui commencent propres et bien structurées se dégraderont avec le temps à mesure que des enregistrements sont ajoutés, mis à jour et supprimés par différentes personnes avec différentes habitudes. Maintenir la qualité nécessite une attention continue.
Les dimensions de la qualité des données
La qualité des données n'est pas une chose unique. Elle a plusieurs dimensions, chacune pouvant échouer indépendamment :
- Exactitude. Les données reflètent-elles correctement la réalité ? Une adresse qui était correcte il y a deux ans peut ne plus l'être.
- Exhaustivité. Tous les champs requis sont-ils remplis ? Les valeurs manquantes peuvent rendre les enregistrements inutilisables pour leur objectif prévu.
- Cohérence. La même information est-elle enregistrée de la même façon dans tous les enregistrements ? Les incohérences suggèrent des problèmes de saisie de données ou des problèmes d'intégration de systèmes.
- Actualité. Les données sont-elles suffisamment récentes pour leur utilisation prévue ? Des données obsolètes peuvent être pires que pas de données si elles conduisent à de mauvaises décisions.
- Validité. Les données sont-elles conformes aux règles et formats définis ? Une date du 30 février est invalide quelle que soit la façon dont elle a été saisie.
La mauvaise qualité des données a des coûts réels : de mauvaises décisions prises sur la base de mauvaises informations, du temps passé à nettoyer les données avant qu'elles puissent être utilisées, des échecs d'intégration de systèmes et une érosion de la confiance dans les processus axés sur les données. Les études montrent systématiquement que les problèmes de qualité des données sont parmi les obstacles les plus importants à une utilisation efficace des données dans les organisations.
Identifier les problèmes de qualité
Vous ne pouvez pas résoudre les problèmes de qualité que vous n'avez pas trouvés. Les approches courantes pour identifier les problèmes comprennent :
- Profilage. Résumez vos données : comptez les enregistrements, vérifiez les valeurs nulles, examinez les distributions de valeurs. Les schémas inattendus révèlent souvent des problèmes.
- Règles de validation. Définissez à quoi ressemblent les données valides et vérifiez régulièrement vos données par rapport à ces règles.
- Retours des utilisateurs. Les personnes qui utilisent les données remarquent souvent les problèmes de qualité avant les vérifications formelles. Créez un canal pour signaler les problèmes.
- Comparaison. Comparez vos données à des sources externes faisant autorité lorsque c'est possible.
Corriger les problèmes de qualité
Quand vous trouvez des problèmes de qualité, traitez à la fois le symptôme et la cause :
- Corrigez les enregistrements spécifiques qui sont erronés
- Identifiez pourquoi le problème s'est produit — erreur de saisie, bogue système, lacune de processus
- Mettez en place des contrôles pour éviter que le même problème ne se reproduise
- Documentez ce qui a été trouvé et ce qui a été fait
Intégrer la qualité dès le départ
La maintenance de la qualité la plus efficace se produit au point de saisie. Les règles de validation, les champs obligatoires et les vocabulaires contrôlés préviennent de nombreux problèmes de qualité avant qu'ils ne se produisent. Investissez dans la prévention plutôt que de compter entièrement sur la correction après coup.
Points clés
- La qualité des données a plusieurs dimensions : exactitude, exhaustivité, cohérence, actualité, validité
- La qualité se dégrade avec le temps sans maintenance active
- Profilez régulièrement vos données pour identifier les problèmes tôt
- Corrigez à la fois le symptôme et la cause profonde des problèmes de qualité
- La prévention au point de saisie est plus efficace que la correction après coup
Des données de qualité ne sont utiles que si les gens les comprennent. Apprenez pourquoi la documentation est essentielle dans Tout documenter.