Le nettoyage des données corrige les problèmes après qu’ils se produisent. L’assurance qualité (AQ) consiste à empêcher les problèmes de se produire en premier lieu — et à les détecter tôt quand ils se produisent.
Règles de validation
Les règles de validation définissent à quoi ressemblent des données valides. Elles peuvent être appliquées lors de la saisie des données (empêchant l’entrée de mauvaises données) ou lors du traitement (signalant les enregistrements qui ne répondent pas aux normes).
Les règles de validation courantes incluent :
- Vérifications de format — les codes postaux doivent correspondre au schéma A1A 1A1
- Vérifications de plage — l’âge doit être compris entre 0 et 120
- Intégrité référentielle — le code de province doit exister dans la table de référence des provinces
- Vérifications d’intégralité — les champs obligatoires ne doivent pas être nuls
- Vérifications d’unicité — l’identifiant client doit être unique
- Vérifications inter-champs — la date de fin doit être postérieure à la date de début
Profilage des données
Le profilage régulier des données — examiner systématiquement un jeu de données pour comprendre son contenu et sa qualité — aide à détecter les problèmes tôt. Profilez les métriques clés : nombre de lignes, nombre de valeurs nulles, nombre de valeurs distinctes, valeurs min/max et distributions de valeurs.
L’AQ manuelle ne passe pas à l’échelle. Intégrez des vérifications automatisées dans vos pipelines de données qui s’exécutent chaque fois que des données sont chargées ou mises à jour. Alertez le propriétaire des données quand les vérifications échouent plutôt que de laisser de mauvaises données s’accumuler silencieusement.
Tableaux de bord de qualité des données
Un tableau de bord de qualité des données suit les métriques de qualité dans le temps pour un jeu de données ou un système. Il rend la qualité visible et crée une responsabilité. Les métriques pourraient inclure : le pourcentage d’enregistrements avec des champs obligatoires complets, le pourcentage passant les règles de validation, et l’âge de la mise à jour la plus récente.
Mettez tout ensemble dans Construire une raffinerie de données.