La standardisation des données est le processus de transformation des données en un format cohérent afin qu’elles puissent être comparées, combinées et analysées de manière fiable. Elle va au-delà de la correction des erreurs individuelles — il s’agit d’appliquer des règles systématiques à l’ensemble d’un jeu de données.
Pourquoi la standardisation est importante
Sans standardisation, combiner des données de plusieurs sources est peu fiable. Si un jeu de données utilise « QC » pour le Québec et un autre « Québec » et un troisième « Qc. », vous ne pouvez pas les joindre sans d’abord standardiser le champ de province.
Données de référence
Les données de référence sont un ensemble de valeurs standard utilisées pour valider et standardiser d’autres données. Les codes de province, les codes de pays, les codes de classification industrielle et les codes de devise sont tous des données de référence.
Listes de codes et tables de correspondance
Créez des tables de correspondance qui associent des valeurs non standard à des valeurs standard. Par exemple, une table de correspondance pourrait associer « Qc », « Québec », « QC » et « qc » tous à la valeur standard « QC ». Appliquez cette correspondance pour nettoyer le champ de province dans votre jeu de données.
Statistique Canada publie des systèmes de classification standard utilisés dans les données gouvernementales canadiennes : le Système de classification des industries de l’Amérique du Nord (SCIAN) pour les industries, la Classification nationale des professions (CNP) pour les professions, et la Classification géographique type (CGT) pour les zones géographiques.
Unités et échelles
Les données numériques nécessitent des unités cohérentes. Si certains enregistrements stockent des distances en kilomètres et d’autres en miles, les calculs seront erronés. Standardisez vers une seule unité et documentez-la dans vos métadonnées.
Apprenez à intégrer l’Assurance qualité dans vos processus.