Accueil › SQL & bases de données › Migrer des données, pas seulement le schéma
Migrer des données, pas seulement le schéma
Migrations de schémaavance
Une migration de schéma se teste ; une migration de données s'écrit comme une opération chirurgicale, parce qu'elle est rarement réversible.
Quatre règles, apprises à chaque incident.
1. Sauvegarder avant de transformer.
CREATE TABLE commande_sauvegarde_v12 AS
SELECT id, adresse_complete FROM commande WHERE adresse_complete IS NOT NULL;
2. Procéder par lots, chacun validé.
UPDATE commande SET adresse_ville = split_part(adresse_complete, ',', 2)
WHERE adresse_ville IS NULL -- idempotent : ne retraite pas
AND id IN (SELECT id FROM commande WHERE adresse_ville IS NULL LIMIT 10000);
3. Rendre le script idempotent. Le WHERE adresse_ville IS NULL garantit qu'une reprise après interruption ne double rien.
4. Réconcilier, avec des requêtes écrites à l'avance.
-- Toutes les lignes ont-elles été traitées ?
SELECT count(*) FROM commande WHERE adresse_complete IS NOT NULL AND adresse_ville IS NULL;
-- Les valeurs correspondent-elles ?
SELECT count(*) FROM commande
WHERE adresse_ville IS DISTINCT FROM split_part(adresse_complete, ',', 2);
Un script qui se termine sans erreur ne prouve rien : seules les requêtes de contrôle le font.
Les termes à connaître
- Migration de données
Transformer des lignes existantes : découper une colonne, normaliser un référentiel, corriger un historique. Bien plus risquée qu'une migration de schéma, car irréversible.
- Idempotence
La propriété d'un script qui peut être rejoué sans effet supplémentaire. Indispensable pour une migration par lots interrompue en cours de route.
- Traitement par lots
Découper en tranches de quelques milliers de lignes, chacune validée. Évite une transaction géante, un verrou long et la saturation du journal.
- Table de reprise
Une table qui mémorise l'avancement (
derniere_id_traitee) pour reprendre après interruption sans tout refaire.- Sauvegarde préalable
Avant toute transformation destructive : copier les lignes concernées dans une table de sauvegarde. C'est le seul moyen de revenir en arrière sans restauration complète.
- Réconciliation
Les requêtes de contrôle exécutées après migration : comptages, sommes,
EXCEPTentre ancien et nouveau. Elles transforment « ça a l'air d'avoir marché » en preuve.
Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.