Formations — 1 037 leçons en français

Accueil › Git & CI/CD › Tests instables

Tests instables — entretien Git & CI/CD

7 questions posées en entretien, avec la bonne réponse et son explication.

Comment reconnaît-on un test instable ?

  1. Deux exécutions sur le même commit donnent deux résultats différents ✓
  2. Il met plus longtemps que les autres tests de la suite
  3. Il échoue systématiquement depuis une mise à jour de dépendance
  4. Il ne couvre aucune ligne de code nouvelle

Pourquoi : Le critère est la non-reproductibilité à code constant, et il se vérifie par une simple relance sans modification. Un test qui échoue toujours n'est pas instable : il signale quelque chose. Confondre les deux conduit à la pire réaction possible, relancer un vrai échec jusqu'à l'oublier.

Niveau junior

Pourquoi relancer automatiquement un test échoué est-il une mauvaise réponse à l'instabilité ?

  1. Le vert signifie désormais « a réussi au moins une fois », ce qui masque aussi les vrais défauts intermittents ✓
  2. La relance double le coût d'exécution de la chaîne
  3. GitHub Actions ne permet pas de relancer un seul job
  4. Elle fausse le calcul de la couverture de code

Pourquoi : Une condition de concurrence réelle produit exactement la même signature qu'un test instable : un échec non reproductible. La relance les traite de la même manière, donc elle efface la distinction. Le coût supplémentaire existe aussi, mais il est secondaire devant la perte de sens du verdict.

Niveau confirme

Pourquoi une fiabilité individuelle « acceptable » des tests ne suffit-elle pas ?

  1. Les probabilités d'échec se composent sur l'ensemble de la suite, donc une grande suite échoue souvent sans aucun défaut ✓
  2. Parce que les tests lents sont toujours les plus instables
  3. Parce que la couverture de code amplifie l'instabilité
  4. Parce que les exécutants partagés faussent les mesures de fiabilité

Pourquoi : Un test qui échoue une fois sur cinq cents semble anodin ; multiplié par plusieurs centaines de tests, l'échec d'au moins un devient courant à chaque exécution. C'est pourquoi l'instabilité se traite comme un défaut de production et non comme une gêne, et pourquoi un seuil « par test » ne veut rien dire sans le nombre de tests.

Niveau senior

Qu'est-ce qui distingue une mise en quarantaine d'une suppression déguisée ?

  1. Un responsable nommé, une échéance, et une liste visible relue régulièrement ✓
  2. Le fait de conserver le test dans le dépôt plutôt que de l'effacer
  3. Le fait de le relancer automatiquement en dehors du lot bloquant
  4. Le fait de documenter la cause de l'instabilité dans le message de commit

Pourquoi : Sortir un test instable du lot bloquant est légitime : il bloque sans rien prouver. Ce qui le rend acceptable, c'est le mécanisme qui garantit qu'on y revient. Sans échéance ni liste visible, un test désactivé survit des années pendant que la couverture annoncée continue de prétendre qu'il vérifie quelque chose.

Niveau senior

Qu'appelle-t-on un test instable ?

  1. Un test dont le résultat varie d'une exécution à l'autre alors que le code n'a pas changé ✓
  2. Un test qui échoue systématiquement depuis la dernière modification
  3. Un test trop lent pour tenir dans le budget de la chaîne
  4. Un test qui dépend d'une bibliothèque dont la version n'est pas figée

Pourquoi : La définition tient à la variation sans cause dans le code. Ce qui la rend grave, c'est le report sur les autres tests : dès que l'équipe relance « parce que c'est sûrement l'instable », le rouge cesse d'être une information, y compris quand il est vrai. Un test qui échoue toujours est au contraire utile — il désigne un vrai problème.

Niveau junior

Quel est le risque d'activer une reprise automatique des tests échoués sans la compter ?

  1. Une régression réelle intermittente passe au second essai, et plus personne n'en est informé ✓
  2. La durée des exécutions double systématiquement
  3. Les rapports de couverture deviennent inexploitables
  4. Les travaux dépendants démarrent avant la fin du travail repris

Pourquoi : La reprise est un outil acceptable à court terme, à condition d'être visible. Silencieuse, elle transforme un signal en bruit : l'instabilité n'est jamais corrigée puisque plus rien ne la révèle, et les vraies régressions intermittentes se glissent dans la même zone aveugle. La formulation attendue est « on reprend, mais on compte et on affiche ».

Niveau confirme

Chaque test d'une suite échoue à tort une fois sur mille. Que devient la fiabilité quand la suite passe de cinquante à mille tests ?

  1. La probabilité d'une exécution verte tombe d'environ 95 % à environ 37 % ✓
  2. Elle reste identique, le taux par test n'ayant pas changé
  3. Elle se dégrade proportionnellement, de 95 % à environ 90 %
  4. Elle s'améliore, les échecs isolés étant noyés dans la masse

Pourquoi : La fiabilité se multiplie : elle vaut (1 - p) puissance n. Un taux parfaitement tolérable pour un test isolé devient catastrophique à l'échelle d'une suite. C'est le seul défaut de chaîne dont le coût croît avec le succès de l'effort de test, ce qui explique pourquoi les équipes matures traitent l'instabilité comme un incident, pas comme une gêne.

Niveau senior

S'entraîner sur ces questions, chronométré →