Accueil › Python › Générateurs
Générateurs
Itérateurs, générateurs et décorateursavance
Une fonction contenant yield ne renvoie pas une valeur : elle renvoie un générateur.
def references(commandes):
for commande in commandes:
for ref, _ in commande["lignes"]:
yield ref
Appeler references(...) n'exécute aucune ligne du corps. Les lignes s'exécutent au fur et à mesure que l'on réclame des éléments. À chaque yield, la fonction se suspend en gardant tout son état ; le next() suivant reprend juste après.
La même chose en plus court, avec une expression génératrice — des parenthèses au lieu de crochets :
total = sum(ligne["prix"] for ligne in lignes) # rien n'est stocké
L'intérêt tient en une phrase : la mémoire consommée ne dépend pas du volume parcouru.
# Compter les erreurs d'un journal de 2 Go
with open("journal.log", encoding="utf-8") as f:
print(f.read().count("ERREUR")) # charge 2 Go en mémoire
with open("journal.log", encoding="utf-8") as f:
print(sum(1 for ligne in f if "ERREUR" in ligne)) # une ligne à la fois
La première version demande 2 Go de mémoire vive et peut faire tomber le processus. La seconde en demande quelques kilooctets, et tournerait identiquement sur un fichier de 200 Go. Ce n'est pas une optimisation à la marge : c'est la différence entre un programme qui fonctionne et un programme qui ne fonctionne pas.
En échange, un générateur est un itérateur : un seul parcours, pas de len(), pas d'indexation. Consommé deux fois, il rend zéro élément la seconde fois, sans erreur.
Les termes à connaître
- Générateur
Un itérateur produit par une fonction contenant
yield, ou par une expression entre parenthèses. Il calcule ses éléments un à un, à la demande, et ne garde en mémoire que l'élément courant.- yield
Mot-clé qui rend une valeur et suspend la fonction en conservant son état complet — variables locales et point d'exécution. L'appel suivant à
next()reprend juste après leyield.- Évaluation paresseuse (*lazy*)
Rien n'est calculé avant d'être demandé. Appeler une fonction génératrice n'exécute aucune ligne de son corps : elle renvoie immédiatement un objet générateur.
- Expression génératrice
(ligne.strip() for ligne in fichier): la même chose qu'une compréhension de liste, mais paresseuse. Les crochets construisent tout en mémoire, les parenthèses ne construisent rien.- yield from
Délègue la production à un autre itérable :
yield from autreéquivaut àfor x in autre: yield x, en plus court et en transmettant correctement les valeurs envoyées au sous-générateur.- Pipeline de générateurs
Chaîne de générateurs branchés les uns sur les autres. Chaque élément traverse toute la chaîne avant que le suivant soit lu : la mémoire utilisée ne dépend pas du volume de données.
- itertools
Module de la bibliothèque standard dédié aux itérateurs :
islicepour couper,chainpour concaténer,countpour compter sans fin,groupby,tee… Tous paresseux.
Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.