Itérables et itérateurs : le protocole derrière les boucles for

Ce que c'est

La référence de la bibliothèque documente deux méthodes. Un itérable fournit __iter__(), qui retourne un itérateur ; un itérateur fournit __next__(), qui retourne l'élément suivant ou lève StopIteration, ainsi que son propre __iter__(), qui se retourne lui-même. Une boucle for appelle iter() une fois et next() de façon répétée. Conséquence : un conteneur produit un nouvel itérateur à chaque appel de iter(), tandis qu'un itérateur confié à une seconde boucle se retourne lui-même et paraît vide car il est déjà épuisé. La référence ajoute qu'une fois que __next__() a levé StopIteration, elle doit continuer de le faire, et qualifie de « cassées » (broken) les implémentations qui ne le font pas. iter(callable, sentinel) construit un itérateur qui appelle une fonction jusqu'à ce qu'elle retourne la sentinelle, et next(it, default) retourne une valeur par défaut au lieu de lever une exception.

Pourquoi c'est important

Les fonctions qui demandent « une séquence » acceptent souvent n'importe quel itérable, puis se cassent lorsqu'elles itèrent deux fois (len(), une passe de validation suivie d'une passe de traitement, des tests d'appartenance). Savoir lequel des deux on tient en main, et lequel une signature promet, élimine toute une classe de bugs de résultat vide.

Comment l'appliquer

• Annoter les paramètres en Iterable[T] pour un passage unique, et en Sequence[T] ou Collection[T] lorsque len, l'indexation ou plusieurs passages sont nécessaires ; en cas de doute, matérialiser une fois avec list(xs) à la frontière.
• Implémenter __iter__ comme une fonction génératrice sur les conteneurs personnalisés ; chaque appel produit un nouvel itérateur indépendant sans classe d'itérateur écrite à la main.
• N'écrire une classe d'itérateur que lorsqu'elle a besoin d'un état qu'un générateur ne peut pas exprimer (anticiper un élément, revenir en arrière, contrôle externe), et laisser __iter__ retourner self.
• Lire des blocs de taille fixe avec iter(partial(f.read, 4096), b"") ; la documentation des fonctions natives montre cet idiome de lecteur par blocs.
• Récupérer un premier élément en toute sécurité avec next(it, None) ; sauter des éléments avec itertools.islice.
• Matérialiser les entrées paresseuses avant les nouvelles tentatives ou avant une validation qui précède l'utilisation ; les deux consommeraient sinon les données.

Pièges

isinstance(x, Iterable) ne dit rien sur la ré-itérabilité ; un générateur passe le test et s'épuise malgré tout. Les fichiers ouverts sont des itérateurs sur les lignes : un second for line in f ne produit rien sans f.seek(0). map, filter, zip, enumerate et reversed retournent des itérateurs à passage unique, tandis que range, les vues de dict et d'autres conteneurs restent ré-itérables. Depuis PEP 479, un StopIteration qui s'échappe du corps d'un générateur devient une RuntimeError, si bien que les appels à next() à l'intérieur des générateurs ont besoin d'une valeur par défaut ou d'un try. Une classe dotée de __getitem__ acceptant des entiers à partir de 0 est itérable via l'ancien protocole de séquence, même sans __iter__.