本文是《Python全栈修炼之路》系列的第13篇，属于进阶修炼篇前半部分。适合已掌握Python基础语法，希望深入理解Python核心机制的读者。
前言
在Python编程中，处理大规模数据是常见需求。当面对百万级甚至亿级数据时，一次性将所有数据加载到内存往往会导致程序崩溃。迭代器（Iterator）和生成器（Generator）正是解决这一问题的利器，它们实现了"惰性求值"（Lazy Evaluation）的理念——只在需要时才计算下一个值。
本文将深入探讨Python的迭代协议、生成器机制以及itertools模块的强大功能，帮助你写出既优雅又高效的Python代码。
一、知识点讲解
1.1 可迭代协议（Iterable Protocol）
在Python中，可迭代对象（Iterable）是指实现了__iter__()方法或__getitem__()方法的对象。简单来说，任何可以用for循环遍历的对象都是可迭代的。
# 常见的可迭代对象my_list=[1,2,3]# 列表my_tuple=(1,2,3)# 元组my_string="hello"# 字符串my_dict={'a':1,'b':2}# 字典（迭代键）my_set={1,2,3}# 集合my_file=open('data.txt')# 文件对象# 检查对象是否可迭代fromcollections.abcimportIterableprint(isinstance(my_list,Iterable))# Trueprint(isinstance(my_string,Iterable))# Trueprint(isinstance(42,Iterable))# False如何判断一个对象是否可迭代？
| 方法 | 说明 | 示例 |
|---|---|---|
iter(obj) | 尝试获取迭代器，成功则对象可迭代 | iter([1,2,3]) |
isinstance(obj, Iterable) | 类型检查，推荐方式 | isinstance([], Iterable) |
hasattr(obj, '__iter__') | 检查是否有__iter__方法 | hasattr([], '__iter__') |
1.2 迭代器协议（Iterator Protocol）
迭代器（Iterator）是实现了两个特殊方法的对象：
__iter__()：返回迭代器对象自身__next__()：返回序列中的下一个值，没有元素时抛出StopIteration异常
classCountDown:"""自定义迭代器：倒计时"""def__init__(self,start):self.start=startdef__iter__(self):# 返回迭代器对象自身returnselfdef__next__(self):ifself.start<=0:raiseStopIteration self.start-=1returnself.start+1# 使用自定义迭代器countdown=CountDown(5)fornumincountdown:print(num,end=' ')# 输出: 5 4 3 2 1可迭代对象 vs 迭代器的区别：
| 特性 | 可迭代对象（Iterable） | 迭代器（Iterator） |
|---|---|---|
| 能否重复使用 | 可以 | 不可以（一次性） |
| 方法要求 | __iter__() | __iter__()+__next__() |
| 内存占用 | 存储所有数据 | 只存储当前状态 |
| 示例 | list, tuple, str | 由iter()返回的对象 |
# 关键区别演示my_list=[1,2,3]# 可迭代对象可以多次遍历foriteminmy_list:print(item,end=' ')# 1 2 3print()foriteminmy_list:print(item,end=' ')# 1 2 3（可以再次遍历）# 迭代器只能遍历一次iterator=iter(my_list)print(list(iterator))# [1, 2, 3]print(list(iterator))# []（已耗尽，为空）1.3 生成器函数与yield
生成器（Generator）是一种特殊的迭代器，使用yield关键字定义。相比普通函数，生成器函数可以"暂停"执行并保存状态，下次从暂停处继续。
deffibonacci(n):"""生成前n个斐波那契数"""a,b=0,1count=0whilecount<n:yielda# 暂停，返回当前值a,b=b,a+b# 下次从这里继续执行count+=1# 使用生成器fornuminfibonacci(10):print(num,end=' ')# 0 1 1 2 3 5 8 13 21 34yield的核心特性：
- 状态保存：每次
yield后，函数的状态（局部变量、执行位置）被保存 - 惰性求值：只在需要时生成下一个值
- 自动实现迭代器协议：无需手动定义
__iter__和__next__
defdemo_generator():print("开始执行")yield1print("继续执行，yield 1之后")yield2print("继续执行，yield 2之后")yield3print("执行结束")gen=demo_generator()print(type(gen))# <class 'generator'># 手动驱动生成器print(next(gen))# 开始执行 → 1print(next(gen))# 继续执行，yield 1之后 → 2print(next(gen))# 继续执行，yield 2之后 → 3# next(gen) # StopIteration 异常1.4 生成器表达式
类似于列表推导式，Python支持生成器表达式，使用圆括号()代替方括号[]。
# 列表推导式 - 立即计算所有值，占用内存squares_list=[x**2forxinrange(1000000)]# 占用大量内存# 生成器表达式 - 惰性求值，节省内存squares_gen=(x**2forxinrange
