Python学习笔记(八)列表生成式、生成器、迭代器

主要介绍python的一些高级特性,即列表生成式、生成器、迭代器。

列表生成式

列表生成式即List Comprehensions,是python内置的非常简单但强大的可以用来创建list的生成式。例如,要创建list[0,1,2,3,4,5,6,7,8,9,10],可以使用list(range(0,11)):

>>> list(range(0,11))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

如果要生成的list每个元素都是一个变量(如x)的函数(f(x)),可以使用list(f(x) for x in ...),for循环后可以加入if判断条件进行过滤筛选,for`循环可以使用多层,还可以同时使用两个或多个变量,例如:

>>> list(x*x for x in range(0,11))
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

>>> list(x*x for x in range(0,11) if x%2==1)
[1, 9, 25, 49, 81]

#列出当前目录下的所有文件和目录名
>>> import os
>>> list(d for d in os.listdir('.'))
['.config', 'Music', '.vim', '.DS_Store', 'list.py', '.bash_profile.swp', '.CFUserTextEncoding',...](文件太多不一一列出)

>>> list(m+n for m in 'ABC' for n in 'XYZ')
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']

>>> d = {'x':'A', 'y':'B', 'z':'C'}
>>> list(k+'='+v for k,v in d.items())
['x=A', 'y=B', 'z=C']
>>> list(v.lower() for v in d.values())
['a', 'b', 'c']
>>> list(k.upper() for k in d.keys())
['X', 'Y', 'Z']
>>> list(k.upper()+'='+v.lower() for k,v in d.items())
['X=a', 'Y=b', 'Z=c']

此外,列表生成式可以使用[]来创建,例如:

>>> [m+n for m in 'ABC' for n in 'XYZ']
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']

生成器

通过列表生成式可以创建列表,但受到内存限制,列表容量有限。而且,对于创建的一个包含100万个元素的列表,如果需要访问的只是前面几个元素,那后面的绝大多数元素占用的空间就浪费了。因此,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算后续的元素呢?这样不必创建完整的list,从而节省空间。
在Python中,这种一边循环一边计算的机制,称为生成器:generator。
创建一个generator,方法很多,最简单的是把创建列表生成式的[]改为(),例如:

>>> g = (x*x for x in range(1,4))
>>> g
<generator object <genexpr> at 0x10a991e60>

问题:如何打印出generator的每一个元素呢

方法一:使用next()

>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

当越界时抛出StopIteration错误

方法二:使用for循环

因为generator也是可迭代对象

>>> from collections import Iterable
>>> isinstance(g, Iterable)
True

具体操作:

#test.py
from collections import Iterable
g = (x*x for x in range(1,4))
for n in g:
    print(n)

>>>python3 ~/python_test/test.py
1
4
9

使用for循环来迭代时,不用担心StopIteration错误。
generator非常强大,如果推算的算法比较复杂,用类似列表生成式的for循环无法实现时,还可以用函数来实现。
以斐波那契数列(Fibonacci)为例,除第一个和第二个数以外,任意一个数都可以由前两个数相加得来:1,1,2,3,5,8,13,......
该数列使用列表生成式写不出来,但是,用函数把他打印出来却很容易:

#test.py 
#打印前max个数
def fib(max):
    n, a, b = 0, 0, 1
    while n<max:
        print(b)
        a, b = b, a+b
        n = n+1
    return 'Done!'
fib(6)

python3 ~/python_test/test.py
1
1
2
3
5
8

实际上,fib函数定义了fibonacci数列的推算规则,可以从第一个元素开始,推算出后续的任意元素,这种逻辑非常类似generator。
要把fib函数变为generator,只需要把print(b)改为yield b就可以了:

>>> def fib(max):
...     n, a, b = 0, 0, 1
...     while n<max:
...         yield b
...         a, b = b, a+b
...         n = n+1
...     return 'Done!'
...
>>> fib(6)
<generator object fib at 0x1071d7f68>
>>> type(fib(6))
<class 'generator'>

generator和函数的执行流程不一样,函数是顺序执行,遇到return或最后一行函数语句返回,而generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回yield语句处继续执行。
如:

>>> f=fib(6)
>>> next(f)
1
>>> next(f)
1
>>> next(f)
2
>>> next(f)
3
>>> next(f)
5
>>> next(f)
8
>>> next(f)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration: Done!

同样,对于generator的函数,也不会用next()来获取下一个返回值,而是直接使用for循环来迭代:

>>> for n in fib(6):
...     print(n)
...
1
1
2
3
5
8

但是用for循环调用generator时,拿不到其中return语句的返回值,如果要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIterationvalue中:

#test.py
def fib(max):
    n, a, b = 0, 0, 1
    while n<max:
        yield b
        a, b = b, a+b
        n = n+1
    return 'Done!'

f = fib(6)
while True:
     try:
         x = next(f)
         print('f:', x)
     except StopIteration as e:
         print('Generator return value:', e.value)
         break
lijing@lijingdeMacBook-Pro > python3 ~/python_test/test.py
f: 1
f: 1
f: 2
f: 3
f: 5
f: 8
Generator return value: Done

迭代器

我们已经知道,可以直接作用于for循环的数据类型有以下几种:
一类是集合类数据类型,如:list、tupledict、set、str等。
一类是generator,包括生成器和带yield的generator function。
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable,可以使用isinstance()来判断一个对象是不是Iterable对象。如:

>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance(123, Iterable)
False
>>> isinstance((x*x for x in range(1,11)), Iterable)
True

而generator不但可以作用于for循环,还可以被next()函数不断调用返回下一个值,直至最后抛出StopIteration错误??梢员?code>next()函数调用并不断返回下一个值得对象称为迭代器:Iterator
可以使用isinstance判断一个对象是否是Iterator对象:

>>> from collections import Iterator
>>> isinstance({}, Iterator)
False
>>> isinstance((x*x for x in range(1,11)), Iterator)
True

生成器都是Iterator对象,但是list、dictstr虽然是Iterable,却并不是Iterator。把它们变为Iterator可以使用函数iter()函数:

>>> isinstance(iter({}), Iterator)
True

Iterator对象表示的是一个数据流,可以被next()函数调用并不断返回下一个数据,直到抛出StopIteration错误,可以把数据流看做一个有序序列,但是提前并不知道序列长度,只能不断通过next()函数计算下一个数据,因此,Iterator是惰性的,只有需要返回下一个数据时才会计算。

小结

·凡是可以作用于for循环的对象都是Iterable类型
·凡是可以作用于next()函数的对象都是Iterator类型,他们表示一个惰性的计算序列
·集合数据类型可以通过函数iter()获得一个Iterator对象

?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,100评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,308评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,718评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,275评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,376评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,454评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,464评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,248评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,686评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,974评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,150评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,817评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,484评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,140评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,374评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,012评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,041评论 2 351

推荐阅读更多精彩内容