建站
咨詢
售后
建站咨詢
新聞中心
一.傳統(tǒng)的Sync語法請求例子
還是一樣， 在了解Async語法的實現(xiàn)之前， 先從一個Sync的語法例子開始， 現(xiàn)在假設(shè)有一個HTTP請求， 這個程序會通過這個請求獲取對應(yīng)的響應(yīng)內(nèi)容， 并打印出來, 代碼如下：
成都創(chuàng)新互聯(lián)自2013年起，先為陸豐等服務(wù)建站，陸豐等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為陸豐企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
import socket
def request(host: str) -> None:
"""模擬請求并打印響應(yīng)體"""
url: str = f"http://{host}"
sock: socket.SocketType = socket.socket()
sock.connect((host, 80))
sock.send(f"GET {url} HTTP/1.0\r\nHost: {host}\r\n\r\n".encode("ascii"))
response_bytes: bytes = b""
chunk: bytes = sock.recv(4096)
while chunk:
response_bytes += chunk
chunk = sock.recv(4096)
print("\n".join([i for i in response_bytes.decode().split("\r\n")]))
if __name__ == "__main__":
request("so1n.me")
運(yùn)行程序， 程序能夠正常輸出, 上部分打印了對應(yīng)的HTTP響應(yīng)Header, 下部分打印了HTTP響應(yīng)體, , 可以看到服務(wù)端叫我們以https的形式重新請求， 輸出結(jié)果如下：
HTTP/1.1 301 Moved Permanently
Server: GitHub.com
Content-Type: text/html
Location: https://so1n.me/
X-GitHub-Request-Id: A744:3871:4136AF:48BD9F:6188DB50
Content-Length: 162
Accept-Ranges: bytes
Date: Mon, 08 Nov 2021 08:11:37 GMT
Via: 1.1 varnish
Age: 104
Connection: close
X-Served-By: cache-qpg1272-QPG
X-Cache: HIT
X-Cache-Hits: 2
X-Timer: S1636359097.026094,VS0,VE0
Vary: Accept-Encoding
X-Fastly-Request-ID: 22fa337f777553d33503cee5282598c6a293fb5e301 Moved Permanently 301 Moved Permanently
nginx
不過這里并不是想說HTTP請求是如何實現(xiàn)的， 具體我也不太了解， 在這個代碼中， socket的默認(rèn)調(diào)用是阻塞的， 當(dāng)線程調(diào)用connect或者recv時(send是不用等待的， 但在高并發(fā)下需要先等待drain后才可以send, 小demo不需要用到drain方法)， 程序?qū)和Ｖ钡讲僮魍瓿?。?dāng)一次要下載很多網(wǎng)頁的話， 這將會如上篇文章所說的一樣， 大部分的等待時間都花在io上面， cpu卻一直空閑時， 而使用線程池雖然可以解決這個問題， 但是開銷是很大的， 同時操作系統(tǒng)往往會限制一個進(jìn)程，用戶或者機(jī)器可以使用的線程數(shù)， 而協(xié)程卻沒有這些限制， 占用的資源少， 也沒有系統(tǒng)限制瓶頸。
二.異步的請求
異步可以讓一個單獨(dú)的線程處理并發(fā)的操作， 不過在上面已經(jīng)說過了， socket是默認(rèn)阻塞的， 所以需要把socket設(shè)置為非阻塞的, socket提供了setblocking這個方法供開發(fā)者選擇是否阻塞， 在設(shè)置了非阻塞后， connect和recv方法也要進(jìn)行更改。
由于沒有了阻塞， 程序在調(diào)用了connect后會馬上返回， 只不過Python的底層是C, 這段代碼在C中調(diào)用非阻塞的socket.connect后會拋出一個異常， 我們需要捕獲它， 就像這樣：
import socket
sock: socket.SocketType = socket.socket()
sock.setblocking(Flase)
try:
sock.connect(("so1n.me", 80))
except BlockingIOError:
pass
經(jīng)過一頓操作后， 就開始申請建立連接了， 但是我們還不知道連接啥時候完成建立， 由于連接沒建立時調(diào)用send會報錯， 所以可以一直輪詢調(diào)用send直到?jīng)]報錯就認(rèn)為是成功（真實代碼需要加超時）：
while True:
try:
sock.send(request)
break
except OSError as e:
pass
但是這樣讓CPU空轉(zhuǎn)太浪費(fèi)性能了， 而且期間還不能做別的事情， 就像我們點外賣后一直打電話過去問飯菜做好了沒有， 十分浪費(fèi)電話費(fèi)用， 要是飯菜做完了就打電話告訴我們， 那就只產(chǎn)生了一筆費(fèi)用， 非常的省錢（正常情況下也是這樣子）。這時就需要事件循環(huán)登場了，在類UNIX中， 有一個叫select的功能， 它可以等待事件發(fā)生后再調(diào)用監(jiān)聽的函數(shù)， 不過一開始的實現(xiàn)性能不是很好， 在Linux上被epoll取代， 不過接口是類似的， 所在在Python中把這幾個不同的事件循環(huán)都封裝在selectors庫中， 同時可以通過DefaultSelector從系統(tǒng)中挑出最好的類select函數(shù)。這里先暫時不說事件循環(huán)的原理， 事件循環(huán)最主要的是他名字的兩部分， 一個是事件， 一個是循環(huán)， 在Python中， 可以通過如下方法把事件注冊到事件循環(huán)中：
def demo(): pass
selector.register(fd, EVENT_WRITE, demo)
這樣這個事件循環(huán)就會監(jiān)聽對應(yīng)的文件描述符fd, 當(dāng)這個文件描述符觸發(fā)寫入事件(EVENT_WRITE)時，事件循環(huán)就會告訴我們可以去調(diào)用注冊的函數(shù)demo。不過如果把上面的代碼都改為這種方法去運(yùn)行的話就會發(fā)現(xiàn)， 程序好像沒跑就結(jié)束了， 但程序其實是有跑的， 只不過他們是完成的了注冊， 然后就等待開發(fā)者接收事件循環(huán)的事件進(jìn)行下一步的操作， 所以我們只需要在代碼的最后面寫上如下代碼:
while True:
for key, mask in selector.select():
key.data()
這樣程序就會一直運(yùn)行, 當(dāng)捕獲到事件的時候， 就會通過for循環(huán)告訴我們， 其中key.data是我們注冊的回調(diào)函數(shù)， 當(dāng)事件發(fā)生時， 就會通知我們， 我們可以通過拿到回調(diào)函數(shù)然后就運(yùn)行, 了解完畢后， 我們可以來編寫我們的第一個并發(fā)程序， 他實現(xiàn)了一個簡單的I/O復(fù)用的小邏輯, 代碼和注釋如下：
import socket
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE
# 選擇事件循環(huán)
selector: DefaultSelector = DefaultSelector()
# 用于判斷是否有事件在運(yùn)行
running_cnt: int = 0
def request(host: str) -> None:
"""模擬請求并打印響應(yīng)體"""
# 告訴主函數(shù)， 自己的事件還在運(yùn)行
global running_cnt
running_cnt += 1
# 初始化socket
url: str = f"http://{host}"
sock: socket.SocketType = socket.socket()
sock.setblocking(False)
try:
sock.connect((host, 80))
except BlockingIOError:
pass
response_bytes: bytes = b""
def read_response() -> None:
"""接收響應(yīng)參數(shù)， 并判斷請求是否結(jié)束"""
nonlocal response_bytes
chunk: bytes = sock.recv(4096)
print(f"recv {host} body success")
if chunk:
response_bytes += chunk
else:
# 沒有數(shù)據(jù)代表請求結(jié)束了， 注銷監(jiān)聽
selector.unregister(sock.fileno())
global running_cnt
running_cnt -= 1
def connected() -> None:
"""socket建立連接時的回調(diào)"""
# 取消監(jiān)聽
selector.unregister(sock.fileno())
print(f"{host} connect success")
# 發(fā)送請求， 并監(jiān)聽讀事件， 以及注冊對應(yīng)的接收響應(yīng)函數(shù)
sock.send(f"GET {url} HTTP/1.0\r\nHost: {host}\r\n\r\n".encode("ascii"))
selector.register(sock.fileno(), EVENT_READ, read_response)
selector.register(sock.fileno(), EVENT_WRITE, connected)
if __name__ == "__main__":
# 同時多個請求
request("so1n.me")
request("github.com")
request("google.com")
request("baidu.com")
# 監(jiān)聽是否有事件在運(yùn)行
while running_cnt > 0:
# 等待事件循環(huán)通知事件是否已經(jīng)完成
for key, mask in selector.select():
key.data()
這段代碼接近同時注冊了4個請求并注冊建立連接回調(diào)， 然后就進(jìn)入事件循環(huán)邏輯， 也就是把控制權(quán)交給事件循環(huán)， 直到事件循環(huán)告訴程序說收到了socket建立的通知， 程序就會取消注冊的回調(diào)然后發(fā)送請求， 并注冊一個讀的事件回調(diào)， 然后又把控制權(quán)交給事件循環(huán)， 直到收到了響應(yīng)的結(jié)果才進(jìn)入處理響應(yīng)結(jié)果函數(shù)并且只有收完所有響應(yīng)結(jié)果才會退出程序。下面是我其中的一次執(zhí)行結(jié)果：
so1n.me connect success
github.com connect success
google.com connect success
recv google.com body success
recv google.com body success
baidu.com connect success
recv github.com body success
recv github.com body success
recv baidu.com body success
recv baidu.com body success
recv so1n.me body success
recv so1n.me body success
可以看到他們的執(zhí)行順序是隨機(jī)的， 不是嚴(yán)格的按照so1n.me, github.com, google.com, baidu.com順序執(zhí)行， 同時他們執(zhí)行速度很快， 這個程序的耗時約等于響應(yīng)時長最長的函數(shù)耗時。但是可以看出， 這個程序里面出現(xiàn)了兩個回調(diào)， 回調(diào)會讓代碼變得非常的奇怪, 降低可讀性， 也容易造成回調(diào)地獄， 而且當(dāng)回調(diào)發(fā)生報錯的時候， 我們是很難知道這是由于什么導(dǎo)致的錯誤， 因為它的上下文丟失了， 這樣子排查問題十分的困惑。作為程序員， 一般都不止?jié)M足于速度快的代碼， 真正想要的是又快， 又能像Sync的代碼一樣簡單, 可讀性強(qiáng), 也能容易排查問題的代碼, 這種組合形式的代碼的設(shè)計模式就叫協(xié)程。
協(xié)程出現(xiàn)得很早， 它不像線程一樣， 被系統(tǒng)調(diào)度， 而是能自主的暫停， 并等待事件循環(huán)通知恢復(fù)。由于協(xié)程是軟件層面實現(xiàn)的， 所以它的實現(xiàn)方式有很多種， 這里要說的是基于生成器的協(xié)程， 因為生成器跟協(xié)程一樣， 都有暫停讓步和恢復(fù)的方法(還可以通過throw來拋錯）， 同時它跟Async語法的協(xié)程很像， 通過了解基于生成器的協(xié)程， 可以了解Async的協(xié)程是如何實現(xiàn)的。
三.基于生成器的協(xié)程
3.1生成器
在了解基于生成器的協(xié)程之前， 需要先了解下生成器， Python的生成器函數(shù)與普通的函數(shù)會有一些不同, 只有普通函數(shù)中帶有關(guān)鍵字yield， 那么它就是生成器函數(shù)， 具體有什么不同可以通過他們的字節(jié)碼來了解：
In [1]: import dis
# 普通函數(shù)
In [2]: def aaa(): pass
In [3]: dis.dis(aaa)
1 0 LOAD_CONST 0 (None)
2 RETURN_VALUE
# 普通函數(shù)調(diào)用函數(shù)
In [4]: def bbb():
...: aaa()
...:
In [5]: dis.dis(bbb)
2 0 LOAD_GLOBAL 0 (aaa)
2 CALL_FUNCTION 0
4 POP_TOP
6 LOAD_CONST 0 (None)
8 RETURN_VALUE
# 普通生成器函數(shù)
In [6]: def ccc(): yield
In [7]: dis.dis(ccc)
1 0 LOAD_CONST 0 (None)
2 YIELD_VALUE
4 POP_TOP
6 LOAD_CONST 0 (None)
8 RETURN_VALUE
上面分別是普通函數(shù)， 普通函數(shù)調(diào)用函數(shù)和普通生成器函數(shù)的字節(jié)碼， 從字節(jié)碼可以看出來， 最簡單的函數(shù)只需要LOAD_CONST來加載變量None壓入自己的棧， 然后通過RETURN_VALUE來返回值， 而有函數(shù)調(diào)用的普通函數(shù)則先加載變量， 把全局變量的函數(shù)aaa加載到自己的棧里面， 然后通過CALL_FUNCTION來調(diào)用函數(shù)， 最后通過POP_TOP把函數(shù)的返回值從棧里拋出來， 再把通過LOAD_CONST把None壓入自己的棧， 最后返回值。而生成器函數(shù)則不一樣， 它會先通過LOAD_CONST來加載變量None壓入自己的棧， 然后通過YIELD_VALUE返回值， 接著通過POP_TOP彈出剛才的棧并重新把變量None壓入自己的棧， 最后通過RETURN_VALUE來返回值。從字節(jié)碼來分析可以很清楚的看到， 生成器能夠在yield區(qū)分兩個棧幀, 一個函數(shù)調(diào)用可以分為多次返回， 很符合協(xié)程多次等待的特點。
接著來看看生成器的一個使用, 這個生成器會有兩次yield調(diào)用, 并在最后返回字符串'None'， 代碼如下：
In [8]: def demo():
...: a = 1
...: b = 2
...: print('aaa', locals())
...: yield 1
...: print('bbb', locals())
...: yield 2
...: return 'None'
...:
In [9]: demo_gen = demo()
In [10]: demo_gen.send(None)
aaa {'a': 1, 'b': 2}
Out[10]: 1
In [11]: demo_gen.send(None)
bbb {'a': 1, 'b': 2}
Out[11]: 2
In [12]: demo_gen.send(None)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)in
----> 1 demo_gen.send(None)
StopIteration: None
這段代碼首先通過函數(shù)調(diào)用生成一個demo_gen的生成器對象, 然后第一次send調(diào)用時返回值1， 第二次send調(diào)用時返回值2， 第三次send調(diào)用則拋出StopIteration異常， 異常提示為None, 同時可以看到第一次打印aaa和第二次打印bbb時， 他們都能打印到當(dāng)前的函數(shù)局部變量， 可以發(fā)現(xiàn)在即使在不同的棧幀中， 他們讀取到當(dāng)前的局部函數(shù)內(nèi)的局部變量是一致的， 這意味著如果使用生成器來模擬協(xié)程時， 它還是會一直讀取到當(dāng)前上下文的， 非常的完美。
此外， Python還支持通過yield from語法來返回一個生成器, 代碼如下:
In [1]: def demo_gen_1():
...: for i in range(3):
...: yield i
...:
In [2]: def demo_gen_2():
...: yield from demo_gen_1()
...:
In [3]: demo_gen_obj = demo_gen_2()
In [4]: demo_gen_obj.send(None)
Out[4]: 0
In [5]: demo_gen_obj.send(None)
Out[5]: 1
In [6]: demo_gen_obj.send(None)
Out[6]: 2
In [7]: demo_gen_obj.send(None)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)in
----> 1 demo_gen_obj.send(None)
StopIteration:
通過yield from就可以很方便的支持生成器調(diào)用， 假如把每個生成器函數(shù)都當(dāng)做一個協(xié)程， 那通過yield from就可以很方便的實現(xiàn)協(xié)程間的調(diào)用， 此外生成器的拋出異常后的提醒非常人性化， 也支持throw來拋出異常， 這樣我們就可以實現(xiàn)在協(xié)程運(yùn)行時設(shè)置異常， 比如Cancel，演示代碼如下:
In [1]: def demo_exc():
...: yield 1
...: raise RuntimeError()
...:
In [2]: def demo_exc_1():
...: for i in range(3):
...: yield i
...:
In [3]: demo_exc_gen = demo_exc()
In [4]: demo_exc_gen.send(None)
Out[4]: 1
In [5]: demo_exc_gen.send(None)
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)in
----> 1 demo_exc_gen.send(None)in demo_exc()
1 def demo_exc():
2 yield 1
----> 3 raise RuntimeError()
4
RuntimeError:
In [6]: demo_exc_gen_1 = demo_exc_1()
In [http://m.fisionsoft.com.cn/article/ccsepeh.html
