在現代網路應用開發中,非同步程式設計已成為提升效能和反應速度的關鍵技術。本文將深入探討 Python 中的非同步程式設計,涵蓋 Future、Coroutine 和 Asyncio 框架的應用,並提供實際程式碼範例和圖表說明。首先,我們會介紹 Future 物件,說明如何建立、設定結果以及使用回撥函式。接著,我們將探討 Coroutine 的運作原理,以及如何使用 yield
和 send()
函式控制其執行流程。最後,我們會介紹 Asyncio 框架,並說明如何結合 Future 和 Coroutine,建構高效的非同步應用程式。
設定 Future 的結果
我們可以使用 set_result
方法來設定 Future 的結果。
fut.set_result("Hello")
print(fut) # <Future at 0x... state=finished returned>
使用 Future 簡化非同步程式設計
使用 Future,可以簡化非同步程式設計的複雜度。以下是使用 Future 的 fetch_square
函式範例:
def fetch_square(number):
fut = Future()
def on_done(response):
if response["success"]:
fut.set_result(response["result"])
network_request_async(number, on_done)
return fut
在這個範例中,fetch_square
函式傳回一個 Future 例項,代表著結果尚未可用的狀態。當 network_request_async
函式完成時,會呼叫 on_done
函式,並設定 Future 的結果。
等待 Future 的結果
我們可以使用 result
方法來等待 Future 的結果。
fut = fetch_square(2)
result = fut.result()
print(result) # 結果
圖表翻譯:
graph LR A[fetch_square] -->|傳回 Future|> B[Future] B -->|設定結果|> C[on_done] C -->|呼叫 network_request_async|> D[network_request_async] D -->|完成|> E[設定 Future 結果] E -->|傳回結果|> F[結果]
這個圖表展示了使用 Future 的 fetch_square
函式的流程。Future 是一個抽象概念,代表了一個尚未可用的值。透過使用 Future,我們可以簡化非同步程式設計的複雜度,並使得程式碼更容易維護和理解。
非同步程式設計中的Future例項
非同步程式設計中,Future例項扮演著重要角色,作為非同步操作的結果持有者。以下將探討Future例項的使用方法和實際應用。
Future例項的基本使用
首先,建立一個Future例項,並設定其結果:
from concurrent.futures import Future
fut = Future()
fut.set_result("Hello")
然後,使用fut.result()
方法可以取得Future例項的結果:
print(fut.result()) # 輸出:Hello
Future例項的回撥函式
Future例項也可以設定回撥函式,以便在結果可用時執行。使用fut.add_done_callback()
方法可以設定回撥函式:
fut.add_done_callback(lambda future: print(future.result(), flush=True))
fut.set_result("Hello")
這樣,當結果可用時,回撥函式將被執行,並列印結果。
Future例項在實際應用的例子
以下是使用Future例項的實際應使用案例子:
from concurrent.futures import Future
import threading
def network_request_async(url):
fut = Future()
def callback():
# 模擬網路請求
result = "Hello"
fut.set_result(result)
threading.Timer(1.0, callback).start()
return fut
fut = network_request_async("https://example.com")
fut.add_done_callback(lambda future: print(future.result(), flush=True))
在這個例子中,network_request_async()
函式傳回一個Future例項,該例項將在網路請求完成後設定結果。然後,使用fut.add_done_callback()
方法設定回撥函式,以便在結果可用時執行。
非同步網路請求的實作
在實際應用中,非同步網路請求是一種常見的需求。以下是使用 Python 的 threading
和 Future
類別實作非同步網路請求的範例:
import threading
from concurrent.futures import Future
def network_request_async(number):
# 建立一個 Future 例項
future = Future()
# 模擬網路請求的結果
result = {"success": True, "result": number ** 2}
# 使用 Timer 來模擬網路請求的延遲
timer = threading.Timer(1.0, lambda: future.set_result(result))
# 啟動 Timer
timer.start()
# 回傳 Future 例項
return future
# 呼叫非同步網路請求函式
fut = network_request_async(2)
# 定義當 Future 完成時的回呼函式
def on_done_future(future):
# 取得 Future 的結果
response = future.result()
# 判斷是否成功
if response["success"]:
# 列印結果
print("Result is: ", response["result"])
# 將回呼函式加入到 Future
fut.add_done_callback(on_done_future)
在這個範例中,network_request_async
函式會回傳一個 Future
例項,代表著非同步網路請求的結果。當 Future
完成時,會呼叫 on_done_future
函式來處理結果。
使用 add_done_callback
方法
add_done_callback
方法可以用來設定當 Future
完成時的回呼函式。在這個範例中,當 Future
完成時,會呼叫 on_done_future
函式來處理結果。
實作非同步網路請求
在實際應用中,非同步網路請求可以使用 requests
和 concurrent.futures
類別來實作。以下是使用 requests
和 concurrent.futures
類別實作非同步網路請求的範例:
import requests
from concurrent.futures import ThreadPoolExecutor
def fetch_square(number):
# 建立一個 ThreadPoolExecutor 例項
with ThreadPoolExecutor(max_workers=5) as executor:
# 提交非同步網路請求任務
future = executor.submit(requests.get, f"https://example.com/{number}")
# 定義當 Future 完成時的回呼函式
def on_done_future(future):
# 取得 Future 的結果
response = future.result()
# 判斷是否成功
if response.status_code == 200:
# 列印結果
print("Result is: ", response.text)
# 將回呼函式加入到 Future
future.add_done_callback(on_done_future)
# 呼叫非同步網路請求函式
fetch_square(2)
在這個範例中,fetch_square
函式會使用 ThreadPoolExecutor
來提交非同步網路請求任務。當任務完成時,會呼叫 on_done_future
函式來處理結果。
圖表翻譯:
flowchart TD A[開始] --> B[提交非同步網路請求任務] B --> C[等待任務完成] C --> D[呼叫回呼函式] D --> E[處理結果] E --> F[結束]
這個圖表顯示了非同步網路請求的流程,從提交任務到處理結果。
非阻塞式計時器實作
在瞭解了事件迴圈(Event Loop)和非同步程式設計的基礎後,我們可以實作一個非阻塞式的計時器。這個計時器可以在指定的時間後觸發一個自定義的函式,而不會阻塞其他任務的執行。
基本概念
事件迴圈是一種機制,用於監控多個資源的狀態,並在特定事件發生時觸發相應的回撥函式。這種方法可以簡化對分享變數、資料結構和資源的處理,因為每個單元的執行都不會與其他單元同時進行。
實作計時器
首先,我們定義一個 Timer
類,該類接受一個超時時間作為引數。然後,我們實作 done
方法,該方法傳回 True
如果計時器已經超時,否則傳回 False
。
import time
class Timer:
def __init__(self, timeout):
self.timeout = timeout
self.start = time.time()
def done(self):
return time.time() - self.start > self.timeout
非阻塞式等待
為了檢查計時器是否已經超時,我們可以寫一個迴圈不斷地檢查計時器的狀態。當計時器超時時,我們可以列印一條訊息並離開迴圈。
timer = Timer(1.0)
while True:
if timer.done():
print("計時器已經超時!")
break
# 可以在這裡進行其他任務
time.sleep(0.1) # 範例:等待 0.1 秒
增加回呼函式
理想情況下,我們希望在計時器超時時執行一個自定義的函式。為了實作這一點,我們可以修改 Timer
類以接受一個回撥函式作為引數。
class Timer:
def __init__(self, timeout, callback):
self.timeout = timeout
self.callback = callback
self.start = time.time()
def done(self):
if time.time() - self.start > self.timeout:
self.callback()
return True
return False
使用回撥函式的計時器
現在,我們可以建立一個計時器,並指定一個回撥函式在計時器超時時執行。
def on_timeout():
print("計時器已經超時!")
timer = Timer(1.0, on_timeout)
while True:
if timer.done():
break
# 可以在這裡進行其他任務
time.sleep(0.1) # 範例:等待 0.1 秒
這樣,我們就實作了一個非阻塞式的計時器,當計時器超時時會觸發指定的回撥函式。這種方法可以讓我們在不阻塞其他任務的情況下等待特定事件的發生。
實作多個計時器
在實作多個計時器的過程中,我們可以採用將多個計時器新增到一個列表中,並修改事件迴圈以週期性地檢查所有計時器並在需要時分派相關的回撥函式。以下是實作多個計時器的示例程式碼:
# 定義計時器類
class Timer:
def __init__(self, timeout):
self.timeout = timeout
self.done = False
self.callback = None
def on_timer_done(self, callback):
self.callback = callback
def update(self):
if not self.done:
# 模擬計時器的過程
self.done = True
# 建立多個計時器
timers = []
timer1 = Timer(1.0)
timer1.on_timer_done(lambda: print("第一個計時器完成!"))
timers.append(timer1)
timer2 = Timer(2.0)
timer2.on_timer_done(lambda: print("第二個計時器完成!"))
timers.append(timer2)
# 事件迴圈
while timers:
for timer in timers[:]:
if timer.done:
timer.callback()
timers.remove(timer)
else:
# 更新計時器狀態
timer.update()
在這個示例中,我們定義了兩個計時器,分別設定為1秒和2秒後超時。每個計時器都有一個回撥函式,當計時器完成時,這個函式將被執行。所有計時器都被新增到一個列表中,事件迴圈則不斷地檢查這個列表中的每個計時器。如果一個計時器完成,則其回撥函式被執行,並從列表中移除。這樣,事件迴圈就可以高效地管理多個計時器。
實作併發的概念
這個過程中,我們可以看到一個併發框架的雛形。透過使用計時器和回撥函式,我們可以讓事件迴圈來管理多個任務的執行,從而實作併發的效果。這種方法可以讓我們更好地控制程式的流程,提高程式的效率和可擴充套件性。
Mermaid 圖表
flowchart TD A[建立計時器] --> B[新增到列表] B --> C[事件迴圈] C --> D[檢查計時器] D --> E[執行回撥函式] E --> F[移除計時器] F --> C
圖表翻譯:
這個Mermaid圖表展示了實作多個計時器的過程。首先,建立計時器並新增到列表中。然後,事件迴圈不斷地檢查列表中的每個計時器。如果一個計時器完成,則其回撥函式被執行,並從列表中移除。這個過程不斷地重複,直到所有計時器都被移除。這個圖表清晰地展示了實作併發的概念和事件迴圈的工作原理。
事件迴圈與Asyncio框架
事件迴圈(Event Loop)是一種管理程式執行流程的機制,負責監控和分發事件。然而,事件迴圈有一個主要限制:它不能使用阻塞呼叫。如果在事件迴圈中使用阻塞呼叫(如time.sleep
),將會阻塞事件監控和回撥分發,直到阻塞呼叫完成。
為了避免這種情況,事件迴圈使用非阻塞呼叫,讓事件迴圈在資源準備好時執行回撥。這樣,事件迴圈可以在多個資源之間進行切換,實作併發。
事件通知通常透過作業系統呼叫(如Unix的select
工具)實作,當事件準備好時,作業系統呼叫會還原程式的執行。
Python的標準函式庫中有一個方便的事件迴圈基礎的併發框架,稱為asyncio
。asyncio
框架從Python 3.4開始就存在於標準函式庫中。下面,我們將學習如何使用asyncio
包和async/await
語法來進行非同步程式設計。
使用Asyncio進行非同步程式設計
要使用asyncio
,我們需要先取得事件迴圈物件,可以透過asyncio.get_event_loop()
函式實作。然後,我們可以使用loop.call_later()
方法安排一個回撥函式在延遲一段時間後執行。另外,我們可以使用loop.stop()
方法停止事件迴圈並離開程式。要開始處理安排的回撥,需要啟動事件迴圈,可以使用loop.run_forever()
方法實作。
import asyncio
# 取得事件迴圈物件
loop = asyncio.get_event_loop()
# 安排一個回撥函式在延遲2秒後執行
loop.call_later(2, lambda: print("回撥函式執行"))
# 啟動事件迴圈
loop.run_forever()
使用Async/Await語法
async/await
語法是Python中的一種非同步程式設計語法,允許我們以同步的方式編寫非同步程式碼。async
關鍵字用於定義一個非同步函式,await
關鍵字用於等待一個非同步操作的完成。
import asyncio
async def my_function():
print("開始執行")
await asyncio.sleep(2)
print("執行完成")
# 啟動事件迴圈
loop = asyncio.get_event_loop()
loop.run_until_complete(my_function())
在上面的例子中,my_function()
是一個非同步函式,使用async
關鍵字定義。函式內使用await
關鍵字等待asyncio.sleep(2)
的完成。事件迴圈使用loop.run_until_complete()
方法啟動。
結合使用Asyncio和Callback
我們可以結合使用asyncio
和回撥函式來進行非同步程式設計。下面是一個例子:
import asyncio
async def my_function():
print("開始執行")
await asyncio.sleep(2)
print("執行完成")
# 定義一個回撥函式
def callback():
print("回撥函式執行")
# 取得事件迴圈物件
loop = asyncio.get_event_loop()
# 安排一個回撥函式在延遲2秒後執行
loop.call_later(2, callback)
# 啟動事件迴圈
loop.run_until_complete(my_function())
在上面的例子中,my_function()
是一個非同步函式,使用async
關鍵字定義。函式內使用await
關鍵字等待asyncio.sleep(2)
的完成。另外,我們定義了一個回撥函式callback()”,並使用
loop.call_later()方法安排它在延遲2秒後執行。事件迴圈使用
loop.run_until_complete()`方法啟動。
瞭解Asyncio和Coroutines
在前面的章節中,我們探討瞭如何使用Asyncio來實作並發程式設計。現在,我們將更深入地探討Asyncio的基本方法和Coroutines的使用。
Asyncio的基本方法
Asyncio提供了多種方法來實作並發程式設計,包括loop.call_later()
和loop.run_forever()
。以下是使用這些方法的範例:
import asyncio
loop = asyncio.get_event_loop()
def callback():
print("Hello, asyncio")
loop.stop()
loop.call_later(1.0, callback)
loop.run_forever()
這段程式碼會在1秒後執行callback()
函式,並印出"Hello, asyncio",然後停止事件迴圈。
Coroutines
Coroutines是另一個實作並發程式設計的方法。它們允許程式員撰寫類似同步程式碼,但會執行非同步。Coroutines可以被視為可以停止和還原的函式。
生成器(Generators)
生成器是Coroutines的一種基本實作方式。它們可以使用yield
陳述式在函式內定義。以下是使用生成器的範例:
def range_generator(n):
i = 0
while i < n:
print("Generating value {}".format(i))
yield i
i += 1
# 使用生成器
gen = range_generator(5)
for value in gen:
print(value)
這段程式碼會定義一個range_generator()
函式,該函式會產生從0到n的值,並在產生每個值時印出一條訊息。
Asyncio中的Coroutines
在Asyncio中,Coroutines可以使用async
和await
關鍵字定義。以下是使用Asyncio中的Coroutines的範例:
import asyncio
async def my_coroutine():
print("Starting coroutine")
await asyncio.sleep(1)
print("Coroutine finished")
loop = asyncio.get_event_loop()
loop.run_until_complete(my_coroutine())
這段程式碼會定義一個my_coroutine()
函式,該函式會在1秒後完成,並印出一條訊息。
圖表翻譯:
graph LR A[Asyncio] --> B[Coroutines] B --> C[Generators] C --> D[Asyncio中的Coroutines] D --> E[並發程式設計]
這個圖表顯示了Asyncio、Coroutines、生成器和Asyncio中的Coroutines之間的關係。它們都可以用來實作並發程式設計,但Coroutines提供了一種更自然的方式來實作這一點。
生成器的運作原理
生成器是一種特殊的函式,當我們呼叫它時,程式碼不會立即執行。相反,生成器會回傳一個生成器物件。要從生成器中取得值,我們需要使用 next()
函式。
範例:範圍生成器
def range_generator(n):
i = 0
while i < n:
yield i
i += 1
generator = range_generator(3)
print(generator) # <generator object range_generator at 0x...>
# 使用 next() 函式取得值
print(next(generator)) # Generating value 0
print(next(generator)) # Generating value 1
在這個範例中,range_generator
凡式是一個生成器,它會產生從 0 到 n-1
的整數。當我們呼叫 range_generator(3)
時,程式碼不會立即執行,反而回傳一個生成器物件。要取得值,我們需要使用 next()
函式。
yield 陳述式的作用
yield
陳述式是一個特殊的陳述式,它可以讓生成器停止和還原執行。當生成器遇到 yield
陳述式時,它會停止執行,並回傳值。要還原執行,我們需要再次呼叫 next()
函式。
注入值到生成器中
除了從生成器中取得值外,我們還可以注入值到生成器中。這可以透過 send()
函式實作。
def parrot():
while True:
message = yield
print("Parrot says: {}".format(message))
generator = parrot()
generator.send(None) # 初始化生成器
generator.send("Hello") # Parrot says: Hello
在這個範例中,parrot
凡式是一個生成器,它會重複每個傳入的訊息。當我們呼叫 parrot()
時,程式碼不會立即執行,反而回傳一個生成器物件。要注入值到生成器中,我們需要使用 send()
函式。
內容解密:
生成器是一種強大的工具,它可以讓我們以非同步的方式處理資料。透過 yield
陳述式和 next()
函式,我們可以控制生成器的執行和還原。另外,透過 send()
函式,我們可以注入值到生成器中。這些特性使得生成器在許多應用中非常有用,例如資料處理、網路程式設計等。
圖表翻譯:
graph LR A[生成器] --> B[yield] B --> C[next()] C --> D[值] D --> E[send()] E --> F[生成器] F --> B
這個圖表展示了生成器的運作原理。當我們呼叫生成器時,它會執行到 yield
陳述式,然後停止執行。要還原執行,我們需要呼叫 next()
函式。同時,我們可以透過 send()
函式注入值到生成器中。
瞭解 Python 中的協程和非同步程式設計
Python 中的協程(coroutine)是一種可以暫停和還原執行的特殊函式,允許其他協程在暫停的協程還原之前執行。這使得協程可以用於實作非同步程式設計和並發。
從 Python 非同步程式設計的底層機制到高階應用框架的全面檢視顯示,Future、生成器和 Asyncio 扮演著關鍵角色。透過多維度效能指標的實測分析,非同步程式設計在 I/O 密集型任務中展現出顯著的效能優勢,尤其在網路請求和併發處理方面。然而,非同步程式設計也存在一些技術限制,例如程式碼除錯的複雜度略高,以及需要更謹慎地處理分享資源和例外狀況。
技術堆疊的各層級協同運作中體現,Future 提供了管理非同步操作結果的有效機制,生成器則為協程的實作奠定了基礎,而 Asyncio 作為一個成熟的非同步框架,簡化了非同步程式碼的編寫和管理。不同技術路線的取捨分析顯示,選擇哪種非同步程式設計方式取決於專案的具體需求和開發團隊的技術堆疊。對於簡單的非同步任務,Future 和生成器可能就足夠了,而對於複雜的應用場景,Asyncio 則能提供更強大的功能和更佳的效能。
未來 3-5 年,隨著 Python 生態系統的持續發展,預計非同步程式設計將更加普及,並與更多新興技術融合,例如機器學習和邊緣計算。潛在的技術拐點或突破點分析指出,非同步程式設計在處理海量資料和高併發請求方面仍有巨大的最佳化空間,例如更精細化的事件迴圈控制和更高效的協程排程演算法。
玄貓認為,Python 非同步程式設計已展現足夠成熟度,適合關注 I/O 效能的應用程式開發。技術團隊應著重於深入理解非同步程式設計的底層原理和不同框架的特性,才能更好地駕馭這項技術,並將其應用於提升應用程式效能和使用者經驗。