uvloop —— 超級快的Python 異步網絡框架

摘要： asyncio是遵循Python標準庫的一個異步I/O框架.在這篇文章裡，我將介紹uvloop: 可以完整替代asyncio事件循環.uvloop是用Cython寫的，基於libuv.

簡短介紹

asyncio是遵循Python標準庫的一個異步I/O框架.在這篇文章裡，我將介紹uvloop: 可以完整替代asyncio事件循環.uvloop是用Cython寫的，基於libuv.

uvloop 使得asyncio 更快. 實際上，比nodejs，gevent，以及其他任何Python異步框架至少快兩倍.uvloop asyncio 基於性能的測試接近於Go程序.

asyncio 和uvloop

asyncio 模塊, 是在PEP 3156引入的, 是一個集合，包含網絡傳輸, 協議, 和抽象的流, 帶有可插拔的事件循環. 事件循環是asyncio的核心.它提供如下API:

• 調用方法的調度
• 通過網絡傳輸數據
• 執行DNS 查詢,
• 處理OS 操作系統信號
• 對創建服務器和連接進行封裝
• 子進程異步處理

目前uvloop 只支持*nix 平台和Python 3.5。

uvloop 是Python 內建的asyncio 事件循環的替代品，你可以通過pip 來安裝：

$ pip install uvloop

在你的asyncio 代碼中使用uvloop 非常簡單：

import asyncio
import uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

上面的代碼片段讓asyncio.get_event_loop() 返回一個uvloop 的實例。

你還可以顯式的創建一個uvloop實例，通過調用uvloop.new_event_loop()。

體系結構

uvloop是用Cython編寫的，並建立在libuv之上。

libuv是一種高性能的、跨平台異步的I/O 類庫，nodejs也使用到了它。由於nodejs是如此的廣泛和流行,可以知道libuv是快速且穩定的。

uvloop 實現了所有的asyncio 事件循環APIs。高級別的Python對象包裝了低級別的libuv 結構體和函數方法。繼承可以使得代碼保持DRY(不要重複自己)，並確保任何手動的內存管理都可以與libuv的原生類型的生命週期保持同步。

基準測試

與其它實現相比，為了檢測uvloop棧性能，我們創建了toolbench基準測試，用於標準的TCP和UNIX套接字I/O，和HTTP協議性能的基準。

基準測試服務器運行在一個包含外部負載生成工具(wrk HTTP 基準測試)的Docker容器內，它測試請求吞吐量與延遲。

這篇博客中所有的基準測試都運行於Intel Xeon CPU E5-1620 v2 @ 3.70GHz的Ubuntu Linux系統.我們使用的是Python 3.5，所有服務器都是單核. 此外，Go代碼中使用了GOMAXPROCS=1 ，nodejs沒有使用集群，並且所有的Python服務器都是單線程.每一個基準測試集都設置了TCP_NODELAY標識。

在Mac OS X上的基準報告結果也很相似。

TCP

這個基準測試使用不同的消息數目對一個簡單的回顯服務器的性能進行了測試。我們分別使用了1, 10, 和100 KiB 的包。並發級別是10。每一個基準運行了30秒。

可以點擊這裡查看完整的TCP基準報告。

每個位置的一些意見：

1. asyncio-streams。asyncio 和其內置的純Python實現的事件循環。在這個基準測試中，我們測試了高級別的流的抽象的性能。我們使用asyncio.create_server()來創建一個服務器，把一對(reader, writer) 傳遞給客戶端協同程序.
2. tornado。這個服務器實現了一個非常簡單的Tornado 協議，它能夠把收到的消息立即回復回去。
3. curio-streams。Curio是Python aio 庫上的新成員。與asyncio-streams類似，在這個基準測試中，我們測試了curio 流，使用curio.make_streams()來創建了一對(reader, writer)，它提供了一些高級的API，如readline()。
4. twisted。跟Tornado類似，我們測試了一個最小的迴聲協議。
5. curio。這個基準測試測試了curio 套接字的性能：這是一個實現了sock.recv() 和sock.sendall()緊密循環的協同程序。
6. uvloop-streams。就如在#2中提到的，這裡我們測試了asyncio高級流的性能，只不過這此時基於uvloop。
7. gevent。在一個緊密循環里通過使用gevent.StreamServer和一個gevent套接字發送接受數據。
8. asyncio。看起來普通的asyncio非常的快速!跟第2和4點類似，我們測試了一個最小的迴聲協議，它是使用純Python的asyncio所實現的。
9. nodejs。我們使用net.createServer API 在nodejs v4.2.6裡測試流的性能。
10. uvloop。這個基準測試測試了一個最小的迴聲協議(就如#2, #4, #8)，它是使用基於uvloop的asyncio實現的。使用1 KiB消息的情況下，uvloop是最快的實現，可以高達每秒鐘105,000的請求!使用100 KiB消息的情況下, uvloop的速度可以達到大概2.3 GiB/s。
11. Go。一個net.Conn.Read/Write 調用的緊密循環。Golang 性能跟uvloop非常接近，在10 和100 KiB消息情況下會稍微好一些。

所有的基準測試的代碼可以在這裡找到。

也可以查看所有的UNIX套接字基準測試結果。

HTTP

最初，我們想要在asyncio和uvloop上針對nodejs和Go進行測試。aiohttp是使用asyncio編寫異步HTTP服務器和客戶端最流行的框架。

也可以查看完整的HTTP基準測試報告。

然而，aiohttp 上的性能瓶頸確實其HTTP解析器，它比較慢，因此即使使用的I/O類庫再快也沒什麼卵用。為了讓事情更有趣，我們為http-parser (nodejs的HTTP 解析器C類庫，最初是為Nginx研發的) 創建了一個Python綁定(binding)。這個類庫被命名為httptools，並且在Github和PyPI都可以找到。

對於HTTP，所有的基準使用wrk 來生成負載。並發級別設置為300。每個基準的持續時間為30秒。

令人驚奇的是，純Python實現的asyncio在高性能的HTTP解析器的幫助下，比使用同樣HTTP解析器的nod​​ejs表現的快很多!

Go在1 KiB響應情況下要更快些，但是uvloop和asyncio的組合卻在10/100 KiB響應情況下要快很多。使用httptools的asyncio和uvloop的服務質量非常棒，對於Go來說也一樣。

不可否認，基於httptools的服務器非常的小巧，而且不像其他實現那樣不包含任何路由邏輯。儘管如此，這個基準卻演示了uvloop和一個高效實現的協議配合能變得多麼快速。

Conclusion

我們可以得出結論， 利用uvloop可以寫出在單CPU內核下每秒鐘能夠發出上萬個請求的Python網絡代碼。在多內核系統下，可以使用進程池來進一步來改善系統性能。

uvloop 和asyncio，在加上Python 3.5裡async/await的強大能力，使得使用Python編寫高性能的網絡代碼更容易了。

請試用下uvloop (github) 並分享下使用結果吧！

查看更多python 相關請戳>>>

End.

轉貼自： 36大數據