Python asyncio 事件循环的一次踩坑记录
背景是一个批量下载脚本,原本是同步的 requests 循环,速度太慢,改成 aiohttp。改完之后在主脚本里调用,直接抛错。报错信息看起来指向了一个和真正原因完全无关的位置,值得完整记一遍。
一、报错长什么样
RuntimeError: asyncio.run() cannot be called from a running event loop
第一次看到时的代码结构大致是:
# fetcher.py
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as resp:
return await resp.text()
async def fetch_all(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, u) for u in urls]
return await asyncio.gather(*tasks)
def run(urls):
return asyncio.run(fetch_all(urls)) # ← 这里报错
# main.py
import asyncio
from fetcher import run
async def main():
data = run(["https://example.com/1", "https://example.com/2"])
print(len(data))
asyncio.run(main())
问题一眼可见:main() 已经在事件循环里,而 run() 内部又调用了一次 asyncio.run()。一个线程同时只能有一个运行中的事件循环,第二次创建就会抛这个错。
麻烦的是真实项目里这层调用藏在两三层封装后面,报错栈只指向 fetcher.run,看不出调用者本身就在 async 上下文里。
二、为什么会写成这样
因为希望这个模块既能被同步代码调用,也能被异步代码调用。作者(我)想当然地以为 asyncio.run() 是「进入异步世界的通用入口」,实际上它是「从零启动一个新循环并跑到底」,只适合最外层。
正确的抽象方向是反过来的:库只提供 async def,同步入口由调用方自己决定怎么包。库内部再调 asyncio.run() 属于把执行模型的决策权抢走了。
三、三种正确写法
写法一:只暴露 async 接口(推荐)
# fetcher.py —— 只提供协程,不碰循环
async def fetch_all(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, u) for u in urls]
return await asyncio.gather(*tasks)
# main.py —— 同步入口,自己起循环
from fetcher import fetch_all
data = asyncio.run(fetch_all(urls))
# main_async.py —— 异步入口,直接 await
from fetcher import fetch_all
async def main():
data = await fetch_all(urls)
asyncio.run(main())
这个写法最干净,也没有兼容包袱。调用方是同步还是异步,由它自己决定,库不掺和。
写法二:兼容层用 asyncio.get_running_loop() 判断
如果确实需要同时支持两种调用方式,可以这样:
import asyncio
def run(coro_or_urls):
"""同步调用入口:已有循环时抛错提示,没有则新建。"""
try:
asyncio.get_running_loop()
except RuntimeError:
return asyncio.run(coro_or_urls)
raise RuntimeError(
"run() called from running loop; use 'await fetch_all(...)' instead"
)
关键点是 get_running_loop() 而不是 get_event_loop()。Python 3.10 起后者在无循环时会发 DeprecationWarning,3.12 之后行为进一步收紧,新代码不要再用。
写法三:确实要在运行中的循环里跑同步阻塞代码
反过来,如果是在协程里要调用一个同步阻塞函数,正确工具是 asyncio.to_thread()(3.9+)或 loop.run_in_executor():
# 在协程里调用阻塞函数,不让它卡住整个循环
result = await asyncio.to_thread(blocking_fn, arg1, arg2)
to_thread 内部用的就是默认线程池,默认 max_workers 为 min(32, os.cpu_count() + 4)。如果要跑大量 CPU 密集任务,这个池子不合适,得用 ProcessPoolExecutor。
四、几个容易连带踩到的坑
| 现象 | 原因 | 处理 |
|---|---|---|
Event loop is closed |
循环结束后仍在用旧循环里的 session / 连接 | 把 ClientSession 的生命周期限定在同一个循环内,别跨 asyncio.run() 复用 |
Task was destroyed but it is pending |
create_task 创建后没等它结束就退出 |
保存 task 引用并 await,或用 gather 统一等待 |
| 协程写了但从未执行 | 调用异步函数时忘了 await,只创建了协程对象 |
开 python -W error::RuntimeWarning 让它变成硬错误 |
Windows 上 NotImplementedError |
默认 ProactorEventLoop 与某些子进程用法冲突 | 显式设 WindowsSelectorEventLoopPolicy,或在 3.8+ 上改用 asyncio.create_subprocess_exec |
五、排查这类问题的固定动作
# 1. 确认当前线程有没有运行中的循环、是哪一个
python -c "import asyncio; print(asyncio.get_event_loop_policy())"
# 2. 打印完整调用栈,别只看最后一行
python -X dev main.py # 开发模式会把协程未 await 变成警告
# 3. 把警告升级为异常,尽快暴露
python -W error::RuntimeWarning -W error::DeprecationWarning main.py
# 4. 检查事件循环实现
python -c "import asyncio; print(type(asyncio.new_event_loop()))"
-X dev 这个开关很值,它会打开 asyncio 的调试模式,把协程泄漏、慢回调这些问题都打出来。我现在的习惯是本地开发一律带 -X dev,线上不带。
六、小结
一句话记牢:asyncio.run() 只能出现在程序最外层,一个进程一个主循环;库代码只管 async def,不决定调用方怎么跑。真要在已运行的循环里跑同步代码,用 asyncio.to_thread(),别想着再套一层 run()。