Python asyncio 事件循环的一次踩坑记录

背景是一个批量下载脚本,原本是同步的 requests 循环,速度太慢,改成 aiohttp。改完之后在主脚本里调用,直接抛错。报错信息看起来指向了一个和真正原因完全无关的位置,值得完整记一遍。

一、报错长什么样

RuntimeError: asyncio.run() cannot be called from a running event loop

第一次看到时的代码结构大致是:

# fetcher.py
import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as resp:
        return await resp.text()

async def fetch_all(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, u) for u in urls]
        return await asyncio.gather(*tasks)

def run(urls):
    return asyncio.run(fetch_all(urls))     # ← 这里报错
# main.py
import asyncio
from fetcher import run

async def main():
    data = run(["https://example.com/1", "https://example.com/2"])
    print(len(data))

asyncio.run(main())

问题一眼可见:main() 已经在事件循环里,而 run() 内部又调用了一次 asyncio.run()。一个线程同时只能有一个运行中的事件循环,第二次创建就会抛这个错。

麻烦的是真实项目里这层调用藏在两三层封装后面,报错栈只指向 fetcher.run,看不出调用者本身就在 async 上下文里。

二、为什么会写成这样

因为希望这个模块既能被同步代码调用,也能被异步代码调用。作者(我)想当然地以为 asyncio.run() 是「进入异步世界的通用入口」,实际上它是「从零启动一个新循环并跑到底」,只适合最外层。

正确的抽象方向是反过来的:库只提供 async def,同步入口由调用方自己决定怎么包。库内部再调 asyncio.run() 属于把执行模型的决策权抢走了。

三、三种正确写法

写法一:只暴露 async 接口(推荐)

# fetcher.py —— 只提供协程,不碰循环
async def fetch_all(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, u) for u in urls]
        return await asyncio.gather(*tasks)
# main.py —— 同步入口,自己起循环
from fetcher import fetch_all
data = asyncio.run(fetch_all(urls))

# main_async.py —— 异步入口,直接 await
from fetcher import fetch_all
async def main():
    data = await fetch_all(urls)
asyncio.run(main())

这个写法最干净,也没有兼容包袱。调用方是同步还是异步,由它自己决定,库不掺和。

写法二:兼容层用 asyncio.get_running_loop() 判断

如果确实需要同时支持两种调用方式,可以这样:

import asyncio

def run(coro_or_urls):
    """同步调用入口:已有循环时抛错提示,没有则新建。"""
    try:
        asyncio.get_running_loop()
    except RuntimeError:
        return asyncio.run(coro_or_urls)
    raise RuntimeError(
        "run() called from running loop; use 'await fetch_all(...)' instead"
    )

关键点是 get_running_loop() 而不是 get_event_loop()。Python 3.10 起后者在无循环时会发 DeprecationWarning,3.12 之后行为进一步收紧,新代码不要再用。

写法三:确实要在运行中的循环里跑同步阻塞代码

反过来,如果是在协程里要调用一个同步阻塞函数,正确工具是 asyncio.to_thread()(3.9+)或 loop.run_in_executor():

# 在协程里调用阻塞函数,不让它卡住整个循环
result = await asyncio.to_thread(blocking_fn, arg1, arg2)

to_thread 内部用的就是默认线程池,默认 max_workers 为 min(32, os.cpu_count() + 4)。如果要跑大量 CPU 密集任务,这个池子不合适,得用 ProcessPoolExecutor。

四、几个容易连带踩到的坑

现象原因处理
Event loop is closed 循环结束后仍在用旧循环里的 session / 连接 把 ClientSession 的生命周期限定在同一个循环内,别跨 asyncio.run() 复用
Task was destroyed but it is pending create_task 创建后没等它结束就退出 保存 task 引用并 await,或用 gather 统一等待
协程写了但从未执行 调用异步函数时忘了 await,只创建了协程对象 开 python -W error::RuntimeWarning 让它变成硬错误
Windows 上 NotImplementedError 默认 ProactorEventLoop 与某些子进程用法冲突 显式设 WindowsSelectorEventLoopPolicy,或在 3.8+ 上改用 asyncio.create_subprocess_exec

五、排查这类问题的固定动作

# 1. 确认当前线程有没有运行中的循环、是哪一个
python -c "import asyncio; print(asyncio.get_event_loop_policy())"

# 2. 打印完整调用栈,别只看最后一行
python -X dev main.py            # 开发模式会把协程未 await 变成警告

# 3. 把警告升级为异常,尽快暴露
python -W error::RuntimeWarning -W error::DeprecationWarning main.py

# 4. 检查事件循环实现
python -c "import asyncio; print(type(asyncio.new_event_loop()))"

-X dev 这个开关很值,它会打开 asyncio 的调试模式,把协程泄漏、慢回调这些问题都打出来。我现在的习惯是本地开发一律带 -X dev,线上不带。

六、小结

一句话记牢:asyncio.run() 只能出现在程序最外层,一个进程一个主循环;库代码只管 async def,不决定调用方怎么跑。真要在已运行的循环里跑同步代码,用 asyncio.to_thread(),别想着再套一层 run()。