修掉"Worker 会自己退出"的真缺陷(场外游标续租失败误取消主任务)
## 现象(2026-09-14 实测,非人为停止) Worker 进程自己退出,退出码 1,日志末尾是 `ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接` (发生在 `offsite_worker.close()` 的 IMAP `logout()`), 而真正的起点是更上面那句 `asyncio.exceptions.CancelledError`。 ## 根因(两处,都是真缺陷) 1. **取消错了对象**:`OffsiteMailWorker._process_batch` 把 `asyncio.current_task()`(= `__main__.serve()` 的**主循环任务**)交给游标心跳, 心跳在续租失败(`rowcount != 1`)或续租抛异常时执行 `task.cancel()` —— 于是"放弃这一批"变成了"**杀掉整个 Worker**"。`CancelledError` 从 `run_once()` 一路冒到 `serve()`,主循环直接结束。 2. **收尾异常盖掉退出原因**:`serve()` 的 `finally` 里 `await offsite_worker.close()` 在网络已断时抛 `ConnectionResetError`,把 `CancelledError` 顶掉, 表现为"关闭流程崩了",看不出真实原因。 ## 改法 - `_process_batch` 把"这一批"跑在**独立任务** `batch` 里,心跳只取消 `batch`; 调用方捕获 `CancelledError` 后区分两种情况: **本批被放弃**(`batch.cancelled()` 且当前任务自己没有在取消)→ 记 warning、返回 `False`、 Worker 继续下一轮;**外层在取消当前任务**(Ctrl+C / 进程关闭)→ 原样上抛,绝不吞掉。 - `serve()` 的 `finally` 里关闭场外 Worker 包 try/except:收尾失败只记日志, **不改变退出码与退出原因**。 - 新增 `_current_task_is_cancelling()` 用 `Task.cancelling()` 做这个区分(3.11+)。 ## 守卫 `tests/unit/worker/test_offsite_mail_worker.py::test_cursor_lease_loss_abandons_batch_without_cancelling_the_worker` —— 续租失败(rowcount=0)时断言:批次确实跑起来过、返回 `False`、 **调用方任务没有被取消**。修复前这条用例会挂在"调用方被取消"上。 ## 验证 - `pytest tests/unit/worker` → 112 passed - `pytest tests/unit tests/contract` → 见下方(0 failed) - `mypy app/worker/offsite_mail_worker.py app/worker/__main__.py` → 0 错(除组员文件里既有的 1 个) - 重启 Worker 后跑记忆演示链路:候选 → verified → active → **2 秒**收敛,进程稳定 ## 文档 `docs/演示用/记忆系统演示文档-2026-09-14.md`: 场景五补"如果发现 Worker 自己退了是怎么回事",问答补"Worker 会不会自己中途退出"。
This commit is contained in:
@@ -1,8 +1,10 @@
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
from datetime import datetime
|
||||
from decimal import Decimal
|
||||
from pathlib import Path
|
||||
from types import SimpleNamespace
|
||||
from typing import Any
|
||||
|
||||
import pytest
|
||||
@@ -549,3 +551,66 @@ async def _cursor(maker: async_sessionmaker[AsyncSession]) -> OffsiteMailCursor:
|
||||
cursor = await session.scalar(select(OffsiteMailCursor))
|
||||
assert cursor is not None
|
||||
return cursor
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 游标租约丢失:只放弃"这一批",不许把整个 Worker 任务取消掉
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
|
||||
class _LeaseLostSession:
|
||||
"""续租时 `rowcount=0`(租约已不在自己名下)的替身会话。"""
|
||||
|
||||
async def __aenter__(self) -> _LeaseLostSession:
|
||||
return self
|
||||
|
||||
async def __aexit__(self, *args: object) -> None:
|
||||
return None
|
||||
|
||||
async def execute(self, _statement: object) -> Any:
|
||||
return SimpleNamespace(rowcount=0)
|
||||
|
||||
def begin(self) -> _LeaseLostSession:
|
||||
"""`async with session.begin()` 要的是**上下文管理器**,不是协程。"""
|
||||
return self
|
||||
|
||||
|
||||
def _lease_lost_session_factory() -> Any:
|
||||
return _LeaseLostSession
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_cursor_lease_loss_abandons_batch_without_cancelling_the_worker() -> None:
|
||||
"""租约丢失 → 本批返回 False、**调用方任务不被取消**。
|
||||
|
||||
回归的是 2026-09-14 实测到的一次"Worker 自己退了":心跳拿到的是
|
||||
`serve()` 的**主循环任务**,续租失败时 `task.cancel()` 把整个 Worker 干掉了,
|
||||
退出码 1,且 `finally` 里 IMAP `logout()` 的 `ConnectionResetError` 把真正原因盖掉。
|
||||
"""
|
||||
worker = OffsiteMailWorker(
|
||||
# 租约 1 秒 → 心跳每 1/3 秒续一次,几百毫秒内就能触发"续租失败"这条路径。
|
||||
_settings(worker_lease_seconds=1),
|
||||
session_factory=_lease_lost_session_factory(),
|
||||
)
|
||||
started = asyncio.Event()
|
||||
|
||||
async def never_finishes(_lease: object, _context: object) -> bool:
|
||||
started.set()
|
||||
await asyncio.sleep(30) # 处理中;只能被心跳取消
|
||||
return True
|
||||
|
||||
worker._process_batch_work = never_finishes # type: ignore[method-assign]
|
||||
lease = SimpleNamespace(lease_id="lease-1", last_uid="0")
|
||||
caller = asyncio.current_task()
|
||||
|
||||
result = await asyncio.wait_for(
|
||||
worker._process_batch(lease, RequestContext(user_id="1", trace_id="t")), # type: ignore[arg-type]
|
||||
timeout=5,
|
||||
)
|
||||
|
||||
assert started.is_set(), "批次应该真的跑起来过"
|
||||
assert result is False, "租约丢失应表达为'本批被放弃'"
|
||||
assert caller is not None and not caller.cancelling(), (
|
||||
"调用方(主循环任务)不能被取消 —— 否则整个 Worker 会退出"
|
||||
)
|
||||
assert not caller.cancelled()
|
||||
|
||||
Reference in New Issue
Block a user