从软件可靠性到 Reliable AI

传统软件可靠性关注系统能否在给定条件和时间内正确运行。进入 AI 系统后，“正确”本身变得更难定义：同一个输入可能得到不同输出，模型会更新，上下文会变化，外部工具也可能失败。

不变的部分

可靠性工程仍然关心故障模式、边界条件、可观测性、恢复机制和风险暴露。测试也仍然重要，只是测试对象从确定性程序扩展为模型、数据、提示词、工具与运行环境组成的整体。

新增的部分

AI 系统的输出质量往往是连续的，而不是简单的成功或失败。离线评估与线上监控需要互相校准；数据漂移、模型版本变化和非确定性必须成为版本管理的一部分。

Agent 进一步放大了问题。一次看似简单的用户请求，可能经过规划、检索、多个工具调用和状态更新。链路越长，局部小误差就越可能组合成任务失败。

一个工作方向

Reliable AI 不是追求“永不出错”，而是让系统的能力边界可被测量、失败可被发现、影响可被限制、行为变化可被解释。

这也是我希望继续研究的连接点：从软件与流数据系统的可靠性，走向 AI 系统和 Agent 的可靠性。