Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
ISO/IEC 25045:2010 SQuaRE — 可恢复性评估模块
通过干扰注入方法测量软件系统的弹性和自主恢复能力
1. 理解可恢复性评估模块
ISO/IEC 25045 是 SQuaRE 系列中质量评估分部（ISO/IEC 2504n）的重要组成部分。它提供了一个专门用于测量软件可靠性中可恢复性子特性的评估模块。该标准对实践工程师特别有价值的地方在于其干扰注入方法——一种系统化的、可重复的方法来量化系统承受运营故障和意外事件并从其中恢复的能力。
对于可靠性工程师和 DevOps 从业者，ISO/IEC 25045 实际上提供了一种标准化的混沌工程框架，比”混沌工程”这个术语成为主流早了多年。它提供了一种结构化方式来注入故障、测量影响并评估自主恢复能力。
标准定义了两个主要的度量：
- 弹性（Resiliency）（定量）——在干扰条件下成功完成的事务数与无干扰基准线下完成的事务数之比。这是一种直接的、客观的服务降级度量。
- 自主恢复指数（Autonomic Recovery Index）（定性）——基于系统在无需人工干预的情况下检测、分析和解决干扰的能力的评分评估，映射到五个自主成熟度等级：基础级、受管级、预测级、自适应级和自主级。
| 自主等级 | 分数 | 描述 | 检测示例 |
|---|---|---|---|
| 基础级 | 0 | 通过报告和产品手册进行人工管理 | 服务台电话通知操作员用户投诉 |
| 受管级 | 1 | 管理软件实现 IT 任务的自动化 | 操作员监控单一管理控制台 |
| 预测级 | 2 | 工具分析变化并推荐操作 | 自主管理器通知操作员潜在问题 |
| 自适应级 | 3 | 组件共同监控、分析并以最少干预采取措施 | 系统无需人工即检测和分析问题 |
| 自主级 | 4 | 基于业务规则和策略的全自动管理 | 端到端自主检测、分析和恢复 |
关键的工程见解：弹性度量和自主恢复指数捕捉了可恢复性的根本不同方面。一个系统可能具有出色的弹性（故障期间事务继续处理），但自主指数很差（恢复需要人工操作员重启服务）。完整的评估需要同时使用这两个度量。
2. 干扰注入方法详解
2.1 三阶段评估过程
评估方法包含三个阶段：基准阶段、测试阶段和检查阶段。基准阶段确定无干扰条件下的正常运营特性。测试阶段在注入干扰的同时运行相同的工作负载。检查阶段验证干扰测试后系统的完整性。
每次干扰注入被组织为一个注入槽，包含五个子区间：注入区间（故障前稳态）、检测区间（检测故障所需时间）、恢复启动区间（开始恢复所需时间）、恢复区间（执行恢复所需时间）和维持区间（恢复后重新建立稳态的时间）。
2.2 干扰类别
标准定义了五种必须用于符合性测试的干扰类别：
| 类别 | 示例 | 工程意义 |
|---|---|---|
| 意外关机 | 操作系统关机、进程终止、网络链路故障 | 模拟操作员错误和软件崩溃——最常见的生产事故类型 |
| 资源争用 | CPU 高负载、内存耗尽、I/O 饱和、数据库死锁、失控查询、磁盘满 | 模拟嘈杂邻居场景和资源泄漏——在多租户云环境中日益重要 |
| 数据丢失 | 数据库文件删除、磁盘丢失、表损坏 | 模拟存储故障和意外数据删除——测试备份和恢复机制 |
| 负载激增 | 2倍和10倍用户激增 | 模拟流量峰值（闪群、DDoS、病毒式传播）——测试自动扩展和流量控制 |
| 重启失败 | 启动配置损坏、可执行文件丢失 | 模拟恢复过程本身发生的故障——测试恢复机制的健壮性 |
实践考量：每个注入槽理想情况下应隔离运行——在干扰之间停止、重置和重启系统。不重置地连续运行干扰可能会产生误导性结果。然而，顺序测试对于评估系统如何处理级联故障可能很有用。
3. 在现代工程实践中应用 ISO/IEC 25045
| 用例 | ISO/IEC 25045 的应用方式 | 现代实现 |
|---|---|---|
| 投产前验证 | 将干扰注入作为系统验证测试的一部分 | 将混沌实验集成到 CI/CD 流水线中 |
| 生产就绪评估 | 对照测试环境评估生产系统的可恢复性 | 游戏日活动和受控爆炸半径实验 |
| 供应商比较 | 使用共同工作负载比较不同解决方案的可恢复性 | 带有故障注入的标准化基准测试套件 |
| SLA 验证 | 验证在干扰条件下是否满足恢复时间目标（RTO） | 使用故障注入场景的自动化 SLA 验证 |
从”意外关机”类别开始——这是最容易实现的（杀死一个进程，关闭一个网络接口），而且往往能揭示最令人惊讶的故障模式。常见的发现包括：没有自动重连逻辑、固化的 IP 地址变得不可达、缺少健康检查端点。
4. 常见问题解答
问1：符合性测试需要测试多少个干扰？
标准要求所有五个干扰类别都必须使用。在每个类别中，至少应测试一个代表性干扰。具体的干扰可根据系统架构和运营环境进行选择。
标准要求所有五个干扰类别都必须使用。在每个类别中，至少应测试一个代表性干扰。具体的干扰可根据系统架构和运营环境进行选择。
问2：自主成熟度问卷可以自定义吗？
可以。标准允许根据经验、客户偏好和上下文调整每个自主等级的分数。但评分方法和三个核心问题（检测、分析、采取措施）必须按定义保留。
可以。标准允许根据经验、客户偏好和上下文调整每个自主等级的分数。但评分方法和三个核心问题（检测、分析、采取措施）必须按定义保留。
问3：基准的可重复性如何影响结果的有效性？
基准必须至少运行三次，结果必须在预定义的统计显著性阈值内（例如，吞吐量变化小于5%）。如果没有稳定的基准，弹性计算（Pi/Pbase）将失去有效性。
基准必须至少运行三次，结果必须在预定义的统计显著性阈值内（例如，吞吐量变化小于5%）。如果没有稳定的基准，弹性计算（Pi/Pbase）将失去有效性。
问4：ISO/IEC 25045 是否适用于微服务架构？
完全适用。事实上，微服务架构特别适合使用此评估模块，因为单个服务故障是预期事件，而恢复机制（断路器、重试、服务网格故障转移）可以使用干扰注入方法进行系统评估。
完全适用。事实上，微服务架构特别适合使用此评估模块，因为单个服务故障是预期事件，而恢复机制（断路器、重试、服务网格故障转移）可以使用干扰注入方法进行系统评估。
