在物理机器上运行混沌实验：chaosd实践指南

概述

混沌工程（Chaos Engineering）是系统可靠性工程的关键实践，其核心在于通过主动、可控地在生产或预生产环境中注入故障，来检验系统的容错能力与弹性。虽然像 Chaos Mesh 这样的平台在 Kubernetes 环境中表现出色，但许多传统或非容器化服务仍运行在物理机器上。chaosd 正是为了填补这一空白而诞生的工具，它允许 SRE 团队在物理服务器上模拟和验证故障场景，从而确保混合架构下系统的整体鲁棒性。

核心概念

chaosd 是从 Chaos Mesh 的核心组件 chaos-daemon 演化而来的独立命令行工具与服务。它的设计目标是为非 Kubernetes 环境提供一个易于使用且功能强大的混沌实验执行器。其核心价值在于将混沌工程的实践从云原生环境扩展到了更广泛的基础设施层面。

chaosd 主要具备以下优势：

易用性：通过简单的命令行指令即可创建、管理和恢复混沌实验。
丰富的故障类型：支持对物理机器进行多层级故障模拟，覆盖进程、网络、Java虚拟机（JVM）、压力测试、磁盘和主机等多个层面。
灵活的工作模式：既可以作为一次性使用的命令行工具，也可以作为服务常驻运行，便于集成到自动化流程中。

实践

以下将以模拟网络故障为例，详细介绍使用 chaosd 进行混沌实验的完整流程。此实验将使目标服务器无法访问指定的域名。

1. 获取与安装

首先，从官方镜像下载 chaosd 工具包。请注意，chaosd 运行需要 glibc v2.17 或更高版本。

curl -fsSL -o chaosd-v1.0.1-linux-amd64.tar.gz https://mirrors.chaos-mesh.org/chaosd-v1.0.1-linux-amd64.tar.gz
tar xvf chaosd-v1.0.1-linux-amd64.tar.gz

解压后得到两个目录：chaosd（工具主程序）和 tools（包含如 stress-ng、Byteman 等依赖工具）。

2. 创建并执行故障注入

执行以下命令，为指定网卡（ens33）注入对 chaos-mesh.org 的 100% 网络丢包故障。由于此操作会修改网络规则，因此必须使用 sudo 获取 root 权限。

sudo ./chaosd attack network loss --percent 100 --hostname chaos-mesh.org --device ens33

命令成功执行后，会返回一个唯一的实验 UID（例如：c55a84c5-c181-426b-ae31-99c8d4615dbe）。请务必保存此 UID，它是后续恢复实验的关键。

3. 验证故障影响

使用 ping 命令验证故障是否生效。目标是观察到 100% 的丢包率。

ping chaos-mesh.org

预期输出将显示无法接收任何数据包，持续一段时间后按 Ctrl+C 终止，统计结果应显示 100% packet loss。

4. 恢复实验

故障注入完成后，使用之前保存的 UID 来恢复网络至正常状态。同样需要 root 权限。

sudo ./chaosd recover c55a84c5-c181-426b-ae31-99c8d4615dbe

恢复成功后，再次执行 ping chaos-mesh.org，应能正常收到回复，验证系统已恢复如初。

SRE 要点

与可靠性、可观测性、事件响应的关联

chaosd 是提升系统可靠性的主动防御工具。通过在物理机层面模拟网络分区、高 CPU/内存负载、进程异常等故障，SRE 团队可以验证现有告警规则、observability 监控面板（如指标、日志、链路追踪）以及自动化故障处理流程的有效性。这是对 postmortem 文档中提出的改进措施进行回归测试的理想手段。

最佳实践与常见反模式

最佳实践：
- 在非生产环境先行：务必在测试或预生产环境验证故障场景及其影响范围，再推广到生产环境。
- 设置明确的实验目标与假设：例如，“假设在进程被 kill 后，服务应能在 30 秒内由监控系统触发自动重启”。
- 小范围爆炸半径：初期使用 --hostname 精确限定故障影响的主机或服务，避免大规模连锁反应。
- 集成自动化：将 chaosd 的恢复步骤与 CI/CD 流水线或运维编排工具（如 Ansible）结合，确保实验可复现且环境可自动清理。
常见反模式：
- 无监控、无预案的实验：在生产环境盲目注入故障，且没有完善的 observability 和应急响应计划，可能导致非预期的大规模故障。
- 忘记恢复：注入故障后未使用 chaosd recover 清理，导致“遗留性故障”，影响正常服务。务必建立实验后检查清单。
- 仅关注“注入”而忽略“度量”：混沌实验的价值不仅在于制造故障，更在于度量系统在故障下的表现。需提前定义好 SLO/SLI，并在实验中监控其变化。