Runbooks

CrashLoopBackOff、OOMKilled、ImagePullBackOff 等排障手册。

本页列出 50 篇内容:3 篇精选,47 篇待整理。

本列表根据页面 frontmatter 自动生成。“待整理”资料尚未纳入精选,可能包含 Issue 复述,使用前请核对来源和适用版本。

精选

页面与说明
CrashLoopBackOff 排障手册
Kubernetes Pod 处于 CrashLoopBackOff 状态的标准化排查流程,涵盖症状识别、根因分析与修复步骤。
ImagePullBackOff 排障
Kubernetes Pod 因镜像拉取失败而进入 ImagePullBackOff 状态的标准化排查流程,涵盖认证、网络、镜像名称与 Registry 故障等常见根因。
OOMKilled 排障
Kubernetes 容器因超出内存限制被 OOM Killer 终止的完整排查流程,涵盖症状识别、内存分析与资源调优。

待整理

页面与说明
Azure Data Explorer与Grafana在Kubernetes中的Workload Identity认证故障
分析在Kubernetes中Grafana 12.4.0版本无法使用AKS Workload Identity访问Azure Data Explorer的认证失败问题。
Chaos Mesh 实践问答
汇总Chaos Mesh在服务网格兼容性、部署、权限及集成等关键方面的实践问答。
containerd Hyper-V 容器创建失败:JSON 文档无效回归问题
containerd v2.3.0-beta.2 升级后,在 Windows Hyper-V 容器场景下,容器创建任务因 JSON 无效错误而失败。
Dapr 1.18 可验证执行能力介绍
介绍Dapr 1.18引入的工作流历史签名、传播和认证能力,为分布式系统和AI智能体提供防篡改、可验证的执行谱系。
etcd Panic: 'page xxx already freed' 数据不一致问题
一个导致etcd集群数据不一致和节点panic的底层存储(bbolt)故障问题分析。
etcd 内存管理:事件复用与高密度工作负载下的性能回归
分析etcd 3.6版本在事件复用特性中引入的内存回归问题,特别是在Kubernetes高密度工作负载下的表现、根因和应对策略。
Git-sync 权限问题:仪表板创建者无法访问自己创建的仪表板
在配置了全局 Git-sync 的 Grafana 实例中,Editor 角色用户创建的仪表板会导致创建者收到 403 错误,无法访问,与预期的自动 Admin 权限授予行为不符。
Grafana 11.6.1 在 MariaDB 10.11.6 上数据库迁移失败
Grafana 11.6.1 升级时因 `transaction_isolation` 系统变量不兼容导致 MariaDB 迁移失败的问题分析与解决方案。
Grafana 12.3.1 过滤器查询变量引号缺失问题
Grafana 12.3.1版本引入了一个回归问题,导致在SQL查询中使用过滤器变量时,变量值未被正确添加引号,致使查询失败。
Grafana Cloud Adaptive Logs 丢弃规则
通过 Adaptive Logs 的丢弃规则,在 Grafana Cloud 中主动过滤低价值日志,减少噪音、优化存储成本并精细化管理日志摄入。
Grafana CSV 导出中文乱码问题分析
分析 Grafana 仪表盘 CSV 下载功能中出现的中文乱码问题,探讨其成因、临时解决方案及 SRE 视角下的数据可靠性启示。
Grafana CSV导出乱码问题
在Grafana 11.1.1及以上版本中,表格面板导出的CSV文件可能出现非英文字符乱码。
Grafana Dashboard 数据合并时的空数据帧处理问题
当多个查询中有一个返回空数据时,Grafana 的 Merge 变换会导致整个可视化组件无数据显示,影响监控仪表盘的可靠性。
Grafana Datasource UID 不匹配的 API 早期错误检测
在更新数据源时,若请求体中的UID与URL参数中的UID不一致,API应立即返回400错误,而非让错误在后续服务层升级为500错误。
Grafana LLM 生成功能在版本更新后失效问题分析
分析 Grafana 12.4 版本中 AI 驱动的仪表盘标题/描述生成功能失效的原因、诊断步骤及缓解方案。
Grafana TestData 插件导航至配置页面时出现 404/空白页
描述了从 Grafana “连接”页面为 TestData 数据源点击“添加新数据源”按钮时,导航至预期配置页面却出现 404 或空白页的故障现象及其分析。
Grafana TraceQL Metric 查询不支持 Dashboard 变量替换 Step 参数
详细说明在 Grafana 中使用 TraceQL Metric 查询时,无法通过 Dashboard 变量动态设置 Step 间隔的问题、影响及解决方法。
Grafana 工具提示精度问题
在 Grafana 时间序列面板中,使用特定单位时工具提示无法显示毫秒以下的时间精度。
Grafana 注释查询中 MatchAny=False 的标签过滤错误
一个关于 Grafana 注释(Annotations)在使用 MatchAny=False 时,因键值匹配与计数逻辑导致查询结果不符合预期的技术问题分析与规避方案。
Grafana 组织切换器 URL 重定向问题
Grafana组织切换器在重定向时忽略配置的root_url尾部斜杠,导致404错误。
Grafana仪表板外部共享时的“数据源缺失”故障分析与处理
分析因仪表板内部查询目标数据源引用不完整导致外部共享时显示“不支持的数据源”及“No Data”的问题。
Grafana动态仪表板:Tab链接中变量ID小写化问题
Grafana动态仪表板中,包含变量的Tab链接在生成时会将变量名强制小写化,导致基于变量的精确匹配链接失效。
Grafana子路径部署下Metrics Drilldown的Explore链接失效问题
在配置子路径的Grafana部署中,从Metrics Drilldown点击Explore链接会丢失路径前缀,导致导航失败。
Grafana版本升级失败:MySQL迁移索引错误
升级Grafana时,因MySQL表中TEXT类型列参与索引而导致数据库迁移失败的诊断与解决。
Grafana统计面板最小最大值显示异常
排查和解决Grafana时间序列或统计面板中最小值/最大值统计结果有时显示为空的问题。
JWT认证中的org_mapping问题分析与规避
分析Grafana JWT认证中使用组织名称进行org_mapping导致用户分配不一致的错误,解释其根本原因并提供解决方案。
Kubelet 配置 Drop-in 目录功能 GA
Kubernetes v1.35 将 Kubelet 配置 Drop-in 目录功能提升至 GA,通过一个稳定支持的命令行参数简化大规模异构集群的 Kubelet 配置管理。
Kubernetes API 治理
介绍 Kubernetes SIG Architecture 中 API Governance 子项目的目标、实践及其在维护系统稳定性和用户信任中的核心作用。
Kubernetes v1.35: 基于 Watch 的 CCM 路由协调机制
介绍了 Kubernetes v1.35 中引入的基于 Watch 的路由协调特性,通过事件驱动替代固定轮询,显著减少云控制器管理器对云平台 API 的不必要调用,提升集群可扩展性与可靠性。
Kubernetes v1.36:Pod级资源原地垂直扩展 (Beta)
介绍Kubernetes v1.36中毕业至Beta的Pod级资源原地垂直扩展功能,它允许在不重启容器的情况下动态调整运行中Pod的聚合资源配额。
Kubernetes 镜像推广器的现代化重写
描述了 Kubernetes 核心镜像推广工具 kpromo 如何在不中断服务的前提下进行彻底重写,以提升性能、可靠性和可维护性。
LWN.net 2026年6月第2周:内核技术要点与SRE实践关联
本周LWN摘要涵盖AI活动监控、进程创建、I/O优化、BPF验证及文件系统事件等内核技术演进,及其对系统可靠性的影响。
PromCon 2025:Prometheus 生态系统的最新进展与 SRE 最佳实践
PromCon 2025 会议汇集了 Prometheus 生态的前沿技术发展与 SRE 最佳实践,涵盖 OpenMetrics、PromQL、OpenTelemetry 集成等核心议题。
Prometheus Kubernetes 服务发现配置重载失效
排查 Prometheus 在 Kubernetes 中通过 kubernetes_sd_config 发现 Alertmanager 后,配置变更无法实时生效的问题。
Prometheus 原生复合类型存储的现代化演进
Prometheus 正通过将复合指标类型(如直方图)原生存储于 TSDB 中,来提升监控系统的可靠性、效率和事务性,这是其数据模型的重要演进。
SRE视角下的孟买:从达巴瓦拉到云原生基础设施
从孟买达巴瓦拉的精密协作到现代云原生金融系统,探讨高可靠运营的通用原则。
Terraform Enterprise 2.0 核心特性与演进
Terraform Enterprise 2.0 引入 Stacks 编排、项目级通知、增强的身份与访问控制及运维诊断功能,旨在提升大规模基础设施管理的可靠性、安全性与运营效率。
Ubuntu MATE 项目的未来与延续性
Ubuntu MATE项目在26.04周期未发布官方风味版,但维护工作持续,并有计划在26.10发布新版本。
代码中的复制粘贴错误分析与预防
分析Grafana代码库中因复制粘贴导致的变量命名不一致错误,探讨其对系统可靠性的潜在影响及预防措施。
仪表板配置持久化问题分析
分析Grafana仪表板因嵌套默认值清除后无法保存的根因与规避方法
使用 Doczy.ai™ 在 AWS 上自动化合同智能分析
介绍如何利用 AWS 的生成式 AI 服务,通过 Doczy.ai™ 解决方案自动化处理大规模非结构化合同文档,将其转化为可操作的结构化洞察。
使用 Prometheus 重构监控:iAdvize 的实践案例
iAdvize 如何用 Prometheus 替代传统 Nagios/Centreon 监控系统,以支持其微服务架构和云迁移,并提升业务可见性。
使用 virtbench 对 KubeVirt 进行性能基准测试
针对将传统虚拟机迁移至 KubeVirt 的场景,介绍专用基准测试工具 virtbench 的设计原理、测试方法与核心指标,以量化评估 VM 就绪时间、启动风暴容量和实时迁移中断等关键性能。
利用 AWS 和 Amazon Connect 实现医疗服务联系中心的云迁移与 SRE 实践
本文分析了纽约癌症和血液专科中心如何通过迁移到 Amazon Connect 云联系中心,实现 54% 的患者注册时间改进,并详细阐述了其三层架构、HIPAA 合规设计及 SRE 要点。
处理Shim无响应时的Context Deadline Exceeded错误
当containerd shim无响应时,如何正确传播ttrpc通信超时错误,以避免客户端性能下降和冗余调用。
解决Grafana 'Folder' kind注册错误
当Grafana仪表盘和文件夹因'Folder' kind未注册而无法加载时的诊断与解决方案
面板间数据源刷新失效
Grafana 仪表板中,作为其他面板数据源的面板,在数据集存在性发生变化后,目标面板无法正确刷新数据的故障分析与排查。