稳定性专题 - 系统与业务实践

稳定性概述

• 稳定性可分为理论层面和实践层面
  • 理论层面：掌握概念和方法相对容易
  • 实践层面：需要在不同业务模式和系统场景中不断感受、完善体系

稳定性分类

稳定性大类可分为四类：

1. 服务稳定性（静态）
2. 业务稳定性（静态）
3. 变更稳定性（动态）
4. 应急稳定性（动态）

1. 服务稳定性

• 定义：不依赖业务知识，通过系统架构和资源管理确保系统运行稳定
• 层次划分：
  • 广度：
    • 集群与单机：监控集群流量分布、机房分布、各节点资源（CPU、内存、JVM等）表现
    • 中间件及数据库：集群与单机表现，包括资源消耗和性能状况
  • 深度：
    • 纵向稳定性：各层调用链及上下游调用情况，观察流量走势
    • 对各层进行限流、降级、容错处理
    • 埋点监控：对性能、流量和系统表现进行量化分析和优化

2. 业务稳定性

• 定义：需要了解业务表结构、数据关系及跨系统依赖
• 实践方法：
  • 核对系统内部数据，进行数据免疫和核验
  • 分析上下游系统业务调用，制定业务告警和分级策略
  • 日志监控与异常检测，确保业务流程的连续性与正确性

3. 变更稳定性

• 定义：确保系统在变更过程中保持可用性和兼容性
• 实践方法：
  • 制定标准化工作流程，包括测试报告、发布报告、核心设计说明
  • 进行评审和周知，降低变更风险
  • 支持回滚和兼容性策略，确保变更过程可控

4. 应急稳定性

• 定义：在发生问题时能够快速、无思考地响应和止血
• 实践方法：
  • 对故障进行快速定位和修复
  • 备用方案：单机故障可替换节点，集群流量异常可使用备用集群或流量分组
  • 复盘和优化：事后分析问题根因，完善预案流程

实践层面思考

• 理论层面已较完善，但实践仍需不断完善
  • 服务稳定性：需要理解自身架构并接触多种业务形态系统
  • 业务稳定性：需要跨系统感受业务流程和依赖
  • 变更与应急稳定性：熟悉不同业务系统的工作流程，标准化流程虽有冗余，但在少数关键场景中能有效止血
• 实践稳定性工作需结合业务场景持续迭代，弥补不同系统流程差异