Centos集群脑裂处理（Linux高可用集群脑裂问题排查与修复完整教程）

什么是集群脑裂？

在基于 Pacemaker + Corosync 的 Linux高可用集群 中，正常情况下所有节点通过心跳网络保持通信。一旦网络出现故障（如交换机宕机、网线松动等），节点之间失去联系，每个节点都可能认为其他节点已宕机，于是各自启动资源服务——这就是典型的“脑裂”现象。

脑裂的危害

• 多个节点同时挂载同一块共享存储（如 iSCSI、GFS2），导致文件系统损坏；
• 数据库实例在两个节点上同时运行，造成数据不一致甚至丢失；
• 对外提供服务的 VIP（虚拟IP）在多个节点上激活，引发客户端连接混乱。

预防与检测脑裂

要有效处理 集群脑裂解决方案，首先需从架构和配置层面进行预防：

1. 使用多路径心跳（Redundant Heartbeat）

配置至少两条独立的心跳链路（如 eth0 和 eth2），避免单点网络故障导致通信中断。

2. 启用 STONITH（Shoot The Other Node In The Head）

STONITH 是 Pacemaker 提供的一种 fencing 机制，当检测到脑裂风险时，自动将“可疑”节点断电或隔离，确保只有一个活跃节点。

# 启用 STONITH（以 IPMI 为例）pcs stonith create ipmi-fence1 fence_ipmilan \    ipaddr="192.168.10.11" \    login="admin" \    passwd="password" \    pcmk_host_list="node1"pcs property set stonith-enabled=true

发生脑裂后如何处理？

如果已经发生脑裂，请按以下步骤操作：

1. 立即停止所有节点上的集群服务，防止进一步数据损坏：
   systemctl stop pacemaker corosync
2. 检查共享存储状态，确认是否有文件系统损坏；
3. 手动确定一个“主节点”，恢复其数据一致性；
4. 修复网络故障，确保节点间通信恢复正常；
5. 依次启动集群服务，先启动主节点，再启动从节点。

验证集群状态

修复完成后，使用以下命令检查集群是否健康：

pcs statuscrm_mon -1corosync-cfgtool -s

正常输出应显示所有节点在线、资源运行在单一节点、无 fencing 事件。

总结

通过合理配置 Pacemaker Corosync故障排查 机制、启用 STONITH、使用冗余心跳网络，可以极大降低 Centos集群脑裂处理 的风险。即使发生脑裂，只要冷静应对、按流程操作，也能最大限度保护数据安全。

提示：生产环境中务必在测试环境充分演练脑裂恢复流程！