CentOS内核崩溃分析（手把手教你使用crash工具诊断Linux系统崩溃问题）

准备工作：启用kdump服务

要捕获内核崩溃时的内存状态，必须先配置kdump服务。它会在系统崩溃时自动保存vmcore文件。

步骤1：安装kexec-tools

sudo yum install -y kexec-tools

步骤2：启动并启用kdump服务

sudo systemctl start kdumpsudo systemctl enable kdump

默认情况下，vmcore文件会保存在 /var/crash/ 目录下。

使用crash工具分析内核转储

要分析vmcore文件，我们需要使用强大的 crash 工具。它是Red Hat官方推荐的内核调试工具，也是进行Linux内核调试的核心手段。

安装crash和调试符号包

# 安装crash工具sudo yum install -y crash# 安装对应内核版本的debuginfo包（非常重要！）# 先查看当前内核版本uname -r# 例如输出为 3.10.0-1160.el7.x86_64，则执行：sudo debuginfo-install kernel-3.10.0-1160.el7

注意：debuginfo包体积较大，可能需要几分钟下载安装。

实战：分析vmcore文件

假设你的系统已经发生过一次崩溃，且 /var/crash/127.0.0.1-2024-06-01-10:30:00/ 目录下有 vmcore 文件。

启动crash分析会话

cd /var/crash/127.0.0.1-2024-06-01-10:30:00/crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux vmcore

进入crash交互界面后，你可以使用以下常用命令：

• bt：查看崩溃时的堆栈回溯（Backtrace）
• log：显示内核日志缓冲区内容
• ps：列出所有进程状态
• sys：显示系统基本信息
• quit：退出crash

例如，输入 bt 后，你可能会看到类似以下输出：

crash> btPID: 1234   TASK: ffff9f1234567890  CPU: 2   COMMAND: "my_driver" #0 [ffff9f1234567abc] __schedule at ffffffff81a0b123 #1 [ffff9f1234567def] schedule at ffffffff81a0b456 #2 [ffff9f1234567f00] my_buggy_function at ffffffffa0123456 [my_module] #3 [ffff9f1234567f20] ...

从上面可以看出，崩溃发生在自定义驱动模块 my_module 的 my_buggy_function 函数中。这就是内核转储文件的价值所在——精准定位故障点。

常见问题与技巧

1. 找不到debuginfo包？ 确保已启用debuginfo仓库：

sudo vi /etc/yum.repos.d/CentOS-Debuginfo.repo# 将 enabled=0 改为 enabled=1

2. vmcore文件太大？ 可通过修改 /etc/kdump.conf 配置压缩或过滤内存区域。

3. 没有发生真实崩溃？ 可手动触发测试：

echo c > /proc/sysrq-trigger

总结

通过本教程，你已经掌握了在CentOS系统中进行CentOS内核崩溃分析的基本流程：启用kdump → 获取vmcore → 使用crash工具加载调试符号 → 分析堆栈和日志。这项技能对于保障生产环境稳定性至关重要，也是高级Linux系统管理员的必备能力。

记住，每一次内核崩溃都是一次学习机会。善用crash工具使用技巧，你将能更快地从系统故障中恢复，并预防未来问题的发生。