Ubuntu数据清洗实战指南（手把手教你用Linux和Python高效清洗数据）

一、准备工作：安装必要工具

首先，确保你的Ubuntu系统已更新，并安装以下工具：

• Python 3（推荐3.8+）
• pip（Python包管理器）
• Pandas、NumPy 等数据处理库
• 常用命令行工具：awk、sed、grep、cut 等（通常已预装）

打开终端，执行以下命令安装所需Python库：

sudo apt updatesudo apt install python3-pip -ypip3 install pandas numpy jupyter

二、使用命令行快速清洗文本数据

假设你有一个名为 data.csv 的原始文件，包含大量空行、重复行或格式错误。我们可以先用Ubuntu命令行数据处理工具进行初步清洗。

1. 删除空行：

grep -v '^$' data.csv > cleaned_data.csv

2. 去除重复行：

sort cleaned_data.csv | uniq > final_data.csv

3. 提取特定列（例如第1列和第3列）：

cut -d',' -f1,3 final_data.csv > selected_columns.csv

三、使用Pandas进行高级数据清洗

对于结构化数据（如CSV、Excel），Pandas数据清洗是更强大、灵活的选择。下面是一个完整的Python脚本示例：

import pandas as pd# 读取数据df = pd.read_csv('selected_columns.csv')# 查看前几行print(df.head())# 删除缺失值df = df.dropna()# 去重df = df.drop_duplicates()# 转换数据类型（例如将字符串转为数字）df['column_name'] = pd.to_numeric(df['column_name'], errors='coerce')# 保存清洗后的数据df.to_csv('cleaned_final.csv', index=False)print("数据清洗完成！")

将上述代码保存为 clean_data.py，然后在终端运行：

python3 clean_data.py

四、小贴士：自动化清洗流程

你可以将命令行操作与Python脚本结合，写成一个Shell脚本实现一键清洗：

#!/bin/bash# 初步清洗grep -v '^$' raw_data.csv > step1.csvsort step1.csv | uniq > step2.csvcut -d',' -f1,2,3 step2.csv > input_for_pandas.csv# 调用Python脚本python3 clean_data.pyecho "全部清洗任务完成！"

记得给脚本执行权限：chmod +x clean_pipeline.sh，然后运行：./clean_pipeline.sh。

总结

通过本教程，你已经掌握了在Ubuntu系统中进行数据清洗的两种主流方法：命令行工具快速处理和Pandas库精细操作。无论是处理日志、CSV还是其他格式的数据，这些技能都能帮助你高效完成Ubuntu数据清洗任务。坚持练习，你会越来越熟练！

关键词回顾：Ubuntu数据清洗、Linux数据处理、Pandas数据清洗、Ubuntu命令行数据处理