Shell数组去重全攻略（小白也能轻松掌握的Linux去重技巧）

方法一：使用 sort + uniq 命令组合

这是最经典、最常用的去重方法。利用 sort 对数据排序，再用 uniq 去除相邻重复项。

# 定义一个包含重复元素的数组arr=("apple" "banana" "apple" "orange" "banana" "grape")# 使用 sort + uniq 去重dedup_arr=($(printf "%s\n" "${arr[@]}" | sort -u))# 输出结果echo "去重后的数组: ${dedup_arr[@]}"

说明：sort -u 相当于先排序再去重，比单独使用 sort | uniq 更简洁高效。

方法二：使用 awk 去重（保留原始顺序）

如果你希望保留数组元素的原始顺序（不去打乱），可以使用 awk 来实现。

arr=("apple" "banana" "apple" "orange" "banana" "grape")dedup_arr=($(printf "%s\n" "${arr[@]}" | awk '!seen[$0]++'))echo "保留顺序去重后: ${dedup_arr[@]}"

原理：!seen[$0]++ 表示如果当前行（$0）未被记录过，则输出；否则跳过。这样就能在不改变顺序的前提下完成去重。

方法三：使用关联数组（Bash 4.0+）

如果你使用的是 Bash 4.0 或更高版本，可以利用关联数组（associative array）来实现高效去重。

declare -A seenarr=("apple" "banana" "apple" "orange" "banana" "grape")dedup_arr=()for item in "${arr[@]}"; do    if [[ -z ${seen[$item]} ]]; then        dedup_arr+=("$item")        seen[$item]=1    fidoneecho "使用关联数组去重: ${dedup_arr[@]}"

这种方法逻辑清晰，效率高，特别适合处理大型数组。但请注意：它依赖 Bash 4.0+，在 macOS 默认的 Bash（版本较低）中可能无法运行。

如何选择合适的方法？

• 如果你不关心元素顺序，且追求简洁 → 用 sort -u（Linux Shell数组去重最常用方法）
• 如果你需要保留原始顺序 → 用 awk 方法（Shell脚本去重中的优雅方案）
• 如果你使用较新版本的 Bash 且想写更“脚本化”的代码 → 用 关联数组（体现 数组去重方法的现代思路）

小贴士：验证你的 Bash 版本

在使用高级功能前，建议先检查 Bash 版本：

bash --version

如果你在 macOS 上开发，建议通过 Homebrew 安装新版 Bash：brew install bash，然后修改默认 shell。

结语

掌握这些 Linux命令行技巧，你就能轻松应对各种数组去重需求。无论你是系统管理员、开发人员，还是 Linux 初学者，这些方法都能提升你的脚本编写效率。快去试试吧！