Debian大数据集群部署（手把手教你从零搭建Hadoop分布式计算环境）

二、配置主机名与网络

为便于管理，我们给三台机器分别命名为：master、slave1、slave2。

在每台机器上执行以下命令设置主机名（以master为例）：

sudo hostnamectl set-hostname master

然后编辑 /etc/hosts 文件，在所有节点上添加如下内容（替换为你的实际IP）：

192.168.1.10 master192.168.1.11 slave1192.168.1.12 slave2

三、安装Java环境

Hadoop依赖Java运行。在所有节点上安装OpenJDK 11：

sudo apt updatesudo apt install -y openjdk-11-jdk

验证安装：

java -version

四、配置SSH免密登录

Hadoop需要master节点能无密码登录所有slave节点。在master上生成SSH密钥：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys

将公钥复制到slave1和slave2：

ssh-copy-id slave1ssh-copy-id slave2

测试是否可以无密码登录：

ssh slave1

五、下载并配置Hadoop

在master节点上下载Hadoop（以3.3.6版本为例）：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzvf hadoop-3.3.6.tar.gz -C /opt/sudo mv /opt/hadoop-3.3.6 /opt/hadoop

设置环境变量。编辑 ~/.bashrc 文件，添加：

export HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

然后执行 source ~/.bashrc 使配置生效。

配置核心文件

编辑 $HADOOP_HOME/etc/hadoop/core-site.xml：

<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://master:9000</value>  </property></configuration>

编辑 hdfs-site.xml（设置副本数为2，适合3节点集群）：

<configuration>  <property>    <name>dfs.replication</name>    <value>2</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>file:///opt/hadoop/data/namenode</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>file:///opt/hadoop/data/datanode</value>  </property></configuration>

创建数据目录：

mkdir -p /opt/hadoop/data/namenodemkdir -p /opt/hadoop/data/datanode

配置YARN（可选但推荐）

编辑 yarn-site.xml：

<configuration>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>  <property>    <name>yarn.resourcemanager.hostname</name>    <value>master</value>  </property></configuration>

六、分发Hadoop到其他节点

将配置好的Hadoop目录复制到slave1和slave2：

scp -r /opt/hadoop slave1:/opt/scp -r /opt/hadoop slave2:/opt/

并在每个slave节点上同样配置 ~/.bashrc 中的环境变量。

七、格式化HDFS并启动集群

仅在master节点执行格式化（首次启动前）：

hdfs namenode -format

启动HDFS：

start-dfs.sh

启动YARN（如果配置了）：

start-yarn.sh

访问 http://master:9870（HDFS Web UI）和 http://master:8088（YARN ResourceManager）验证集群状态。

八、总结

通过以上步骤，你已经成功完成了Debian大数据集群部署的基础搭建。这套环境可用于学习MapReduce、Spark等大数据技术，也是构建生产级分布式计算环境配置的第一步。

记住，Hadoop集群安装只是起点。后续你可以集成Hive、HBase、ZooKeeper等组件，打造完整的Debian系统搭建大数据平台。

遇到问题？检查防火墙设置、SSH连通性以及Java版本兼容性。祝你在大数据之旅中一帆风顺！