以下是HDFS集群的基本配置步骤（以Linux环境为例）：
一、环境准备
- 节点规划：至少准备3台服务器（1个NameNode + 2个DataNode，高可用需额外配置JournalNode和ZooKeeper）。
- 安装JDK：在所有节点安装JDK 1.8+，配置环境变量
JAVA_HOME。
- 配置网络：确保节点间IP可达，关闭防火墙或开放必要端口（如9000、50070等）。
- SSH免密登录：在NameNode上生成密钥对，将公钥分发到所有DataNode。
二、安装与配置Hadoop
- 下载解压Hadoop：在NameNode上下载Hadoop二进制包并解压至指定目录（如
/opt/hadoop）。
- 配置环境变量：编辑
/etc/profile，添加HADOOP_HOME和PATH。
- 核心配置文件：
- core-site.xml：设置默认文件系统（如
fs.defaultFS=hdfs://namenode:9000）和临时目录。
- hdfs-site.xml：配置数据存储路径（
dfs.namenode.name.dir和dfs.datanode.data.dir）、副本数（dfs.replication）。
- workers文件：在
$HADOOP_HOME/etc/hadoop/下创建，添加所有DataNode主机名。
三、启动集群
- 格式化NameNode：在NameNode上执行
hdfs namenode -format。
- 启动服务：
- 启动HDFS：在NameNode上运行
start-dfs.sh。
- 若需高可用，启动JournalNode（所有节点）和ZooKeeper集群。
- 验证状态：
- 使用
jps查看NameNode、DataNode进程是否运行。
- 通过HDFS Web UI（
http://namenode:9870）检查集群状态。
四、高可用配置（可选）
- 部署ZooKeeper集群：至少3节点，用于管理NameNode主备切换。
- 修改配置文件：
- 在
hdfs-site.xml中启用高可用参数，如dfs.nameservices、dfs.ha.namenodes、dfs.namenode.shared.edits.dir等。
- 配置隔离机制（如SSH）防止脑裂。
- 启动高可用服务：
- 启动JournalNode和ZooKeeper后，格式化主NameNode并启动集群。
五、注意事项
- 权限问题：确保存储目录权限正确（如
chmod -R 755 /data）。
- 端口冲突：检查防火墙和
/etc/hosts，避免端口占用。
- 生产环境建议：使用配置管理工具（如Ansible）批量部署，参考官方文档优化参数。
以上步骤参考自，具体配置需根据集群规模和需求调整。