以下是在CentOS上部署HDFS的攻略:
准备至少三台CentOS服务器,配置静态IP,修改/etc/hosts
文件使主机名与IP正确映射,并设置SSH免密登录。在所有节点上安装JDK 1.8或更高版本。
从Apache官网下载Hadoop安装包,解压到指定目录,如/usr/local/hadoop
。
编辑/etc/profile.d/hadoop.sh
文件,添加JAVA_HOME
和HADOOP_HOME
等环境变量并使生效。修改core-site.xml
配置HDFS默认URI,编辑hdfs-site.xml
设置存储目录、副本数等参数。
在NameNode节点上执行hdfs namenode -format
格式化NameNode。在NameNode节点上运行start-dfs.sh
启动HDFS集群。
使用jps
命令检查NameNode、DataNode等进程是否正常运行,也可通过HDFS Web界面或hdfs dfs
命令验证。
安装ZooKeeper并配置集群,修改Hadoop配置文件以启用高可用,包括设置dfs.nameservices
、dfs.ha.namenodes
等参数,配置JournalNodes,格式化NameNode并启动相关服务。