在CentOS上安装Hadoop可参考以下步骤:
sudo yum install java-1.8.0-openjdk-devel
安装OpenJDK。sudo adduser hadoop_user
和sudo passwd hadoop_user
创建专用用户并设置密码。hadoop_user
,用ssh-keygen -t rsa -P ""
生成密钥,将公钥复制到其他节点,实现免密登录。sudo wget
命令从官网下载Hadoop压缩包,再用sudo tar -zxvf
解压到指定目录,如/opt/hadoop
。~/.bashrc
文件,添加HADOOP_HOME
等环境变量,用source ~/.bashrc
使配置生效。$HADOOP_CONF_DIR
,编辑hadoop-env.sh
设置Java路径,编辑core-site.xml
配置HDFS地址等,编辑hdfs-site.xml
配置副本数等,编辑mapred-site.xml
配置MapReduce框架。hdfs namenode -format
,然后启动Hadoop集群,用start-dfs.sh
和start-yarn.sh
命令。