以下是在Ubuntu上集成HDFS的解决方案:
更新软件包列表:sudo apt update
。安装OpenJDK:sudo apt install openjdk-8-jdk
,并设置JAVA_HOME
环境变量。
从Apache Hadoop官网下载Hadoop,解压到指定目录,如/usr/local/hadoop
。配置环境变量,编辑~/.bashrc
,添加export HADOOP_HOME=/usr/local/hadoop
和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
,然后执行source ~/.bashrc
。进入Hadoop配置目录/usr/local/hadoop/etc/hadoop
,编辑hadoop-env.sh
设置JAVA_HOME
,编辑core-site.xml
设置fs.defaultFS
为hdfs://localhost:9000
,编辑hdfs-site.xml
设置副本数等参数,如dfs.replication
。创建HDFS临时目录并授权,如sudo mkdir -p /usr/local/hadoop_tmp/hdfs
和sudo chown $USER:$USER /usr/local/hadoop_tmp/hdfs
。格式化HDFS:hdfs namenode -format
,启动HDFS:start-dfs.sh
。
以上步骤参考自。