在CentOS上使用HDFS文件系统时,以下是一些有用的技巧和步骤:
/etc/profile
文件,添加Java路径:export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
source /etc/profile
/etc/profile
文件,添加Hadoop路径:export HADOOP_HOME=/opt/hadoop/hadoop-2.8.1
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib/*
source /etc/profile
ssh-keygen -t rsa
ssh-copy-id localhost
hdfs namenode -format
sbin/start-dfs.sh
http://<namenode-ip>:50070
hdfs-site.xml
文件,添加HA相关配置:<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>namenode1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>namenode2:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>namenode1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>namenode2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
</property>
hadoop-env.sh
文件中设置 HADOOP_NAMENODE_OPTS
来调整NameNode的内存。jmap -heap
命令查看和调整NameNode和DataNode的内存占用。hdfs-site.xml
文件,增加 dfs.namenode.handler.count
的值,以提高NameNode处理DataNode心跳和客户端元数据操作的并发能力。core-site.xml
中的 fs.trash.interval
和 fs.trash.checkpoint.interval
值来启用和管理回收站功能。hdfs-site.xml
中修改 dfs.namenode.name.dir
参数,配置多个目录以提高数据的可靠性。dfs.datanode.data.dir
参数,为DataNode配置多个目录,以便分散数据存储。通过以上步骤和技巧,您可以在CentOS上成功安装、配置和优化HDFS文件系统。