Debian中Hadoop配置文件解析

在Debian系统中，Hadoop的配置文件通常位于/etc/hadoop/conf目录下

1. core-site.xml：这个文件包含了Hadoop核心配置信息，例如Hadoop临时目录、文件系统URI等。主要配置项有：

   • fs.defaultFS：默认文件系统URI，例如hdfs://localhost:9000。
   • hadoop.tmp.dir：Hadoop临时目录，例如/var/cache/hadoop/tmp。

2. hdfs-site.xml：这个文件包含了HDFS（Hadoop分布式文件系统）的配置信息，例如副本数、数据节点和名称节点的地址等。主要配置项有：

   • dfs.replication：文件副本数，默认值为3。
   • dfs.namenode.name.dir：名称节点数据存储目录，例如/var/lib/hadoop-hdfs/namenode。
   • dfs.datanode.data.dir：数据节点数据存储目录，例如/var/lib/hadoop-hdfs/datanode。
   • dfs.namenode.secondary.http-address：Secondary NameNode的HTTP地址，例如localhost:50090。

3. yarn-site.xml：这个文件包含了YARN（Yet Another Resource Negotiator）的配置信息，例如ResourceManager和NodeManager的地址、内存分配等。主要配置项有：

   • yarn.resourcemanager.hostname：ResourceManager的主机名，例如localhost。
   • yarn.nodemanager.aux-services：NodeManager提供的辅助服务，例如mapreduce_shuffle。
   • yarn.nodemanager.resource.memory-mb：NodeManager分配给容器的最大内存，例如4096。

4. mapred-site.xml：这个文件包含了MapReduce的配置信息，例如JobHistoryServer的地址、任务运行时的资源分配等。主要配置项有：

   • mapreduce.framework.name：MapReduce框架名称，例如yarn。
   • mapreduce.jobhistory.address：JobHistoryServer的地址，例如localhost:10020。
   • mapreduce.jobhistory.webapp.address：JobHistoryServer的Web UI地址，例如localhost:19888。

5. slaves（或workers）：这个文件列出了集群中所有的数据节点和计算节点。每行一个节点名，例如：

   datanode1
   datanode2
   worker1
   worker2
   

6. hadoop-env.sh：这个文件包含了Hadoop运行时的环境变量设置，例如Java路径、Hadoop日志目录等。主要配置项有：

   • JAVA_HOME：Java安装路径，例如/usr/lib/jvm/java-8-openjdk-amd64。
   • HADOOP_LOG_DIR：Hadoop日志目录，例如/var/log/hadoop-hdfs。

要修改这些配置文件，请使用文本编辑器（如nano或vim）打开相应的文件，然后根据需要进行修改。修改完成后，重启Hadoop服务以使更改生效。