Hadoop集群搭建常用的配置文件包括:
core-site.xml:配置Hadoop的核心参数,如文件系统、数据块大小、HDFS副本数等。
hdfs-site.xml:配置HDFS的相关参数,如NameNode和DataNode的地址、副本数、数据块大小等。
mapred-site.xml:配置MapReduce的相关参数,如JobTracker和TaskTracker的地址、任务槽数、任务重试次数等。
yarn-site.xml:配置YARN的相关参数,如ResourceManager和NodeManager的地址、节点资源分配器、容器的最大资源限制等。
slaves:指定Hadoop集群中的工作节点,每行一个节点名称或IP地址。
hadoop-env.sh:配置Hadoop的环境变量,如JAVA_HOME、HADOOP_HOME等。
yarn-env.sh:配置YARN的环境变量,如JAVA_HOME、YARN_HOME等。
mapred-env.sh:配置MapReduce的环境变量,如JAVA_HOME、HADOOP_MAPRED_HOME等。
这些配置文件通常位于Hadoop的安装目录下的conf文件夹中。根据具体的部署需求和环境配置,可以对这些配置文件进行相应的修改。