怎么配置Hadoop伪分布模式

# 怎么配置Hadoop伪分布模式

Hadoop伪分布模式（Pseudo-Distributed Mode）是单机模拟分布式环境运行的配置方式，适合开发调试和学习。以下是关键配置步骤：

---

## 1. 环境准备
- **系统要求**：Linux/Unix系统（推荐Ubuntu/CentOS）
- **安装依赖**：
  ```bash
  sudo apt-get install ssh openjdk-8-jdk  # Ubuntu示例

• 下载Hadoop：从官网下载稳定版（如3.3.6）

2. 配置SSH免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
ssh localhost  # 测试连接

3. 修改Hadoop配置文件

编辑$HADOOP_HOME/etc/hadoop/下的核心文件：

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  <!-- 伪分布模式下副本数为1 -->
  </property>
</configuration>

mapred-site.xml 和 yarn-site.xml

需配置YARN资源管理和MapReduce框架。

4. 启动HDFS

hdfs namenode -format  # 首次需格式化
start-dfs.sh
jps  # 验证NameNode/DataNode进程

5. 验证运行

• 访问Web UI：
  • HDFS: http://localhost:9870
  • YARN: http://localhost:8088
• 运行测试作业：

  
  hadoop jar hadoop-mapreduce-examples.jar pi 2 5
  

注意：伪分布模式仍依赖本地文件系统，性能不如完全分布式，但适合快速验证功能。 “`

（全文约400字，包含关键步骤和代码示例）