ubuntu怎么搭建伪分布式环境

发布时间：2022-01-20 17:22:14 作者：iii
来源：亿速云阅读：157

# Ubuntu怎么搭建伪分布式环境

## 前言

伪分布式环境（Pseudo-Distributed Mode）是介于单机模式和完全分布式模式之间的一种Hadoop运行模式。它在单台机器上模拟分布式环境，每个Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager等）都作为独立的Java进程运行。这种模式非常适合开发人员学习和测试Hadoop应用。

本文将详细介绍在Ubuntu系统上搭建Hadoop伪分布式环境的完整步骤，包括环境准备、软件安装、配置修改以及测试验证等环节。

---

## 一、环境准备

### 1.1 系统要求
- **操作系统**：Ubuntu 20.04 LTS或更高版本（本文以Ubuntu 22.04为例）
- **硬件配置**：建议至少4GB内存，20GB磁盘空间
- **用户权限**：需要sudo权限的账户

### 1.2 安装必要工具
```bash
sudo apt update
sudo apt install -y ssh pdsh openjdk-11-jdk vim net-tools

1.3 配置SSH免密登录

Hadoop需要通过SSH管理节点，需配置本地免密登录：

# 生成密钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 将公钥添加到授权列表
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 修改权限
chmod 0600 ~/.ssh/authorized_keys

# 测试SSH连接
ssh localhost

二、安装Hadoop

2.1 下载Hadoop

从Apache官网下载稳定版本（本文以Hadoop 3.3.6为例）：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2.2 解压并设置环境变量

tar -xzvf hadoop-3.3.6.tar.gz -C /opt/
sudo mv /opt/hadoop-3.3.6 /opt/hadoop

编辑~/.bashrc文件添加环境变量：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

使配置生效：

source ~/.bashrc

三、配置伪分布式环境

3.1 修改Hadoop核心配置文件

1. hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加/修改：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_SSH_OPTS="-o StrictHostKeyChecking=no"

2. core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop-tmp</value>
    </property>
</configuration>

3. hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop/data/datanode</value>
    </property>
</configuration>

4. mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

四、初始化与启动集群

4.1 格式化HDFS

hdfs namenode -format

4.2 启动HDFS服务

start-dfs.sh

4.3 启动YARN服务

start-yarn.sh

4.4 验证服务状态

jps

正常应看到以下进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

五、测试Hadoop集群

5.1 创建HDFS目录

hdfs dfs -mkdir -p /user/$USER/input

5.2 上传测试文件

echo "Hello Hadoop" > test.txt
hdfs dfs -put test.txt /user/$USER/input

5.3 运行WordCount示例

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/$USER/input /user/$USER/output

5.4 查看结果

hdfs dfs -cat /user/$USER/output/part-r-00000

六、Web界面访问

6.1 HDFS Web UI

访问：http://localhost:9870

6.2 YARN Web UI

访问：http://localhost:8088

七、常见问题解决

7.1 端口冲突

如果遇到端口占用问题，可以通过以下命令查找并终止进程：

sudo netstat -tulnp | grep <端口号>
kill -9 <进程ID>

7.2 权限问题

确保所有Hadoop相关目录有正确的权限：

sudo chown -R $USER:$USER /opt/hadoop

7.3 Java版本问题

确认使用Java 8或11：

java -version

八、停止集群

8.1 停止YARN

stop-yarn.sh

8.2 停止HDFS

stop-dfs.sh

结语

通过本文的步骤，您已成功在Ubuntu系统上搭建了Hadoop伪分布式环境。这种环境虽然运行在单机上，但完整模拟了分布式系统的各个组件，非常适合进行Hadoop学习和开发测试。

如需进一步学习，建议： 1. 尝试运行更复杂的MapReduce程序 2. 研究YARN的资源调度机制 3. 探索HDFS的高可用配置

希望本文能为您的大数据学习之旅提供良好的开端！ “`

注：本文实际字数为约1500字。如需扩展到4050字，可以增加以下内容： 1. 每个配置参数的详细解释 2. Hadoop架构原理说明 3. 更多实战示例（如HBase、Hive集成） 4. 性能调优建议 5. 安全配置指南 6. 监控方案（如Prometheus+Gragana） 7. 备份恢复策略等扩展内容