hadoop+hbase伪分布式环境如何搭建

# Hadoop+HBase伪分布式环境搭建指南

## 一、环境准备

### 1. 系统要求
- Linux系统（推荐Ubuntu/CentOS）
- Java 8或11（需配置JAVA_HOME）
- SSH无密码登录配置
- 至少4GB内存，20GB磁盘空间

### 2. 软件版本
- Hadoop 3.3.6
- HBase 2.5.7
- 需保持版本兼容性（参考官方兼容矩阵）

## 二、Hadoop伪分布式安装

### 1. 下载与解压
```bash
wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz -C /opt/

2. 环境变量配置

在~/.bashrc中添加：

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 核心配置文件修改

(1) core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

(2) hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. 启动HDFS

hdfs namenode -format  # 首次需格式化
start-dfs.sh
jps  # 验证NameNode/DataNode进程

三、HBase伪分布式安装

1. 下载与解压

wget https://archive.apache.org/dist/hbase/2.5.7/hbase-2.5.7-bin.tar.gz
tar -xzvf hbase-2.5.7-bin.tar.gz -C /opt/

2. 环境变量配置

在~/.bashrc中添加：

export HBASE_HOME=/opt/hbase-2.5.7
export PATH=$PATH:$HBASE_HOME/bin

3. 关键配置修改

(1) hbase-site.xml

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>
</configuration>

(2) 设置Hadoop依赖

在conf/hbase-env.sh中添加：

export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"
export HADOOP_HOME=/opt/hadoop-3.3.6

4. 启动HBase

start-hbase.sh
jps  # 确认HMaster/HRegionServer进程

四、验证测试

1. HBase Shell操作

hbase shell
> create 'test', 'cf'
> put 'test', 'row1', 'cf:a', 'value1'
> scan 'test'

2. Web UI访问

• HDFS: http://localhost:9870
• HBase: http://localhost:16010

五、常见问题解决

1. 端口冲突：检查9000/8080/16010等端口占用
2. SSH连接问题：确保ssh localhost无需密码
3. 版本不兼容：根据错误日志调整版本组合
4. 权限问题：使用chown修改数据目录权限

六、环境清理

stop-hbase.sh
stop-dfs.sh
rm -rf /tmp/hadoop* /tmp/hbase*

提示：生产环境需修改配置文件中的localhost为实际主机名，并配置完全分布式模式。建议通过Ambari或Cloudera Manager管理集群。 “`