HBase与Hadoop在Debian上的集成步骤
sudo apt-get update && sudo apt-get upgrade,确保系统软件包为最新版本。sudo apt install openjdk-11-jdk,验证安装:java -version(需显示Java版本信息)。.tar.gz格式):
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gzwget https://archive.apache.org/dist/hbase/2.4.9/hbase-2.4.9-bin.tar.gz。/usr/lib/hadoop(或其他指定目录):tar -zxvf hadoop-3.3.4.tar.gz -C /usr/lib/hadoop/。/etc/profile,添加以下内容(替换版本号为实际版本):export HADOOP_HOME=/usr/lib/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
运行source /etc/profile使配置生效。$HADOOP_HOME/etc/hadoop/core-site.xml):设置HDFS的默认URI,指向本地NameNode:<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
$HADOOP_HOME/etc/hadoop/hdfs-site.xml):配置HDFS副本数(单节点设为1):<property>
<name>dfs.replication</name>
<value>1</value>
</property>
hadoop namenode -format。start-dfs.sh && start-yarn.sh。jps,应看到NameNode、DataNode、ResourceManager、NodeManager等进程。/usr/lib/hbase(或其他指定目录):tar -zxvf hbase-2.4.9-bin.tar.gz -C /usr/lib/hbase/。/etc/profile,添加以下内容:export HBASE_HOME=/usr/lib/hbase/hbase-2.4.9
export PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/sbin
运行source /etc/profile使配置生效。$HBASE_HOME/conf/hbase-env.sh):设置Java路径:export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
$HBASE_HOME/conf/hbase-site.xml):配置HBase与Hadoop、ZooKeeper的集成:<configuration>
<!-- 指向HDFS的根目录 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<!-- 启用分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- ZooKeeper数据目录 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/var/lib/zookeeper</value>
</property>
<!-- ZooKeeper集群地址(单节点设为localhost) -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
</configuration>
sudo mkdir -p /var/lib/zookeeper,并设置权限:sudo chown -R $USER:$USER /var/lib/zookeeper。bin目录,运行./start-hbase.sh。jps,应看到HMaster和HRegionServer进程(分布式模式下会有多个HRegionServer)。http://localhost:16010(HBase默认端口),查看集群状态。./hbase shell),执行以下命令验证:create 'test_table', 'cf' # 创建表
put 'test_table', 'row1', 'cf:name', 'John' # 插入数据
get 'test_table', 'row1' # 查询数据
exit # 退出shell
/hbase、本地/var/lib/zookeeper)具有正确的读写权限。