Hive-0.13.1的安装部署方法

发布时间:2021-07-29 18:45:24 作者:chen
来源:亿速云 阅读:177
# Hive-0.13.1的安装部署方法

## 一、环境准备

### 1. 系统要求
- Linux操作系统(推荐CentOS 7+或Ubuntu 16.04+)
- Java 1.7+(建议OpenJDK 8)
- Hadoop 2.x集群(已正常启动)
- MySQL 5.7+(用于元数据存储)

### 2. 软件下载
```bash
wget https://archive.apache.org/dist/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
tar -zxvf apache-hive-0.13.1-bin.tar.gz -C /opt/
mv /opt/apache-hive-0.13.1-bin /opt/hive-0.13.1

二、配置环境变量

编辑~/.bashrc文件:

export HIVE_HOME=/opt/hive-0.13.1
export PATH=$PATH:$HIVE_HOME/bin

执行生效:

source ~/.bashrc

三、MySQL元数据库配置

1. 安装MySQL服务

# CentOS示例
sudo yum install mysql-server
sudo systemctl start mysqld

2. 创建Hive元数据库

CREATE DATABASE hive_metastore;
CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepass';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hiveuser'@'%';
FLUSH PRIVILEGES;

四、Hive配置文件修改

1. 创建配置文件

cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh

2. 修改hive-site.xml

<configuration>
  <!-- MySQL连接配置 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hiveuser</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hivepass</value>
  </property>
  
  <!-- HDFS存储路径 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
</configuration>

3. 添加MySQL驱动

将MySQL JDBC驱动包(mysql-connector-java-5.1.47.jar)放入$HIVE_HOME/lib/

五、初始化元数据库

执行元数据初始化:

schematool -dbType mysql -initSchema

六、启动Hive服务

1. 启动方式一:CLI模式

hive  # 直接进入交互命令行

2. 启动方式二:远程服务模式

# 启动metastore服务
hive --service metastore &
# 启动hiveserver2
hiveserver2 &

七、验证安装

执行测试命令:

CREATE TABLE test(id INT, name STRING);
INSERT INTO TABLE test VALUES(1, 'hive_test');
SELECT * FROM test;

八、常见问题解决

  1. Java连接MySQL报错
    检查驱动版本与MySQL版本是否匹配

  2. HDFS权限问题
    在Hadoop中执行:

    hadoop fs -mkdir -p /user/hive/warehouse
    hadoop fs -chmod g+w /user/hive/warehouse
    
  3. 内存配置不足
    修改hive-env.sh中的HADOOP_HEAPSIZE参数

九、总结

本文详细介绍了Hive-0.13.1在Linux环境下的安装部署流程,重点包括MySQL元数据存储配置、核心参数调优以及服务启动方式。该版本适合与Hadoop 2.x配合使用,建议在生产环境中做好高可用配置。 “`

推荐阅读:
  1. Mysql Galera 集群版的安装部署方法
  2. Kafka安装部署方法及简单命令

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hive

上一篇:hbase的安装及hbase shell的用法分享

下一篇:CentOS7-64bit编译Hadoop-2.5.0并分布式安装的步骤

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》