Hadoop-Centos7安装和Hadoop存储规划的示例分析

发布时间：2021-11-15 10:02:57 作者：小新
来源：亿速云阅读：205

# Hadoop-Centos7安装和Hadoop存储规划的示例分析

## 前言

在大数据技术生态中，Hadoop作为核心分布式计算框架，其安装部署和存储规划是构建稳定高效大数据平台的基础。本文将基于CentOS 7操作系统，详细介绍Hadoop 3.x版本的集群安装过程，并通过典型场景分析Hadoop存储规划的最佳实践。

## 一、环境准备

### 1.1 硬件要求

| 节点类型       | 最低配置                  | 推荐生产配置               |
|----------------|--------------------------|--------------------------|
| Master节点     | 4核CPU/8GB内存/100GB存储 | 16核CPU/64GB内存/1TB SSD |
| Worker节点     | 4核CPU/8GB内存/500GB存储 | 32核CPU/128GB内存/10TB HDD x 12 |
| 网络           | 千兆以太网               | 万兆以太网或InfiniBand   |

### 1.2 软件要求

```bash
# 基础依赖检查
yum install -y java-1.8.0-openjdk-devel ssh pdsh
java -version  # 需显示1.8.x版本

1.3 系统配置

主机名与hosts配置

# 所有节点执行
hostnamectl set-hostname master  # worker节点设为worker1,worker2等
echo "192.168.1.100 master
192.168.1.101 worker1
192.168.1.102 worker2" >> /etc/hosts

SSH免密登录配置

# Master节点执行
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

# 分发到Worker节点
for node in worker1 worker2; do
  ssh-copy-id -i ~/.ssh/id_rsa.pub $node
done

二、Hadoop集群安装

2.1 软件包获取与解压

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.4 /opt/hadoop

2.2 环境变量配置

/etc/profile.d/hadoop.sh 文件内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

2.3 核心配置文件修改

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HEAPSIZE_MAX=4g  # 根据内存调整

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

2.4 集群启动与验证

# 首次启动需格式化NameNode
hdfs namenode -format

# 启动HDFS
start-dfs.sh

# 验证服务
jps  # 应显示NameNode/DataNode进程
hdfs dfsadmin -report  # 查看节点状态

三、Hadoop存储规划实践

3.1 存储架构设计原则

分层存储策略：
- HOT层：SSD存储频繁访问数据
- WARM层：HDD存储常规数据
- COLD层：归档存储低频数据

容量规划公式：

总需求容量 = 原始数据量 × (1 + 副本数) × (1 + 压缩率) × (1 + 中间文件系数)
典型值：原始数据1PB → HDFS需3-5PB

3.2 典型场景配置示例

场景1：电商日志分析集群

<!-- hdfs-site.xml 优化配置 -->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/hadoop/data,/data2/hadoop/data,/data3/hadoop/data</value>
</property>
<property>
  <name>dfs.storage.policy.enabled</name>
  <value>true</value>
</property>

存储策略：

# 设置热数据策略
hdfs storagepolicies -setStoragePolicy -path /user/activity_logs -policy HOT
# 冷数据归档
hdfs archive -archiveName logs.har -p /user/old_logs /archive

场景2：金融数据仓库

<!-- 启用纠删码 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.ec.policies.enabled</name>
  <value>true</value>
</property>

EC策略应用：

hdfs ec -enablePolicy -policy RS-6-3-1024k
hdfs ec -setPolicy -path /financial/raw_data -policy RS-6-3-1024k

3.3 性能优化建议

磁盘配置最佳实践： “`bash

禁用atime更新

mount -o remount,noatime /data*

# 调度器优化 echo deadline > /sys/block/sdb/queue/scheduler


2. **关键参数调优**：
   ```xml
   <!-- yarn-site.xml -->
   <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>物理内存×0.8</value>
   </property>

四、运维监控方案

4.1 健康检查脚本示例

#!/bin/bash
# 检查DataNode磁盘使用率
hdfs dfsadmin -report | grep "DFS Used%" | awk '{if($3 > 85) exit 1}'

# NameNode堆内存监控
jstat -gc $(jps | grep NameNode | awk '{print $1}') | awk '{print $3/$4*100}'

4.2 容量扩展流程

横向扩展：

# 新节点加入集群
scp -r /opt/hadoop worker3:/opt/
hdfs dfsadmin -refreshNodes

纵向扩展：

<!-- 增加DataNode数据目录 -->
<property>
 <name>dfs.datanode.data.dir</name>
 <value>/existing/path1,/existing/path2,/new/disk/path</value>
</property>

五、常见问题解决方案

5.1 安装问题排查

Java版本冲突：

alternatives --config java  # 选择正确版本

HDFS无法启动：

# 检查防火墙
systemctl stop firewalld
# 查看日志
tail -n 100 $HADOOP_HOME/logs/hadoop-*-namenode-*.log

5.2 存储异常处理

磁盘空间不足：

# 临时调整副本数
hdfs dfs -setrep -w 2 /path/to/data

数据均衡：
```
hdfs balancer -threshold 10
```

结语

通过本文的实践指导，读者可以完成从零开始构建生产可用的Hadoop集群。需要特别注意的是，存储规划应当根据实际业务场景动态调整，建议定期使用hdfs dfs -du -h /监控存储使用情况，结合hadoop fsck /检查数据健康状态。随着业务增长，可考虑引入HDFS Federation实现命名空间扩展。

附录：
1. Hadoop官方文档
2. 推荐监控工具：Ganglia/Prometheus+Granfana
3. 版本兼容性矩阵：Hadoop 3.x要求JDK8+ “`

注：本文实际约3850字（含代码和配置示例），完整实施时需根据实际硬件环境和业务需求调整参数。建议在测试环境验证后再部署到生产环境。