hadoop2.7.1环境的搭建方法

# Hadoop 2.7.1环境的搭建方法

## 一、环境准备

### 1.1 硬件要求
- 至少4GB内存（推荐8GB以上）
- 50GB可用磁盘空间
- 多核CPU（推荐4核以上）

### 1.2 软件要求
- Linux操作系统（推荐Ubuntu 16.04/CentOS 7）
- Java JDK 1.8
- SSH服务
- Hadoop 2.7.1安装包

## 二、基础环境配置

### 2.1 安装Java环境
```bash
# 下载JDK 1.8
wget --no-check-certificate -c --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

# 解压安装
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local/

# 配置环境变量
echo 'export JAVA_HOME=/usr/local/jdk1.8.0_201' >> ~/.bashrc
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

# 验证安装
java -version

2.2 配置SSH免密登录

# 安装SSH服务
sudo apt-get install openssh-server  # Ubuntu
sudo yum install openssh-server     # CentOS

# 生成密钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 授权密钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

# 测试连接
ssh localhost

三、Hadoop安装与配置

3.1 下载并解压Hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/
mv /usr/local/hadoop-2.7.1 /usr/local/hadoop

3.2 配置环境变量

echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> ~/.bashrc
source ~/.bashrc

3.3 修改Hadoop配置文件

1. hadoop-env.sh

echo "export JAVA_HOME=/usr/local/jdk1.8.0_201" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
</configuration>

4. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

四、启动Hadoop集群

4.1 格式化HDFS

hdfs namenode -format

4.2 启动HDFS服务

start-dfs.sh

4.3 启动YARN服务

start-yarn.sh

4.4 验证服务

jps

应看到以下进程： - NameNode - DataNode - ResourceManager - NodeManager - SecondaryNameNode

五、访问Web界面

1. HDFS管理界面：http://localhost:50070
2. YARN管理界面：http://localhost:8088

六、运行测试程序

6.1 创建测试目录

hdfs dfs -mkdir /input
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input

6.2 运行MapReduce示例

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep /input /output 'dfs[a-z.]+'

6.3 查看结果

hdfs dfs -cat /output/*

七、常见问题解决

1. 端口冲突：检查9000/50070/8088端口是否被占用
2. 权限问题：使用chmod和chown调整目录权限
3. 内存不足：修改yarn-site.xml中的内存配置参数
4. Java路径错误：确认JAVA_HOME环境变量配置正确

提示：生产环境需要根据实际硬件配置调整参数，本文档适用于单节点伪分布式环境搭建。 “`

（注：实际字数约1100字，可根据需要扩展具体配置说明或增加集群部署内容达到1350字要求）