Linux环境下部署Hadoop 2.x的方式

# Linux环境下部署Hadoop 2.x的方式

## 环境准备
1. **系统要求**：推荐使用Ubuntu/CentOS等主流Linux发行版，确保已安装JDK 1.7+。
2. **用户配置**：创建专用用户（如`hadoop`）并配置SSH免密登录：
   ```bash
   ssh-keygen -t rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

部署步骤

1. 下载解压：

   wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
   tar -xzvf hadoop-2.10.1.tar.gz -C /opt/
   

2. 配置环境变量： 编辑~/.bashrc，追加：

   export HADOOP_HOME=/opt/hadoop-2.10.1
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

3. 核心配置：

   • core-site.xml：配置fs.defaultFS为HDFS地址（如hdfs://localhost:9000）
   • hdfs-site.xml：设置副本数（dfs.replication）等参数
   • yarn-site.xml：启用YARN资源管理器

4. 格式化与启动：

   hdfs namenode -format  # 首次需格式化
   start-dfs.sh && start-yarn.sh
   

验证

通过jps命令检查进程，访问http://<IP>:50070确认Web UI正常显示。 “`