Hadoop的基础知识点有哪些

# Hadoop的基础知识点有哪些

## 一、Hadoop概述
Hadoop是由Apache基金会开发的**开源分布式计算框架**，核心设计目标是解决**海量数据存储（HDFS）**和**分布式计算（MapReduce）**问题。其主要特点包括：
- **高容错性**：自动处理节点故障
- **高扩展性**：可横向扩展至数千节点
- **低成本**：运行在普通商用硬件上

## 二、Hadoop核心组件

### 1. HDFS（Hadoop Distributed File System）
**分布式文件系统**，核心设计思想：
- **主从架构**：
  - NameNode：管理元数据（单点故障问题）
  - DataNode：存储实际数据块（默认3副本）
- **分块存储**：文件被切分为固定大小Block（默认128MB）
- **写一次读多次**模型

### 2. YARN（Yet Another Resource Negotiator）
**资源管理系统**，包含：
- **ResourceManager**：全局资源调度
- **NodeManager**：单节点资源管理
- **ApplicationMaster**：应用级任务管理

### 3. MapReduce
**分布式计算框架**，处理流程：
1. Input Split → 2. Map阶段 → 3. Shuffle → 4. Reduce阶段 → 5. Output

## 三、Hadoop生态系统

| 组件          | 功能描述                     |
|---------------|----------------------------|
| HBase         | 分布式NoSQL数据库           |
| Hive          | 数据仓库工具（SQL接口）      |
| Pig           | 高级数据流语言              |
| Spark         | 内存计算框架                |
| Flume         | 日志收集系统                |
| Sqoop         | 关系型数据库与HDFS数据传输   |

## 四、关键特性与技术

### 1. 数据本地化（Data Locality）
计算任务优先调度到存储数据的节点执行，减少网络传输。

### 2. 容错机制
- **心跳检测**：NameNode定期检查DataNode存活状态
- **副本机制**：默认3副本存储策略
- **Secondary NameNode**：辅助合并fsimage和edits（非热备）

### 3. 压缩技术
支持多种压缩格式（Snappy、LZO、Gzip等），平衡计算/IO资源。

## 五、基础架构示例

```java
// 典型MapReduce代码结构
public class WordCount {
  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{...}
  
  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {...}
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

六、部署模式

1. 本地模式：单机调试
2. 伪分布式：单节点模拟集群
3. 完全分布式：生产环境多节点集群

七、常用命令

# HDFS操作
hadoop fs -ls /          # 查看根目录
hadoop fs -put local /hdfs # 上传文件
hadoop fs -get /hdfs local # 下载文件

# YARN操作
yarn application -list    # 查看运行任务

八、版本演进

• Hadoop 1.x：仅支持MapReduce
• Hadoop 2.x：引入YARN，支持多计算框架
• Hadoop 3.x：EC编码、GPU支持等新特性

九、学习建议

1. 掌握Linux基础命令
2. 理解分布式系统基本原理
3. 实践搭建伪分布式环境
4. 从WordCount示例入手

注意：实际生产环境中通常需要结合ZooKeeper实现高可用，并配合Ambari等工具进行集群管理。 “`

（全文约980字，可根据需要增减细节）