如何在Linux上使用Hadoop进行机器学习

在 Linux 上使用 Hadoop 进行机器学习的实践路线

一、方案总览与适用场景

• 使用 Hadoop MapReduce 直接做机器学习，适合大规模数据的批处理与特征工程，如 线性回归、K-Means 等可并行算法；优点是生态成熟、容错强，缺点是迭代训练慢、交互性差。
• 使用 Hadoop 存储 + Spark MLlib 做机器学习，适合需要多轮迭代、性能更高的场景；HDFS 负责海量数据存储，Spark 负责任务调度与 ML 训练，开发效率高、生态完善。

二、环境准备与 Hadoop 伪分布式部署

• 安装 Java 8（Hadoop 3.x 常用版本）：
  • 命令示例：sudo apt-get update && sudo apt-get install -y openjdk-8-jdk；验证：java -version
• 下载并解压 Hadoop（示例版本：3.2.1）：
  • 命令示例：wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
  • 解压与重命名：sudo tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local && sudo mv /usr/local/hadoop-3.2.1 /usr/local/hadoop
• 配置环境变量（~/.bashrc 或 /etc/profile）：
  • 示例：export HADOOP_HOME=/usr/local/hadoop；export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin；source 使其生效
• 伪分布式关键配置（etc/hadoop/ 下）：
  • core-site.xml：设置 fs.defaultFS 为 hdfs://localhost:9000
  • hdfs-site.xml：设置 dfs.replication=1
  • mapred-site.xml：设置 mapreduce.framework.name=yarn
  • yarn-site.xml：配置 NodeManager 与 ResourceManager 相关参数
• 初始化与启动：
  • 格式化 HDFS：hdfs namenode -format
  • 启动集群：start-dfs.sh 与 start-yarn.sh
  • 验证：jps 应看到 NameNode、DataNode、ResourceManager、NodeManager；Web UI：NameNode 50070、ResourceManager 8088。

三、方案一 使用 Hadoop MapReduce 做机器学习

• 数据准备与上传：
  • 将本地数据上传至 HDFS：hadoop fs -mkdir -p /data；hadoop fs -put local.csv /data
• 示例一 线性回归（基于 Hadoop Streaming 的“最小二乘”演示）
  • 思路：Mapper 输出 “x y”，Reducer 汇总 Σx、Σy、Σxy、Σx²、n，最后计算斜率与截距
  • 命令提交：
    • hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar
      -input /data/input -output /data/lr_out
      -mapper mapper.py -reducer reducer.py
      -file mapper.py -file reducer.py
• 示例二 K-Means 聚类（迭代 MapReduce）
  • 思路：每轮迭代由 Mapper 计算点到各中心距离并打标签，Reducer 求新中心；重复至收敛
  • 步骤：将 vectors 与初始 clusters 上传 HDFS；编译打包（如 KMeans.jar）；执行迭代作业；查看 /data/kmeans_out 结果
• 适用说明：MapReduce 适合线性可并行、批处理友好的算法；对需要多次梯度迭代的模型（如深度学习）效率较低。

四、方案二 Hadoop 存储 + Spark MLlib 做机器学习（推荐）

• 安装与配置 Spark（与 Hadoop 共享 HDFS）
  • 下载解压 Spark，配置 SPARK_HOME 与 PATH；在 spark-env.sh 中设置 HADOOP_CONF_DIR 指向 Hadoop 配置目录，使 Spark 读写 HDFS
• 提交示例（PySpark + MLlib 逻辑回归）：
  • 命令：spark-submit --master yarn --deploy-mode client
    lr_spark.py hdfs:///data/train.csv hdfs:///data/lr_model
  • 核心代码片段（lr_spark.py）：
    • from pyspark.sql import SparkSession
    • from pyspark.ml.feature import VectorAssembler
    • from pyspark.ml.classification import LogisticRegression
    • spark = SparkSession.builder.appName(“LR”).getOrCreate()
    • df = spark.read.csv(“hdfs:///data/train.csv”, header=True, inferSchema=True)
    • assembler = VectorAssembler(inputCols=[“f1”,“f2”,“f3”], outputCol=“features”)
    • df = assembler.transform(df).select(“features”,“label”)
    • lr = LogisticRegression(maxIter=100, regParam=0.01)
    • model = lr.fit(df); model.save(“hdfs:///data/lr_model”)
• 适用说明：Spark MLlib 提供 逻辑回归、决策树、随机森林、K-Means 等常用算法，迭代快、API 友好，适合在 HDFS 上做大规模训练与评估。

五、实践建议与常见问题

• 数据组织与格式：优先使用 列式格式（如 Parquet/ORC） 提升 I/O；文本 CSV 需合理设置分隔符与 Schema
• 资源配置：YARN 侧根据数据量与并发度设置 yarn.nodemanager.resource.memory-mb、yarn.scheduler.maximum-allocation-mb；容器内存需覆盖堆外与开销
• 迭代训练优化：MapReduce 训练尽量“增加 map 并行度、减少 shuffle 数据量”；Spark 训练合理设置 分区数、批大小 与 缓存策略
• 开发与调试：先用 小样本本地模式 验证流程，再提交到 YARN；充分利用 日志与 Web UI 定位瓶颈
• 何时选择哪种方案：数据预处理/批处理与可并行统计算法优先 MapReduce；需要多轮迭代、复杂特征与更高性能优先 Spark MLlib；也可组合使用（HDFS 存储 + Spark 训练）