如何在Ubuntu上使用Hadoop进行大数据分析 - 问答

1. 环境准备：安装Java与SSH
Hadoop依赖Java环境，首先在Ubuntu上安装OpenJDK（推荐11或8版本）：

sudo apt update
sudo apt install openjdk-11-jdk

验证安装：java -version（需显示Java版本信息）。
为避免后续启动Hadoop集群时重复输入密码，配置SSH无密码登录：

sudo apt install openssh-server
ssh-keygen -t rsa  # 生成密钥对（直接回车默认路径）
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  # 添加公钥到授权文件
chmod 600 ~/.ssh/authorized_keys  # 设置文件权限

验证SSH登录：ssh localhost（无需密码即可登录）。

2. 下载与安装Hadoop
从Apache官网下载稳定版本的Hadoop（如3.3.6），解压至/usr/local目录：

wget https://downloads.apache.org/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz
sudo tar -xzf hadoop-3.3.6.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop  # 重命名为hadoop方便使用

3. 配置Hadoop环境变量
编辑~/.bashrc文件，添加Hadoop相关环境变量：

echo "export HADOOP_HOME=/usr/local/hadoop" >> ~/.bashrc
echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> ~/.bashrc
source ~/.bashrc  # 使变量立即生效

验证环境变量：hadoop version（需显示Hadoop版本信息）。

4. 配置Hadoop核心文件
进入Hadoop配置目录/usr/local/hadoop/etc/hadoop，修改以下文件：

core-site.xml（HDFS默认文件系统）：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>  <!-- HDFS NameNode地址 -->
    </property>
</configuration>

hdfs-site.xml（HDFS副本数，单机模式设为1）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>  <!-- 数据副本数，集群模式下需调整 -->
    </property>
</configuration>

mapred-site.xml（MapReduce框架，使用YARN）：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>  <!-- 指定MapReduce运行在YARN上 -->
    </property>
</configuration>

yarn-site.xml（YARN资源管理器配置）：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>  <!-- 启用MapReduce Shuffle服务 -->
    </property>
</configuration>

5. 格式化HDFS与启动集群
首次使用HDFS前，需格式化NameNode（注意：格式化会清除原有数据，仅首次使用执行）：

hdfs namenode -format

启动HDFS（分布式文件系统）和YARN（资源管理框架）：

start-dfs.sh  # 启动HDFS
start-yarn.sh  # 启动YARN

验证集群状态：

访问HDFS Web界面：http://localhost:9870（查看HDFS存储状态）；
访问YARN ResourceManager界面：http://localhost:8088（查看资源分配情况）。

6. 大数据分析实战：WordCount示例
Hadoop的核心功能是分布式数据处理，以下以经典的“WordCount”（统计单词出现次数）为例，演示数据分析流程：

准备数据：创建本地文本文件sample.txt，内容如下：

Hello World
Welcome to Hadoop world
Hadoop is a powerful framework

上传数据至HDFS：

hadoop fs -mkdir -p /input  # 创建HDFS输入目录
hadoop fs -put sample.txt /input  # 上传文件至HDFS

编写MapReduce程序：使用Java编写WordCount.java（核心逻辑：Mapper拆分单词，Reducer汇总计数）：

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    // Mapper：将每行文本拆分为单词，输出<单词,1>
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken().toLowerCase());  // 转换为小写统一统计
                context.write(word, one);
            }
        }
    }

    // Reducer：汇总相同单词的计数，输出<单词,总次数>
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    // 主函数：配置并提交Job
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);  // 合并Mapper输出，减少数据传输
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);  // 输出键类型（单词）
        job.setOutputValueClass(IntWritable.class);  // 输出值类型（计数）
        FileInputFormat.addInputPath(job, new Path(args[0]));  // 输入路径（HDFS）
        FileOutputFormat.setOutputPath(job, new Path(args[1]));  // 输出路径（HDFS）
        System.exit(job.waitForCompletion(true) ? 0 : 1);  // 等待Job完成
    }
}

编译与打包程序：

javac -classpath "$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/mapreduce/*" -d . WordCount.java
jar -cvf wordcount.jar -C . .  # 打包为jar文件

提交Job至Hadoop集群：

hadoop jar wordcount.jar WordCount /input /output  # 输入路径为HDFS的/input，输出路径为HDFS的/output

查看结果：

hadoop fs -cat /output/part-r-00000  # 输出结果（单词及出现次数）

示例输出：

a 1
framework 1
hadoop 2
hello 1
is 1
powerful 1
welcome 1
world 2
to 1

注意事项

单机模式仅用于学习和测试，生产环境建议搭建伪分布式或完全分布式集群；
数据预处理可使用Hive（SQL-like查询）、Pig（数据流脚本）等工具简化流程；
结果可视化可通过Tableau、PowerBI等工具连接Hive或HDFS，实现交互式分析。

0 赞

0 踩