如何在 Ubuntu 上运行 Hadoop 作业

在Ubuntu上运行Hadoop作业，首先要安装Hadoop，可参考以下步骤：

1. 安装Java环境：使用sudo apt update和sudo apt install openjdk-11-jdk命令安装OpenJDK。
2. 下载并解压Hadoop：从Apache官网下载，用tar -xzvf命令解压到指定目录，如/usr/local。
3. 配置环境变量：编辑~/.bashrc文件，添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后执行source ~/.bashrc。
4. 配置Hadoop集群：在HADOOP_HOME/etc/hadoop目录下，根据需求编辑core-site.xml、hdfs-site.xml等配置文件。
5. 格式化HDFS：在HDFS的NameNode所在目录下执行hdfs namenode -format命令。
6. 启动Hadoop集群：使用start-dfs.sh和start-yarn.sh命令启动。

运行Hadoop作业的命令为yarn jar /path/to/your/mapreduce-job.jar YourMainClass input_path output_path。其中，/path/to/your/mapreduce-job.jar是作业的JAR包路径，YourMainClass是作业的主类名，input_path是输入文件路径，output_path是输出文件路径。