hadoop集群搭建怎么打包提交

要搭建Hadoop集群并提交作业，你需要按照以下步骤进行操作：

1. 安装Hadoop：首先，你需要在每台机器上安装Hadoop。你可以从Hadoop官方网站下载适合你操作系统的二进制包，并按照官方文档进行安装。

2. 配置Hadoop集群：一旦Hadoop安装完成，你需要对Hadoop集群进行配置。主要的配置文件是core-site.xml，hdfs-site.xml和mapred-site.xml。在core-site.xml中，你需要指定Hadoop集群的名称和HDFS的默认文件系统URI。在hdfs-site.xml中，你需要指定HDFS的副本数和数据块大小等参数。在mapred-site.xml中，你需要指定MapReduce框架的配置参数。你可以根据你的需求进行其他配置。

3. 启动Hadoop集群：在所有机器上启动Hadoop集群的各个组件，包括HDFS和MapReduce。你需要运行以下命令启动NameNode、DataNode和SecondaryNameNode：

   $ start-dfs.sh
   

   启动JobTracker和TaskTracker：

   $ start-mapred.sh
   

   你可以使用以下命令检查集群的状态：

   $ jps
   

   如果所有的组件都成功启动，你应该能够看到NameNode、DataNode、SecondaryNameNode、JobTracker和TaskTracker。

4. 打包作业：将你的作业源码或可执行文件打包成一个JAR文件。你可以使用Java的jar命令进行打包。确保你的JAR文件包括所有必需的依赖项。

5. 提交作业到集群：使用以下命令将你的作业提交到Hadoop集群：

   $ hadoop jar <path_to_your_jar_file> <main_class> <input_path> <output_path>
   

   其中，<path_to_your_jar_file>是你打包好的JAR文件的路径，<main_class>是包含main方法的类的全限定名，<input_path>是输入数据的路径，<output_path>是输出结果的路径。你可以根据你的需求调整这些参数。

6. 查看作业的执行情况：你可以使用以下命令查看你的作业的执行情况：

   $ hadoop job -list
   

   这将列出所有正在运行的作业。你还可以使用以下命令查看作业的详细信息：

   $ hadoop job -status <job_id>
   

   其中，<job_id>是你要查看的作业的ID。

以上是一个简单的Hadoop集群搭建和作业提交的过程。根据你的具体需求，可能还需要进行其他配置和操作。