centos下dolphin使用教程

在CentOS系统下使用DolphinScheduler，通常指的是使用Apache DolphinScheduler，这是一个分布式、易扩展的可视化DAG工作流任务调度平台。以下是使用Apache DolphinScheduler的一般步骤：

环境准备

• 操作系统：确保你的CentOS系统版本为7或以上。
• 虚拟机节点：建议至少3个节点，以支持Zookeeper的集群模式（最小值为3）。
• 所需组件：
  • Hadoop
  • Zookeeper（推荐版本3.4.6+）
  • MySQL或PostgreSQL（推荐版本5.7+或8.2.15+）

安装依赖

• 安装JDK 1.8：

  yum install -y java-1.8.0-openjdk-devel
  

• 安装MySQL或PostgreSQL：
  • MySQL：

    yum install -y mysql-server
    

  • PostgreSQL：

    yum install -y postgresql-server
    

• 安装Zookeeper：

  wget https://downloads.apache.org/zookeeper/zookeeper-3.4.15/apache-zookeeper-3.4.15-bin.tar.gz
  tar -xzf apache-zookeeper-3.4.15-bin.tar.gz
  cd apache-zookeeper-3.4.15
  ./bin/zkserver.sh start
  ./bin/zkserver.sh status
  

配置用户免密及权限

• 创建部署用户：

  useradd dolphinscheduler
  passwd dolphinscheduler
  

• 配置sudo免密：

  sed -i '$!d' /etc/sudoers
  echo "dolphinscheduler ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
  

• 修改目录权限：

  chown -R dolphinscheduler:dolphinscheduler /path/to/dolphinscheduler
  

配置机器SSH免密登录

• 生成SSH密钥：

  ssh-keygen -t rsa -b 4096 -C "your_email@example.com"
  

• 复制公钥到其他节点：

  ssh-copy-id user@node2
  ssh-copy-id user@node3
  

启动DolphinScheduler

• 下载并解压DolphinScheduler：

  wget https://downloads.apache.org/dolphinscheduler/dolphinscheduler-3.1.8/apache-dolphinscheduler-3.1.8-bin.tar.gz
  tar -xzf apache-dolphinscheduler-3.1.8-bin.tar.gz
  cd apache-dolphinscheduler-3.1.8
  

• 配置install.env文件：
  • 修改以下参数：

    install.server.ip=your_master_ip
    install.server.port=8848
    install.zookeeper.quorum=your_zookeeper_nodes
    install.mysql.host=your_mysql_host
    install.mysql.port=3306
    install.mysql.user=your_mysql_user
    install.mysql.password=your_mysql_password
    

• 执行安装脚本：

  ./bin/install-sh
  

• 启动Master节点：

  ./bin/start-master.sh
  

• 启动Worker节点：

  ./bin/start-slave.sh
  

访问DolphinScheduler Web界面

打开浏览器，访问http://your_master_ip:8848，使用配置的用户名和密码登录，即可开始配置和管理DolphinScheduler。

请注意，以上信息基于搜索结果提供，具体的使用步骤可能会随着DolphinScheduler版本的更新而有所变化。建议参考官方文档或联系技术支持获取最新的安装和使用指南。