DolphinScheduler(海豚调度)是一个分布式易扩展的可视化DAG工作流任务调度开源系统,适用于企业级场景。它提供了可视化操作任务、工作流和全生命周期数据处理过程的解决方案,旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种ops编排中的关系。在CentOS系统上部署DolphinScheduler的基本步骤如下:
环境配置
- 安装基础软件:需要安装JDK、MySQL或PostgreSQL数据库、Zookeeper等必要的软件包。
- 创建部署用户:设置用户名和密码,并配置sudo免密登录。
- 配置SSH免密登录:在集群中的所有机器之间实现SSH免密登录。
- 解压DolphinScheduler安装包:将下载的安装包解压到指定目录。
- 修改配置文件:根据集群规划修改相应的配置文件。
- 初始化数据库:创建数据库和用户,并赋予相应的权限。
部署步骤
- 上传部署包:将程序包上传到服务目录,并解压文件。
- 创建外部数据库:创建外部数据库实例、账号,并对账号授权库的全部权限。
- 修改元数据库配置:配置系统的元数据库,使用MySQL存储相关数据,以便持久化使用。
- 上传MySQL驱动程序:上传MySQL驱动程序到指定目录。
- 初始化外部数据库:执行相关脚本初始化外部数据库。
以上信息提供了在CentOS系统上部署DolphinScheduler的基本指南,具体版本可能会随着新版本的发布而有所变化,建议参考官方文档获取最新信息。