DolphinScheduler(简称dolphin)是一个分布式去中心化的可视化DAG工作流任务调度系统,而不是文件管理器。因此,它本身不具有文件管理器的插件扩展功能。以下是关于DolphinScheduler的相关信息:
DolphinScheduler简介
- 主要功能:支持暂停恢复操作,多租户,丰富的任务类型,如spark, hive, mr, python, sub_process, shell等。
- 扩展性:支持自定义任务类型,调度器使用分布式调度,Master和Worker支持动态上下线。
DolphinScheduler在Linux上的部署和使用
- 安装部署:可以通过Docker容器快速部署,支持公网远程访问,便于开发人员进行远程任务调度及管理。
- 使用场景:适用于需要处理复杂依赖关系的数据处理流程,已在超过400家公司生产环境中使用。
扩展性
虽然DolphinScheduler任务调度系统本身不支持插件扩展,但它提供了高度的扩展性,允许用户自定义任务类型和调度策略,以满足不同的业务需求。此外,DolphinScheduler的社区活跃,用户可以根据自己的需求开发插件或扩展,以实现更高级的功能。