#设计

资料整理

• 博客文章
  • 简易实现 DAG 任务编排
    • 在鸿蒙上200行代码实现基于工作流的启动编排设计
    • Java 实现一个轻量的 DAG 任务调度 demo
    • DAG多任务编排驱动设计
    • 基于DAG的任务编排框架/平台
    • JavaFlow：轻量级工作流编排利器的设计与实现
  • A DAG Printer in Java
  • 赋能转转回收：LiteFlow可视化编排方案设计
  • MaxCompute 自适应执行引擎DAG 2.0为1.5亿分布式作业提供自动化保障
  • 火山引擎数据调度实例的 DAG 优化方案
  • DAG 布局算法介绍&在流水线库中的应用
  • 手把手教你打造最好用的任务框架
• 开源项目
  • dag-flow
  • dag-flow-platform
  • taskflow
  • taskflow。开源任务编排框架TaskFlow
  • awesome-workflow-engines

#核心结构

#DAG

数据库存储

• carp。存储节点和连线。
• orca。存储依赖节点id，参考 StageExecution#getRequisiteStageRefIds()。
• dolphinscheduler。存储节点的上游节点和下游节点。t_ds_workflow_definition、t_ds_task_definition、t_ds_workflow_task_relation。任务相关的表：t_ds_workflow_instance、t_ds_relation_workflow_instance、t_ds_task_instance、t_ds_task_instance_context、t_ds_relation_sub_workflow

数据结构

• carp & dolphinscheduler。
  • guava。
  • jgrapht。jgrapht.org/guide
• orca。存储依赖节点id，参考 StageExecution#getRequisiteStageRefIds() 和 StageExecutionImpl。代码硬撸的

拓扑排序。对以 DAG 为数据结构的任务进行编排时，需通过拓扑排序处理任务前后依赖，执行 fan-in 和 fan-out 效果，

• DAG（有向无环图）和拓扑排序
• DAG调度算法原理与实践
• 拓扑排序实现方式：
  • 广度优先搜索（BFS）
  • 深度优先搜索（DFS）
  • Kahn 算法。
    • 任务编排：DAG工作流实现
    • carp

#任务结构

• dag
  • workflow
  • pipeline

任务一般都是 dag，大致上分为 2 类：workflow 和 pipeline。

对于 CI/CD 系统来说，还有些阶段性划分，比如 github 上的项目管理，阿里云云效的流水线：

它们会先执行串行的 stage，每个stage内的task组成一个dag

#任务管理

• 启动
• 停止
• 暂停
• 恢复

#任务触发

• 回调
• 用户触发

#子任务串联

• 队列+事件监听
• EventBus

队列定义

#状态流转

• 状态机

#参数传递

• 参数来源
  • 常量。由启动参数进行赋值，实际来自全局参数
  • 输出。step 和 task 的运行结果。只能获取到之前节点的输出，无法获取到之前节点的输入
  • 参数。step 和 task 运行期间动态添加
• 参数产生时机
  • 启动。可传入 dag 或 step 级别参数
  • 运行。主要是 step 和 task 的运行结果
• 动态表达式
  • condition 节点。for，if，switch 节点
  • retry expression

#接口定义

• DAG
  • 基于 JGraph 封装的 DAG
  • 存储基于 carp-framework-dag
• 任务结构
  • WorkflowDefition、WorkflowInstance、WorkflowState
  • 任务层级。workflow -> stage -> task
  • 任务依赖。需同时
    • 直接通过 dag 的 node + edge 表示依赖关系
    • 手动添加依赖 stageA -成功> stageB，stageA -失败> stageC
• 任务执行。过滤器执行链 + 监听器：filter + handler -> listener
• 状态流转。
  • 状态机

#状态机

状态处理并未全部在状态机内实现，执行环境通过 pub-sub 进行转发。

#WorkflowInstance 状态机

#WorkflowStepInstance 状态机

#WorkflowTaskInstance 状态机