数据集成#

Binlog#

• debezium。
• canal

Flink#

• chunjun。原 flinkx。

• bitsail。字节开源，项目已经前途未卜，可能要烂尾

• seatunnel。原 waterdrop。支持 Flink、Spark 以及 SeaTunnel 社区自研的 Zeta 引擎

  • Apache SeaTunnel 及 Web 功能部署指南(小白版)
  • SeaTunnel wiki

• flink-cdc-connectors。flink cdc 在 3.0 推出 pipeline 功能，实现端到端数据实时集成

  • Flink CDC 在阿里云 DataWorks 数据集成应用实践

• inlong。消息队列、flink

• datalinkx。基于 Flink 的异构数据源同步。使用 chunjun 做数据同步，xxl-job 做任务调度

Airbyte#

• airbyte。数据集成框架，支持大量数据源。source 和 destination connector 采用面向容器的实现方式，扩展性非常好

DataX#

• DataX
• Addax
• datax-web
• tis。支持 DataX、Flink-CDC 和 chunjun

其他#

• kettle
• hop。基于 kettle fork 的一个分支版本，进入 apache 孵化
• nifi。Apache Nifi基本介绍与使用
• gobblin
• Exchangis。微众银行开源
• wrangler
• 开源ETL工具 Streamsets介绍
• ares。Ares-Access 是基于 PL-SQL 语法的 ETL、跨源计算、数据分析、存计分离的数据计算集成引擎

不维护#

• DBus
• DataLink
• databus