#数据集成

#Binlog

• debezium。
• canal

#Flink

• chunjun。原 flinkx。

• bitsail。字节开源，项目已经前途未卜，可能要烂尾

• seatunnel。原 waterdrop。支持 Flink、Spark 以及 SeaTunnel 社区自研的 Zeta 引擎

  • Apache SeaTunnel 及 Web 功能部署指南(小白版)
  • SeaTunnel wiki

• flink-cdc-connectors。flink cdc 在 3.0 推出 pipeline 功能，实现端到端数据实时集成

  • Flink CDC 在阿里云 DataWorks 数据集成应用实践

• inlong。消息队列、flink

• datalinkx。基于 Flink 的异构数据源同步。使用 chunjun 做数据同步，xxl-job 做任务调度

#Airbyte

• airbyte。数据集成框架，支持大量数据源。source 和 destination connector 采用面向容器的实现方式，扩展性非常好

#DataX

• DataX
• Addax
• datax-web
• tis。支持 DataX、Flink-CDC 和 chunjun

#其他

• kettle
• hop。基于 kettle fork 的一个分支版本，进入 apache 孵化
• nifi。Apache Nifi基本介绍与使用
• gobblin
• Exchangis。微众银行开源
• wrangler
• 开源ETL工具 Streamsets介绍
• ares。Ares-Access 是基于 PL-SQL 语法的 ETL、跨源计算、数据分析、存计分离的数据计算集成引擎
• bigprime-dip。Data Integration Platform 是 Bigprime DGP 大数据数智平台中的一个核心子平台，专注于数据源管理、数据集成、数仓管理。该平台致力于通过高效的数据整合与管理，帮助企业实现数据驱动的价值创造。借助先进的插件化架构和灵活的自定义配置，Data Integration Platform 能够快速响应各种复杂的数据集成需求，为企业的数据治理之路提供坚实的技术支撑。
• mydata-boot。mydata是基于Web API的数据集成平台，提供数据集成服务，简化跨系统之间的数据对接； mydata-boot是平台后端，基于 SpringBoot 3 开发；
  • mydata-antd

#不维护

• DBus
• DataLink
• databus