Apache 社区#

存储#

• hadoop
• hbase

权限#

• ranger

数据血缘#

• atlas

调度#

• airflow

• dolphinscheduler

  • 2024年Apache DolphinScheduler RoadMap：引领开源调度系统的未来
  • Apache DolphinScheduler-3.2.0集群部署教程
  • dolphinscheduler-sdk-java。
  • 这篇 DolphinScheduler on k8s 部署实践，值得所有人看！

• oozie

消息队列#

• kafka
• pulsar

数据集成#

• gobblin
• inlong
• seatunnel

  • Apache SeaTunnel社区发布最新Roadmap：定义数据集成未来

  • 本地构建编译Apache-Seatunnel2.3.5适配Web1.0.0运行实现Mysql-CDC示例

计算引擎#

• hive
• spark
• flink
• beam
• Gluten

计算中间件#

• linkis
• kyuubi

  • 基于 Kyuubi 实现分布式 Flink SQL 网关

数据湖#

• hudi
• iceberg
• paimon
• delta。非 apache 项目。
• XTable。原 OneTable 项目，进入 apache 孵化更名为 XTable
• openhouse。非 apache 项目。湖仓的表控制面
• amoro。网易开源，数据湖管理系统

文章列表#

• 一文详细对比三大数据湖产品-Hudi，Delta Lake ，Iceberg
• 当流计算邂逅数据湖：Paimon 的前生今世。里面有非常好的 iceberg、hudi 的分析，Flink 先是做了与 iceberg 和 hudi 的集成后，发现流式数仓目标依然遥远，开始探索新的数据湖，后面才有了 paimon。
• 构建 Streaming Lakehouse：使用 Paimon 和 Hudi 的性能对比。基于阿里云 EMR 和 spark 的一个使用对比
• paimon 系列文章
  • 基于 Apache Paimon 的 Append 表处理。对于 paimon 的 append 表应用场景做了非常细致的介绍
  • 快速上手使用 Paimon MySQL CDC
  • Apache Paimon CDC集成|Kafka篇
  • 流式数据湖 Paimon 0.7 的研发进展
• hudi 系列文章
  • 基于Apache Hudi + MinIO 构建流式数据湖
  • Hudi0.14.0最新编译（修订版）
  • Apache Hudi从零到一：存储格式初探（一）
  • Apache Hudi从零到一：深入研究读取流程和查询类型（二）
• 其他
  • 数据存储中的z-ordering与Partitioning
  • 几张图弄懂 Z-order clustering

数据平台#

• streampark
• amoro。正在走 apache 孵化流程
• nifi
• zeppelin

数据格式#

• avro
• orc
• parquet
• arrow
• fury。蚂蚁开源的数据序列化框架

shuffle 服务#

• celeborn
• uniffle

OLAP#

• doris
• phoenix
• druid
• impala
• griffin
• kudu
• kylin
• pinot
• pig
• drill

文章列表#

• Elasticsearch：普通检索和向量检索的异同？
• 向量化引擎怎么提升数据库性能
• 向量化代码实践与思考：如何借助向量化技术给代码提速
• Apache SeaTunnel 入选 2024 开源数据工程生态系统全景图！
• 深入解读 CNCF 推出的云原生 AI 白皮书