Paimon
表类型
- primary table。默认表，需定义主键，支持 insert、update 和 delete。
- 数据在 bucket 内根据主键进行排序。
- merge engine。当同一主键存在多条数据时，需要指定 merge engine 处理数据 merge
- deduplicate。默认 merge engine，使用最后来的数据覆盖其他数据，如果最后来的数据是 delete，则会删除整条数据
- partial-update。部分更新，用户可以通过多次更新，每次更新不同的列直到数据完整。null 无法覆盖数据列，因此用户无法通过 partial-update 将某个字段值更新为 null
- 无法处理 delete 数据。
- aggregation。类似 Doris 的 aggregate 类型表的 AggregationType
- last_value, last_non_null_value, first_value, first_non_null_value，min, max, sum, count, product 等
- 只有 sum, product, count, collect, merge_map, nested_update, last_value 和 last_non_null_value 支持 flink 回撤消息
- first-row。和 deduplicate 相反，总是使用第一条数据。使用 first-row 可以实现仅 insert 效果
- append table。又名日志表，未定义主键即为 append table。
- 自动小文件合并
- z-order 文件布局
- 索引。minmax，bitmap，bloomfilter，倒排索引
写入
- merge engine。部分更新，去重选择最新一条或者第一条数据，聚合数据量。类似 doris 的 AggregationType。
- 配置生成 changelog 以支持流读，取代消息队列
读取
- 批读
- 历史分区
- 流读
- 数据更新时生成 changelog，取代消息队列
- 多客户端同时读取时，支持位点读取
- 混合读取。全增量一体
- 位点。流读
- changelog。取代消息队列
数据湖特性
-
元数据
- FileSystem
- Hive Metastore
- JDBC。已合并，未发布
- REST。规划中
-
ACID 事务
-
Time Travel。SNAPSHOT，TAG 和正在开发的 Branch
-
Schema Evolution
-
支持 orc、parquet 和 avro 格式。默认 orc
文件布局
在分区内数据存储在 bucket 内
bucket
- 最小的存储单元，bucket 数量决定数据最大处理并行度。partition 内数据分布在 bucket 内
- bucket 包含 LSM 数据文件和对应的 changelog 文件
primary table
固定分桶
分桶数大于 0 即为固定分桶。
固定分桶只能通过离线处理进行扩缩容
动态分桶
分桶数设置为 -1 即为动态分桶。
动态分桶只支持单个写入任务。
- 不跨 partition 写入：无性能损耗，但会有额外内存消耗。100w 数据量约需要 1G 额外内存
- 跨 partition 写入：数据量巨大时会有明显性能损耗
目录