Apache Iceberg 是面向海量分析数据的开放表格式(table format),2024 年成为 Apache 顶级项目。它定义了存储在对象存储或 HDFS 上的数据文件如何组织为一张表:基于快照的 ACID 事务、模式与分区演化、隐藏分区、行级删除(merge-on-read)与时间旅行查询,解决了直接堆 Parquet 文件于数据湖的原子性与元数据管理问题。

其关键价值是引擎中立:同一张 Iceberg 表可被 Spark、Trino、Flink、DuckDB 等引擎读写,避免锁定于单一计算框架;Snowflake、BigQuery、Databricks 等商业平台亦提供 Iceberg 支持,REST Catalog 规范进一步统一了元数据服务的访问方式。在湖仓一体(lakehouse)架构讨论中,Iceberg 已是主流表格式之一。

使用上需要理解 catalog、快照与 compaction 的运维含义:小文件合并、过期快照清理是日常维护项。官方文档给出各引擎的配置示例;表格式选型(Iceberg/Delta Lake/Hudi)应结合现有引擎栈与社区生态判断。