Great Expectations(现称 GX)是开源的数据质量与校验框架,核心抽象是“期望”(Expectation):把“user_id 非空且唯一”“金额在 0 到 100 万之间”这类数据断言写成代码,对数据源执行校验后生成结构化结果与人类可读的报告(Data Docs)。期望可以组合为校验套件(suite),纳入 CI/CD 在数据入库或管道发布时自动执行。

它强调质量规则的可读与可复用:断言用声明式 API 编写,结果附失败样本明细,团队可以像评审代码一样评审数据契约。GX 支持对 pandas、Spark、SQL 数据源(通过引擎计算下推)执行校验,并与 Airflow、dbt 等编排工具集成,实现“管道跑到哪里,质量检查跟到哪里”。

使用建议:不要试图覆盖全部字段,优先在关键实体与跨系统交接点设置断言;把失败处理策略(阻断、告警、标记)与业务影响对应起来。GX Core 的 API 在版本迭代中有变化,新项目应基于当前文档而非旧教程搭建。