近日,qData 数据中台社区开源版 v1.4.0 正式发布。

qData 数据中台是一套面向企业数据治理与数据研发场景的开源数据中台,围绕 ETL 数据集成、数据开发、数据建模、元数据管理、数据质量、数据资产、API 数据服务与 AI 智能问数 等核心能力,支持 MySQL、DM8、Oracle、SQL Server、Kingbase8、Doris 等常用数据库接入,帮助企业快速完成数据接入、清洗转换、资产编目、质量检查、接口开放和 Text2SQL 分析。

它既可以作为企业建设 数据中台、数据治理平台、ETL 平台和数据服务平台 的开源基础底座,也适合开发者进行二次开发与功能扩展。

在本次 v1.4.0 版本中,qData 重点推出了 元数据管理 核心模块。通过构建从元数据采集、任务监控到资产定版的全链路管理体系,实现对表、字段、视图等元数据信息的自动化获取与精细化管控,进一步完善数据治理能力。


一、核心功能:元数据管理

本次版本的重点能力集中在元数据管理模块,围绕元数据采集、采集实例监控、最新元数据查看、定版元数据管理等场景展开,帮助用户更清晰地掌握数据资产现状与变化过程。


1. 元数据采集与实例监控

在企业数据治理过程中,元数据的获取与维护往往是基础但又繁琐的工作。qData v1.4.0 新增元数据采集能力,支持通过配置采集任务,对数据库中的表、字段、视图等元数据信息进行自动采集与持续维护。

在这里插入图片描述

灵活的采集任务配置

在元数据采集方面,本次版本支持创建和维护采集任务,用户可以自定义任务名称、任务描述及责任人,便于后续管理与追踪。

同时,系统支持多类型数据源接入,可指定具体的数据库实例,并灵活设置采集范围。用户既可以选择采集全部 Database,也可以根据实际需要指定部分 Database 进行采集。

在任务配置过程中,还支持按需勾选采集库,并标识来源系统,方便后续按照数据来源进行资产识别和管理。

此外,系统内置智能更新策略,可自动处理元数据的新增、变更与删除,并支持手动执行或按照设定频率定时执行采集任务,降低人工维护成本。

全维度的任务监控

为了便于用户掌握采集任务的运行情况,qData v1.4.0 对任务监控能力进行了完善。

任务列表中可全面展示数据源类型、生效状态、最近采集结果及运行时间等信息,帮助用户快速了解当前采集任务的整体状态。

本次版本还新增了采集实例管理能力,支持统一查看每次任务运行的执行状态、数据来源及责任人信息。对于采集过程中出现的问题,用户可以查看详细的实例运行日志,从而快速定位并排查异常情况。


2. 最新元数据:表类型

在元数据完成采集后,qData 提供了“最新元数据”视图,用于展示当前采集到的预发布表元数据信息。

在这里插入图片描述

统一资产浏览

用户可以按照数据源视角,通过左侧树状结构浏览元数据资产,直观查看表元数据名称、描述、最新版本及更新频率等信息。

这种方式能够帮助用户快速了解不同数据源下的数据表情况,为数据开发、资产盘点和数据治理提供基础支撑。

深度详情解析

在表元数据详情中,系统支持查看表级基础信息,包括表注释、所属库名、版本号等内容。

同时,用户也可以查看字段级详细信息,例如字段名、数据类型、是否可为空、默认值等。

为了更好地跟踪元数据变化,本次版本引入了版本管理机制,完整记录版本号、变更类型、变更详情及操作人等信息,使元数据的变更轨迹更加清晰、可查、可追溯。


3. 定版元数据:表类型

除了最新元数据视图外,qData v1.4.0 还新增了“定版元数据”能力,用于管理稳定、可信的表元数据版本。

在这里插入图片描述

稳定版本管理

定版元数据可以从最新元数据中筛选并标记为“定版/生效”版本。

通过这一机制,用户可以在持续采集和变化的元数据中,识别并维护当前稳定可信的版本,为数据资产管理、数据开发协作和治理流程提供更加明确的参考依据。

定版信息查阅

在定版元数据视图中,用户可以按照数据源查看已定版的表元数据,并查阅对应的基础描述、来源系统信息等内容。

同时,系统会完整保留定版状态下的字段信息,包括字段名称、字段类型、字段描述等,并保留对应的版本变更记录,方便用户对定版资产进行统一管理和持续追踪。


二、版本总结

qData 数据中台社区开源版 v1.4.0 完成了 元数据管理闭环 的关键构建。

通过 自动化采集,系统解决了元数据获取难、维护成本高的问题;通过 最新元数据与定版元数据双视图,满足了数据开发与资产管理在不同场景下的使用需求;通过精细化的 版本管理机制,进一步提升了元数据的透明度、可追溯性与可维护性。

本次版本标志着 qData 在数据治理能力建设上迈出了更加扎实的一步,也为企业更高效地盘点、管理和利用数据资产提供了基础支撑。

未来,qData 将继续围绕数据治理、数据开发、数据资产管理和智能化分析等方向持续迭代,帮助更多企业和开发者快速构建开放、可扩展的数据中台能力。


qData 数据中台社区开源版 v1.4.0 已发布

本次版本重点上线 元数据管理核心模块,欢迎关注、体验与反馈。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐