告别测试数据烦恼!Ingesta:一站式数据生成与校验工作台
做软件测试、ETL 开发、算法调参的同学,大概率都被两件事反复折磨过: 一是造测试数据 —— 手写 SQL 或 Python 脚本改来改去,既要覆盖正常场景,又要造边界值、空值、异常值,重复劳动一大堆; 二是验数据质量 —— 上游发来的 Excel、CSV 来源五花八门,人工核对费时费力,一不小心脏数据就流进下游,坑了报表也坑了模型。
如果你也有同款困扰,今天推荐的这个轻量级开源工具,刚好能帮你把「造数」和「验数」两件事一站式搞定 —— 它就是 Ingesta。
💡 Ingesta 是什么?
Ingesta 是开发者 Darren-Li 开源的一款数据处理 Web 工作台,全程基于 Python 构建(代码 100% Python),主打「高质量模拟数据生成 + 自动化数据质量校验」两大核心能力。
项目目前已发布 v0.2 版本,采用 MIT 开源协议,支持完全本地 / 内网部署,所有数据处理都在本地完成,完全不用担心敏感数据泄露的问题。
它没有复杂的架构、没有繁琐的依赖,一个脚本即可启动,用可视化界面替代手写脚本,把数据准备这件事从「体力活」变成「点几下鼠标」的轻松事。
✨ 两大核心功能,直击日常痛点
1. 🎲 数据生成器:可视化配置,告别手写造数脚本
传统造数要么靠手动凑数,要么靠写脚本反复调试,Ingesta 把整个过程搬到了 Web 界面上,零代码就能生成符合业务逻辑的测试数据。
- 丰富的字段类型:内置姓名、年龄、时间序列、邮箱等常用字段,同时支持自定义枚举值(比如指定平台为抖音、京东、天猫),轻松贴合业务场景。
- 灵活的约束控制:可以精确设置数值范围、缺失率(Null Rate)、字段显示格式,无论是正常值、边界值还是异常缺失场景都能一键生成。
- 模板化复用:常用的用户表、订单表、日志表等结构,可以保存为模板,下次使用一键加载,团队内部也能共享模板,避免重复造轮子。
- 实时预览导出:配置完成后可实时预览前 50 行数据效果,确认无误后一键导出完整 CSV 文件,所见即所得。

2. 🛡️ 数据校验器:自动化质检,甩掉人工核对
拿到上游交付的 Excel 数据,想快速确认格式、取值、非空等规则是否符合要求?Ingesta 的数据校验功能可以帮你自动完成全量扫描。
- 标准规则驱动:采用业界通用的 JSON Schema 定义校验规则,支持字符串、数值、枚举、邮箱格式等常用校验项,规则可沉淀、可复用。
- 批量文件校验:支持拖拽上传 .xlsx/.xls 文件,系统自动按模板规则全量扫描,无需人工逐行核对。
- 清晰的错误报告:校验任务直观展示通过 / 失败状态,点击失败条目可定位到具体行、具体字段的错误原因,排查问题效率大幅提升。
- 可视化规则构建器:内置 Template Builder 功能,即使不熟悉 JSON Schema 语法,也能通过界面配置快速搭建复杂的校验规则。

🚀 三步快速启动,零门槛上手
项目对环境要求极低,仅需 Python 3.8+,三条命令即可启动本地服务:
# 1. 克隆项目
git clone https://github.com/Darren-Li/Ingesta.git
# 2. 进入目录安装依赖
cd data-gen-val-tool
pip install -r requirements.txt
# 3. 启动 Web 服务
python app.py
启动后在浏览器打开 http://127.0.0.1:5000,就能直接进入工作台开始使用。新手建议先走一遍「生成模板 → 导出数据 → 用同模板校验数据」的完整流程,两分钟就能摸透核心用法。
👥 哪些人值得一试?
- 测试开发工程师:快速生成各类正常、边界、异常测试数据,覆盖更多测试场景,不用再为造数写大量脚本。
- 数据工程师:在 ETL 流程前置入数据校验,提前拦截上游脏数据,减少下游数据清洗和排障成本。
- 数据分析师 / 产品经理:不用等开发排期,自己就能造测试数据验证报表逻辑、产品原型,需求验证效率翻倍。
- 所有经常和表格数据打交道的人:用可视化界面代替手写脚本,小到一次临时数据核对,大到一批测试数据准备,都能高效搞定。
🌟 写在最后
Ingesta 是一个典型的「小而实用」的开源项目 —— 它不追求大而全的功能,而是精准瞄准了「造数难、验数烦」这个很多人天天遇到的小痛点,用最轻量的方式给出了解决方案。
目前项目仍在活跃迭代中,作者持续更新优化,最新代码提交为 2026-06-12,重点优化了数据生成的配置交互体验。如果你正被测试数据、数据校验的问题困扰,不妨拉下来试试;如果觉得好用,也欢迎给项目点个 Star、提提 Issue,或者把它推荐给身边同样被这件事折磨的同事朋友。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)