etl标签_AtomGit开源社区

etl

从 ETL 到 Agent：AI数据工程如何搭建企业级“数据工厂“

AI数据工厂：从ETL到智能体系统的范式转变随着AI技术的普及，企业数据工程正经历从传统ETL（服务于人）到“AI数据工厂”（服务于模型）的转型。核心变化在于：数据消费者转变：模型需要动态上下文（Context）、按需检索能力（Skills）和实时反馈，而非静态报表。旧系统的“静默失败”问题（如Schema变更导致模型错误）成为新挑战。技术架构升级：提出六层AI数据工厂架构：数据基础层（可

 涤生大数据
2026-06-05 09:00:00

 689

 10

#etl #人工智能 #数据仓库
从 Transform 到 Transformer，用 EventBridge 与百炼构建实时智能的 ETL 数据管道

本文将从一个初级开发者也能理解和上手的视角，探讨 AI 时代的数据处理新范式：如何利用基于 Transformer 架构的大语言模型（LLM）重塑传统数据处理中的转换（Transform）环节，并结合事件驱动架构（Event-Driven Architecture, EDA），为 AI 数据处理链路“注入实时智能”。

Apache RocketMQ
2026-05-28 14:00:49

 403

 10

#transformer #etl #深度学习
部署DataHub并导入Glue元数据以集成DBT和Spark ETL任务中数据血缘的实践

本文介绍了LinkedIn开源的数据治理平台DataHub的架构设计与部署实践。DataHub作为第三代数据目录平台，采用流式架构实现实时元数据管理，支持与AWS Glue和dbt等工具集成构建完整的数据血缘图谱。文章详细解析了DataHub的核心组件（GMS服务、Kafka消息总线、MySQL存储、OpenSearch索引）及其协同工作原理，并提供了基于Docker的部署指南和Glue元数据导入

 zhaojiew10
2026-05-23 23:57:28

 821

 11

#spark #etl #大数据
【助睿ETL实战】从考勤数据到画像看板：轻松教你用ETL识别“纪律高危”学生群体

摘要：本实验基于学生考勤数据，使用K-Means聚类算法构建考勤行为画像。实验分为三部分：首先通过AI平台对迟到、早退等指标进行聚类分析，识别出自律模范型、轻微波动型和纪律高危型三类群体；其次利用BI工具对高危群体进行多维度可视化分析，包括性别、年级等特征；最后完成从数据标签构建到仪表盘展示的全流程。

NG477
2026-05-20 18:07:02

 987

 30

#etl #数据仓库 #数据可视化
零代码实战：基于聚类与助睿 BI 的学生考勤行为画像分析

本文介绍了使用K-Means聚类算法分析学生考勤行为的方法。实验基于助睿数智平台，通过迟到、早退、请假、校服违规等指标，将学生分为三类群体。主要步骤包括：1）在AI Studio平台建立工作流，导入考勤数据并进行K-Means聚类；2）将聚类结果保存至数据库；3）通过助睿BI平台连接数据源，构建数据集并创建工作表；4）使用可视化图表分析不同聚类群体的特征分布。该方案为零代码实现，为校园管理提供数据

 abs（）
2026-05-20 17:43:19

 484

 24

#etl #数据分析
IntoTech | GenAI终极进化：DeepQuery如何让AI从“助理”变“军师”？——解锁企业级AI的深度决策力

当80%企业还在用AI回答“上季度营收多少”，领先者已用它解决“华东市场销量骤降的7大根因”。这背后是Denodo平台中的DeepQuery技术引发的代际差——本文将用真实战例揭秘：为何顶级企业愿为0.02秒的深度响应投入千万?

IntoTech英途汇骏
2026-05-19 21:30:00

 467

 14

#etl #大数据 #人工智能 +4
保姆级教程！别再用Excel盯考勤了，零代码+K-Means带你秒建学生考勤画像（附防坑指南）

本文完整复盘了基于助睿数智（Uniplore）零代码平台，利用 K-Means 聚类算法构建“学生考勤群体画像”的全链路实战。教程从底层考勤数据的 ETL 处理、AI Studio 拖拽式聚类建模，到助睿 BI 的多维散点图可视化洞察，最终将“自律模范”、“纪律高危”等画像标签完美回写至业务数据库，实现了从“离线分析”到“业务赋能”的闭环。全文不仅手把手拆解操作细节，更融入了“距离计算陷阱”、“最

 草木本心987
2026-05-19 20:40:13

 781

 26

#kmeans #算法 #机器学习 +1
HENGSHI SENSE多源异构数据集成实战：20+数据源适配与ETL管道实现

企业数据集成面临多源异构挑战，HENGSHISENSE BI平台通过三层架构提供解决方案：1）数据适配层统一接入20+数据源（关系型/NoSQL/时序/云服务等）；2）ETL引擎支持增量同步、清洗转换和智能聚合；3）语义层构建业务数据集和逻辑模型，支持环形关联等复杂分析。平台持续迭代优化，从5.x到6.2版本逐步增强数据虚拟化、API配置化接入、跨应用数据复用等能力，显著降低数据集成门槛，提升分析

 C资讯
2026-05-17 14:00:00

 384

 8

#etl #数据仓库
数据库和数据湖

数据库与数据湖并非对立选择，而是数据管理的互补组件。数据库采用Schema-on-Write模式，适合结构化数据的高效处理；数据湖采用Schema-on-Read模式，支持多模态数据的灵活存储。现代数据湖通过开放表格式（Delta Lake/Iceberg/Hudi）实现了事务支持，推动湖仓一体架构成为主流。工业实践表明，企业需要构建"双平面"架构：数据库处理实时事务，数据湖沉

 探索未知的自己
2026-05-17 06:51:18

 563

 8

#数据库 #oracle #etl
【助睿ETL实战】从考勤到消费，手把手教你构建学生画像标签体系（附完整代码+踩坑经验总结！）

本文介绍了基于"数智教育"数据集的学生用户画像构建实验，重点包含考勤统计和消费分析两部分。在考勤统计中，通过ETL流程实现了迟到、早退等异常考勤的多维度统计；在消费分析中，构建了消费活跃度、贫困生识别和消费时段偏好三个模型。实验采用助睿ETL平台，通过可视化组件完成数据清洗、关联、聚合等操作，最终生成标准化的学生画像标签表。文章详细记录了数据处理流程、遇到的问题及解决方案，总结了平台操作经验和数据

 NG477
2026-05-14 21:28:17

 1122

 40

#数据仓库 #数据分析 #etl
从 0 到 1｜助睿平台实现学生画像标签挖掘与建模

本文基于"数智教育"大赛数据集，设计并实现了学生多维度考勤统计ETL转换流。实验采用助睿数智平台，通过7张核心业务表构建"事实表+维度表+属性表"的星型模型，重点处理3张考勤相关表。转换流实现了从数据接入、多表关联、标签衍生到聚合统计的全流程自动化，解决了人工统计效率低、口径不统一的问题。实验详细梳理了学生基础属性、画像维度和考勤行为三类标签，制定了统一统计

 abs（）
2026-05-11 19:29:24

 602

 23

#数据分析 #etl
告别昂贵的ETL——大数据架构下的时序选型指南

传统架构下，时序数据在 TSDB 中只能满足实时查询和看板需求，如果要做长期的大数据分析、模型训练，往往需要把数据通过 Kafka/Flink 或者定期 ETL 导出到 Hadoop/Spark 生态，这带来了高昂的存储冗余与传输成本。本文将从“大数据生态融合”与“存算分离”的角度探讨时序数据库的选型思路，并看看 Apache IoTDB 是如何破局的。

倔强的石头_
2026-05-09 14:38:07

 9821

 56

#etl #大数据 #架构
傲鹏软件 AI 助理技术白皮书—— 基于 ERP 数据的企业智能问答与报表生成实战方案

傲鹏 AI 助理是制造业 ERP+AI 的务实工程化方案，核心价值在于：让不懂技术的管理者、业务人员，用最简单的方式，把 ERP 数据变成实时、准确、可执行的决策能力。更精准的行业语义理解更丰富的制造 / 贸易报表模板更深度的生产、质量、成本诊断移动端、语音交互、多端协同。

weixin_58345536
2026-05-07 14:15:45

 359

 7

#etl #数据库开发 #数据库架构
IntoTech | 统一语义层：智能体时代企业制胜的“胜负手”

过去十年，企业竞争的核心是“数据驱动决策”。而未来十年，竞争的核心将演变为“语义驱动智能”。没有统一语义层，企业积累的海量数据对于大模型而言只是一座无法开采的“黑矿山”。唯有建立起清晰、安全、富有上下文的语义层，才能真正打通数据、业务与AI之间的壁垒，让智能体成为企业真正的“数字员工”。

IntoTech英途汇骏
2026-05-05 18:38:12

 488

 10

#人工智能 #数据仓库 #数据库 +4
【第17篇】玩转RAG之ETL Pipelin

本文介绍了基于Spring AI Alibaba构建的RAG ETL流水线系统，用于将企业文档转换为可检索的向量数据。系统采用三层架构：Reader层支持多种格式文档解析，Transformer层实现智能文本分块和元数据增强，Writer层将处理结果存入向量数据库。核心组件包括TokenTextSplitter实现语义分块、MetadataEnricher增强元数据，支持PDF/HTML/Mark

海兰
2026-04-25 07:30:00

 809

 13

#etl #数据仓库 #人工智能
AI编译器与模型优化：MLIR、TVM与深度学习编译技术完全指南

torch.compile + FlashAttention + 量化。

少林码僧
2026-04-25 00:23:57

 502

 2

#人工智能 #etl #原型模式 +1
探索发动机逆模型：从 MAP 图到自适应巡航的奇妙之旅

发动机逆模型逆发动机模型根据发动机模型MAP图数据，得到发动机逆模型以carsim 150kw的发动机为例逆纵向动力学模型逆发动机模型自适应巡航 ACC红色*是原始数据点线性插值在汽车工程的奇妙世界里，发动机逆模型是一个极具魅力且实用的领域。今天咱们就以 carsim 中 150kw 的发动机为例，唠唠这发动机逆模型是咋回事儿，以及它和逆纵向动力学模型、自适应巡航（ACC）之间千丝万缕的联系

 HXIWbeyzus
2026-04-20 17:15:00

 43

#etl
【Spring AI 实战】六、RAG文档 ETL 实战：PDF/Word/Markdown 解析与文本分割

本文介绍了Spring AI框架中文档ETL处理的核心组件与应用实践，重点讲解了PDF、Word、Markdown等常见文档格式的解析方法。主要内容包括：文档ETL在RAG系统中的关键作用，涵盖抽取、转换、加载全流程 Spring AI统一文档读取接口体系，支持多种文档格式解析 PDF文档处理详解，包括分页读取、元数据提取和内容过滤 Word文档解析技巧，支持表格内容提取和分页处理 Markdo

冰-点
2026-04-17 08:41:56

 891

 9

#spring #人工智能 #etl
探索Matlab/Simulink中的多能源调频世界：从双馈风机到风火水协同

matlab/simulink 双馈风机调频，风电调频，风火水调频，虚拟惯性控制，下垂控制参与系统一次调频的Matlab/Simulink模型系统为三机九节点模型，所有参数已调好且可调，可直接运行，风电渗透率20%也可研究风火联合，火电调频等。有同步机调速器。风电调频，IEEE9节点，双馈风机调频，一次调频，火电调频，同步机调频。同步机部分带有调速器等部分。并网电压电流。风电附带下垂控制，虚拟惯性

 oOOpHQYUKG
2026-04-16 18:30:00

 241

 5

#etl
Spring AI ETL 数据处理管道实战指南：从原始文档到向量索引

chatModel,100 // 摘要长度限制@Component@Override.toList();// 1. 清理文本（去除特殊字符、多余空行）.replaceAll("\\s+", " ") // 多个空白字符合并为一个空格.replaceAll("[\\x00-\\x08\\x0B\\x0C\\x0E-\\x1F\\x7F]", "") // 去除控制字符.trim();// 2. 提取

 callJJ
2026-04-14 19:47:30

 534

 7

#spring #人工智能 #etl
【MOI 实践 Vol.2】[特殊字符]报表数字看不懂、口径对不上？让AI帮你搞定一切

《智能ETL Agent：打破数据困境的新工具》摘要：文章揭示了企业数据工作中的常见痛点：混乱的表结构、晦涩的字段命名、复杂的关联逻辑，导致数据提取和分析效率低下。针对这些问题，智能ETL Agent提供了创新解决方案：1）通过自然语言交互快速生成业务表，将原本需要3-7天的流程缩短至几小时；2）自动解析遗留代码，保留业务逻辑知识；3）提供完整数据血缘追踪，实现指标透明化；4）一键生成可视化监控

 MatrixOrigin
2026-04-13 20:00:00

 414

 5

#人工智能 #etl
RAG相关技术介绍及Spring AI中使用--第二期

本文介绍了RAG（检索增强生成）系统中的关键ETL（提取、转换、加载）流程，重点讲解SpringAI框架中的文档读取器实现。ETL过程包括从各类数据源提取内容、进行文本清洗和标准化处理，最后加载到向量数据库。文章详细演示了SpringAI提供的多种DocumentReader实现，包括处理JSON、纯文本、HTML、Markdown、PDF以及各类办公文档的读取器，并展示了MySQL数据库读取器的

 C r a z y
2026-04-13 09:31:26

 1099

 36

#人工智能 #spring #AIGC +2
六自由度机械臂、二自由度机械臂及倒立摆系统的模型预测控制（MPC）技术研究与实践分析这个标...

六自由度机械臂mpc模型预测控制+倒立摆+二自由度机械臂。

QQ:487739278
2026-04-11 10:46:13

 339

 9

#etl
2026年企业级ETL工具选型指南：从开源DataX到商业化ETLCloud的演进

ETLCloud针对缺乏可视化编排、调度能力弱、错误处理简单等痛点，提供全链路拖拽式流程设计、内置企业级调度引擎、CDC实时数据同步等能力，性能提升25%。其社区免费版支持100+数据源、可视化监控和基础CDC，助力企业从"可用"迈向"好用"的数字化转型。

RestCloud
2026-04-09 18:23:02

 408

 11

#etl #开源 #数据仓库
实训4 ETL构建中间层

能力点掌握程度MySQL字符串函数应用✅ 掌握分隔符嵌套拆分逻辑设计✅ 理解正则表达式清理文本✅ 实践类型转换与空值处理✅ 熟练ETL流程设计与调试✅ 能独立完成通过本实训，你已掌握了从原始杂乱数据 → 结构化中间表的全过程，是构建企业级数据仓库的重要基石。掌握这些技能，意味着你已迈入数据工程师的核心能力圈！🔹下一步建议：尝试将该流程封装为存储过程或接入数据调度平台（Airflow），实现自动化

 素玥
2026-04-07 23:31:34

 527

 12

#etl #数据仓库
Oracle 星座模型（Galaxy Schema）可落地设计实例（含完整建表、索引、ETL、查询代码）

这是企业标准可落地 Oracle 星座模型：2 事实 + 4 共享维度包含建表、序列、分区、位图索引、物化视图、外键、测试数据、业务查询完全遵循一致性维度、星型连接、分区性能、可扩展原则可直接用于零售、电商、商超、制造行业数仓。

荒川之神
2026-04-05 14:37:41

 420

 11

#oracle #etl #数据库 +1
宝塔服务器的mysql数据库自动备份到gitee项目

本文详细介绍如何将宝塔服务器的数据库自动备份到Gitee项目。主要内容包括：在Gitee创建数据库备份项目、宝塔面板设置备份计划任务、服务器下载并配置自动备份脚本。文章提供具体可执行的命令和SQL语句，强调在测试环境验证后再迁移到生产环境的重要性。关键步骤涉及SHOW MASTER STATUS、mysqlbinlog等命令进行备份验证，建议保留执行前后的状态对比和错误日志。文章还提到使用开源脚本

 数据库技术讲堂
2026-03-26 13:09:27

 357

 5

#数据库 #sql #oracle +3
2026 ETL 工具选型，看这一篇就够了！

本文系统梳理了10款主流ETL工具的核心特性与适用场景，为数据集成选型提供决策参考。重点分析了FineDataLink、SSIS、Informatica等工具在功能特性、技术架构、业务适配性等方面的差异，并总结了五大选型考量维度：业务适配、技术能力、易用性、成本和安全合规。特别指出国产工具FineDataLink在低代码开发、全流程治理方面的优势，以及开源工具与商业工具在运维成本上的差异。

isNotNullX
2026-03-26 11:13:52

 492

 9

#etl #数据仓库
ETL是什么？盘点Top5市场常见免费ETL工具及详细评测

ETL（抽取、转换、加载）是数据仓库建设的核心环节，工作量占比60%-80%。推荐5款免费ETL工具： ETLCloud：国产自研，支持实时CDC和可视化开发，适合信创环境； Apache NiFi：流式数据处理专家，适用于IoT和实时监控； Talend OpenStudio：开源灵活，适合开发者定制； Apache Airbyte：连接器丰富，支持多云数据汇聚； Kettle：经典工具，适合中

 苛子
2026-03-23 11:30:59

 696

 7

#etl #数据仓库
（simscape 建模版）伺服系统基于陷波滤波器双惯量伺服系统机械谐振抑制matlab/Si...

仿真模型由simscape 库模型搭建，模型内主要包含DC直流电压源、三相逆变器、永磁同步电机、采样模块、SVPWM、Clark、Park、Ipark、三角波发生器、速度环、电流环等模块，其中，SVPWM、Clark、Park、Ipark、三角波发生器适用模块搭建。实际工程中，由于传动环节机械间隙和柔性的影响，机械谐振现象经常会发生，导致伺服系统运行过程中会产生噪声，更严重时容易损坏设备。仿真内可

 tIjJrDKv
2026-03-23 10:00:00

 131

 1

#etl
车辆状态估计模型EKF/AEKF，基于Carsim和simulink联合仿真51

经过这场算法PK，AEKF在时变噪声场景展现优势，但EKF在计算资源紧张时仍是首选。建议兄弟们移植代码时重点检查两个地方：轮胎模型的计算（咱们用的简化版）和雅可比矩阵的更新频率（本例是每步都更新）。完整代码里留了几个彩蛋：比如在里可以通过勾选复选框实时切换算法，还能看到我们用Simulink的Data Dictionary做的参数管理骚操作。下次可以试试把路面摩擦系数也做成自适应参数，估计会更刺激

 LqKKsNUdXlA
2026-03-21 19:45:00

 141

 2

#etl
大数据领域数据仓库的ETL调度优化

ETL(抽取-转换-加载)是数据仓库建设的核心环节，随着数据量的爆炸式增长，传统ETL调度方式面临严峻挑战。本文旨在探讨大数据环境下ETL调度的优化方法，提高数据处理效率，降低资源消耗。文章首先介绍ETL调度的基本概念，然后深入分析优化策略，包括算法原理、数学模型和实际案例，最后探讨未来发展趋势。ETL：Extract-Transform-Load，数据抽取、转换和加载的过程DAG：Directe

宝贝木马
2026-03-13 19:56:00

 377

 11

#数据仓库 #大数据 #etl
开源数据集成平台，简化ETL/ELT全流程，支持从API、数据库及文件中提取数据至数据库、数据仓库与数据湖 - Airbyte

Airbyte是一款开源的数据集成平台，支持从API、数据库及文件中提取数据至数据库、数据仓库与数据湖。通过 “开箱即用的连接器” 打破数据孤岛，让技术与非技术人员都能低成本实现数据的同步，同时支持ETL与ELT模式，目前已成为数据集成领域的主流工具之一。Github地址：https://github.com/airbytehq/airbyte文档地址：https://docs.airbyte.c

大数据学习与分享
2026-03-13 14:26:19

 728

 11

#数据仓库 #开源 #etl +1
2026年ETL工具深度评测：ETLCloud凭什么成为2万+企业的选择？

ETLCloud国产数据集成工具凭借"社区驱动+企业级进阶"模式突破2万企业用户。其成功源于：1）通过功能完善的社区版快速积累用户和组件生态；2）零代码可视化设计降低使用门槛；3）全面适配国产信创环境；4）高效支持混合云架构。该工具以开源精神构建生态，用企业级功能实现商业转化，形成了从社区试用到企业采购的完整闭环，成为数字化转型时代的优选方案。

苛子
2026-03-13 09:04:00

 390

 5

#etl #数据仓库 #finebi