dlt：自动化数据加载的 Python 库

dlt 是一个开源的 Python 库，用于自动化数据加载任务。该项目在 GitHub 上获得了 5,428 个 Star。

dlt 的全称是 data load tool。它的核心功能是将各种数据源中的内容加载到结构化的数据集中。这些数据源的格式往往不够规范，dlt 负责处理提取、转换、加载过程中的繁琐工作。

dlt 的运行环境很灵活。Google Colab 笔记本、AWS Lambda 函数、Airflow DAG、本地笔记本电脑，都可以直接接入。只要是能运行 Python 的地方，基本都能使用 dlt。

安装方式很直接，通过 pip 命令即可：

pip install dlt

dlt 支持 Python 3.9 到 Python 3.14。部分可选功能在 Python 3.14 上尚处于实验阶段。

快速上手：

下面是一个基础示例，从 chess.com API 获取棋手数据并写入 DuckDB：

import dlt
from dlt.sources.helpers import requests

pipeline = dlt.pipeline(
    pipeline_name='chess_pipeline',
    destination='duckdb',
    dataset_name='player_data'
)

data = []
for player in ['magnuscarlsen', 'rpragchess']:
    response = requests.get(f'https://api.chess.com/pub/player/{player}')
    response.raise_for_status()
    data.append(response.json())

pipeline.run(data, table_name='player')

这段代码创建了一个 pipeline，指定了名称、目的地和数据集。然后从 API 提取两位棋手的数据，经过规范化处理后加载到 DuckDB 的 player 表中。

核心功能：

dlt 提供了多种数据提取接口。REST API、SQL 数据库、云存储、Python 数据结构，都可以作为数据来源。dlt 的文档中列出了超过 5000 个经过验证的数据源。

在数据处理层面，dlt 会自动推断 schema 和数据类型。它对嵌套数据结构进行规范化处理，生成扁平化的表结构。

dlt 支持增量加载。当数据源有更新时，只加载新增或变更的数据，而不是全量替换。它也支持 schema 演进，当数据结构发生变化时自动调整目标表的 schema。

在输出端，dlt 支持多种主流数据目的地，包括数据仓库、数据库、云存储等。同时提供了自定义目的地的接口，可以构建反向 ETL 管道。

数据访问和转换方面，dlt 集成了 Python 和 SQL 两种接口。用户可以用熟悉的方式查询和转换数据，也支持在 Marimo Notebook 中直接可视化结果。

部署选项：

dlt 可以部署在任何支持 Python 的环境中。Airflow、Google Cloud Functions、AWS Lambda 等 serverless 平台都可以运行 dlt pipeline。这种灵活性让它适合各种规模的数据工程需求。

这个项目的设计思路是降低数据管道搭建的门槛。开发者用少量代码就能完成从数据源到目标存储的完整流程，不需要手写大量的数据清洗和格式转换逻辑。

dlt 还针对 LLM 工作流做了优化。文档和代码都考虑了与大语言模型配合使用的场景，方便在 notebook 环境中快速迭代数据管道。

对于需要频繁对接不同数据源、构建 ETL 流程的开发者来说，dlt 提供了一套轻量且完整的解决方案。

环境中快速迭代数据管道。

对于需要频繁对接不同数据源、构建 ETL 流程的开发者来说，dlt 提供了一套轻量且完整的解决方案。