4 个项目, 4 把刀, 全部对准 AI 应用工程的"上下文成本" 🎯

这一周的 daily trending 有点意思——四个项目看似完全不搭界, 但拆开看, 它们都在解决同一个问题: LLM 应用的"上下文" 实在太贵了。不管是喂进去的文档, 还是爬回来的网页, 还是解析出的 PDF, 还是已经挤进 prompt 的工具输出——能省一点是一点。四把刀, 按需取用 👇

---

1️⃣ microsoft/markitdown — 把 20+ 种文件一键变 Markdown

📄 一句话: 微软 AutoGen 团队出品的"文件→Markdown" 转换器, LLM 数据预处理的瑞士军刀.

🤔 痛点: 想喂 RAG, 但素材是 PDF / Word / PPT / Excel / 图片 / 音频 / YouTube 链接? LLM 可不爱读这些杂七杂八的格式, 它最爱的是 Markdown.

✨ 核心 feature (来自 README):

• 🗂️ 20+ 种输入格式: PDF / PowerPoint / Word / Excel / 图片 (EXIF + OCR) / 音频 (EXIF + 转录) / HTML / CSV / JSON / XML / ZIP / YouTube 链接 / EPub / Outlook 邮件 / IPython Notebook / RSS / Wikipedia / Bing SERP / CSV
• 🔌 插件生态: markitdown-ocr 走 LLM Vision 抠图内嵌文字, markitdown-mcp 暴露成 MCP tool 让 agent 直接调, markitdown-sample-plugin 是写新 converter 的模板
• 🧠 Magika 字节级内容识别: 扩展名 / HTTP 头 / URL 都猜不到格式时, 调 Google Magika 跑字节级深度学习分类器兜底
• ☁️ Azure Content Understanding 通道: 本地 extractor 质量不够, 一行 cu_endpoint 切到云端多模态 (文档 / 图片 / 音频 / 视频 通用), 还能输出 YAML front matter 结构化字段
• 🎯 CLI / Python / 流式: markitdown xxx.pdf > out.md / MarkItDown().convert("...") / convert_stream(...) 三种姿势, 同一套底层逻辑

🎁 谁该用: 搭 RAG 索引管道的 / 想给 Claude Code 接"文件读取" MCP tool 的 / 做混合模态批处理的.

📊 横向比较 (markitdown vs pandoc):

维度	markitdown	pandoc
方向	单向 → Markdown	双向 (Markdown ↔ DOCX ↔ PDF ↔ LaTeX)
目标用户	LLM 数据预处理 (RAG / Agent)	人阅读排版 (学术 / 出版)
表格处理	走 pdfminer.six + 可选 CU	走 LaTeX 表格模型
协议	MIT	GPL-2.0

---

2️⃣ D4Vinci/Scrapling — 自适应爬虫 + 反爬一体的 Python 框架

🕷️ 一句话: “改版了 selector 还能用, Cloudflare Turnstile 也不在话下” 的 Python Web 抓取框架.

🤔 痛点: 写爬虫最怕两件事——网站改版 selector 全失效, 和反爬 WAF 把请求拦掉. 业界通常要自己拼 requests + bs4 + playwright + scrapy-impersonate, 痛苦面具.

✨ 核心 feature (来自 README):

• 🎯 自适应元素选择器: css(selector, adaptive=True) 时自动用 SQLite 存的"元素指纹" + SequenceMatcher 相似度, 在改版后自动找回元素, 不用每两周改一次 selector
• 🥷 隐身 Fetcher 链: 轻量 Fetcher (curl_cffi TLS 指纹伪造) → 浏览器 DynamicFetcher (Playwright) → 隐身 StealthyFetcher (Patchright + browserforge) 三档渐进升级, README 原话: “One library, zero compromises”
• ☁️ Cloudflare Turnstile 自动解题: StealthySession 内置检测 + 模拟人类点击, 非交互类 challenge 等 <title>Just a moment...</title> 自动消失
• 🕸️ Spider 框架: Spider 子类 + start_urls / parse() 经典范式, 自带 pause/resume checkpoint + 多 Session + 自动代理轮换
• 🤖 LLM Agent Skill: 整站文档被封装成 OpenClaw / Claude Code 可读的 Agent Skill, clawhub install scrapling-official 一行安装

🎁 谁该用: 写一次性爬虫脚本的 / 目标站结构经常改版的 / 想过 Cloudflare Turnstile 的 / 给 LLM agent 当数据采集层的.

📊 横向比较 (Scrapling vs playwright):

维度	Scrapling	playwright
反爬	内置 curl_cffi + Patchright + Turnstile 自动解题	需 playwright-stealth 三方插件
自适应选择器	核心卖点, SQLite 指纹 + SequenceMatcher	无, 需手维护 selector
浏览器体积	可选, 不开浏览器也能跑	必起 Chromium, ~200MB/实例
学习曲线	一行 Fetcher.get 起步, 渐进升级	中, locator API 需熟悉

---

3️⃣ opendataloader-project/opendataloader-pdf — Java PDF 解析 + 自动无障碍打标签

📑 一句话: 自评榜 #1 准确率 0.907 的 PDF 解析库, 还是同类里第一个开源端到端做 PDF 自动无障碍打标签的.

🤔 痛点: PDF 是 LLM 喂料 + RAG 数据准备里最硬的骨头——多栏版式阅读顺序错乱 / 复杂表格抽不准 / 扫描件要 OCR; 同时, EAA / ADA / Section 508 等无障碍合规要求企业把 PDF 改造成屏幕阅读器可读的 Tagged PDF, 人工整改要 $50–200 一份.

✨ 核心 feature (来自 README):

• 🏆 自评榜 #1: 0.907 综合分, 0.928 表格准确率, 0.934 阅读顺序准确率 (200 个真实 PDF 评测集, 包含多栏论文 / 复杂表格 / 扫描件)
• ⚡ 本地 15 ms/页: 纯 Java 11+ 内核, 零 GPU 依赖, 简单页本地处理 0.02 s/页量级, 后端可插拔 (Docling Fast / Hancom / Azure / Google 都预留槽位)
• 🤖 混合 AI 模式: 简单页走本地 extractor, 复杂页 (密集表 / 扫描件 / 公式 / AI 图) 自动路由到 AI 后端, 把"用 Docling" 封装成"按页路由 + 统一 JSON schema" 的稳定前端
• 🏷️ 端到端 PDF 无障碍打标签 (第一个开源): AutoTagger.tag(...) 直接返回内存里的 tagged PDDocument (veraPDF 模型), 不写中间文件, 配合 PDF Association + Dual Lab (veraPDF 作者) 合作保证符合 Well-Tagged PDF 规范
• 🧩 多 SDK: Python / Node.js / Java 都有 SDK, 一行 pip install opendataloader-pdf 起步, LangChain 官方 loader 集成 (chunk 直接带 bbox)

🎁 谁该用: Java 后端做 RAG 文档摄入层的 / 要做 PDF 无障碍合规整改的 / 扫描文档数字化的 / 金融 / 医疗 / 政府等隐私敏感行业跑本地+混合云的.

📊 横向比较 (opendataloader-pdf vs marker-pdf):

维度	opendataloader-pdf	marker-pdf
输出	结构化 JSON / HTML, 每元素带 bbox	Markdown, 不带坐标
阅读顺序	XY-Cut++ 几何算法, 跨栏正确	启发式, 复杂版式偶发切错
表格准确率 (自评)	0.928 (200 PDF 评测集)	科研论文场景强, 通用未公布
协议	Apache 2.0 核心 + 付费 PDF/UA 导出	GPL-3.0 (模型权重另算)

---

4️⃣ chopratejas/headroom — LLM 上下文压缩中间件

🧠 一句话: 在 token 进入大模型前自动削掉 60–95% 冗余 的中间件, 业务代码零改动.

🤔 痛点: AI 编码 agent (Claude Code / Cursor / Codex / Aider) 长会话里, tool 输出 / 日志 / RAG chunk 持续累积, 上下文窗口被快速撑爆. 又贵又慢, 还容易丢早期信息.

✨ 核心 feature (来自 README):

• 💨 60–95% token 节省: 真实 agent 工作负载评测: Code search 92% / SRE incident debugging 92% / GitHub issue triage 73% / Codebase exploration 47%; 准确率在 GSM8K ±0.000 / TruthfulQA +0.030 几乎无损失
• 🎛️ 4 种部署形态: compress(messages) 内联库 / headroom proxy --port 8787 透明代理 / headroom wrap claude|codex|cursor|aider|copilot 一行包装 agent / headroom mcp install 装 MCP server — 选一个姿势接入, 业务代码零改动
• 🧪 6 种压缩算法: SmartCrusher (JSON 智能) / CodeCompressor (AST-aware) / Kompress-base (ModernBERT 自研, HuggingFace 可下) / Search / Log / Diff, 由 ContentRouter 按内容类型自动分发 + 自动 fallback
• 🔄 CCR 可逆压缩: 丢弃的行写哨兵 <<ccr:HASH N_rows_offloaded>>, LLM 通过 headroom_retrieve MCP tool 按需取回原始, 真正"无信息丢失" 压缩
• 🤝 跨 agent 共享记忆: SharedContext + Qdrant / Neo4j backend, Claude / Codex / Gemini 共享同一份压缩记忆, 不再"每个 agent 各压一遍浪费算力"
• 🎯 CacheAligner: 稳定 prompt prefix 保 provider KV cache 命中, 节省的 token 不白省

🎁 谁该用: 每天跑 AI 编码 agent 的 / 想给 RAG / 工具链接多家 LLM 提供商 (Anthropic / OpenAI / Bedrock) 的 / 想要"零代码改动" 接入压缩的团队 / 多 agent 共享记忆的.

📊 横向比较 (headroom vs LLMLingua):

维度	headroom	LLMLingua
可逆性	CCR 可逆: 丢弃行写哨兵, LLM 调 headroom_retrieve 拿回	不可逆, 砍掉的 token 真没了
跨 agent 共享	SharedContext + Qdrant / Neo4j backend, Claude/Codex/Gemini 共享	无
部署形态	库 + 透明代理 + MCP + headroom wrap 四合一	纯 Python 库, 需业务代码显式 compress_prompt()
生产化程度	CacheAligner 探测 KV cache + Prometheus /stats	研究代码, 无生产化包装

---

🎁 总结

四个项目拼到一起, 是一条完整的"AI 应用工程上下文成本" 流水线:

🌐 采 (Scrapling) → 📄 喂 (markitdown) → 📑 抽 (opendataloader-pdf) → 🧠 压 (headroom)

自适应爬虫 · 多格式→Markdown · PDF 解析 + 无障碍 · token 削 60-95%

任何一环成本砍掉一半, 整个 LLM 应用的总成本都能看到量级下降. 这次的 4 个项目, 就是这套流水线上最新的"瑞士军刀" 🛠️.