Google 开源的 MediaPipe：35K Star 的设备端机器学习框架

Google 的 MediaPipe 项目在 GitHub 上积累了超过 3.5 万颗 Star，是目前设备端机器学习领域最成熟的框架之一。它的定位很清晰，让开发者在手机、网页、桌面甚至 IoT 设备上跑 AI 模型，不需要云端，数据不出设备。

MediaPipe 最早是 Google 内部做感知处理管线的工具，2019 年开源后逐步演变成两层架构。上层是 MediaPipe Solutions，提供开箱即用的预训练模型和 API。下层是 MediaPipe Framework，让开发者自己搭建自定义的 ML 管线。

Solutions 覆盖了视觉、文本、音频三大类任务。手势识别、人脸检测、物体追踪、文本分类、音频分类，这些都有现成模型可以直接调用。开发者不用自己训模型，也不需要懂模型优化，调几行 API 就行。Tasks API 做了跨平台封装，Android、Web、Python 三端接口统一，切换平台时不用重写逻辑。

配套工具链也比较完整。MediaPipe Model Maker 支持用开发者自己的数据微调预训练模型，MediaPipe Studio 可以在浏览器里直接可视化和评估模型效果，不需要写代码就能跑 Demo。

Framework 这一层面向需要深度定制的场景。它用 Graph 描述数据流，用 Calculator 定义每个节点的处理逻辑，Packet 在节点之间传递数据。这个设计思路跟 GStreamer 的管线模型类似，学习曲线不算陡，但对 C++ 水平有一定要求。

从实际应用看，MediaPipe 的落地案例相当多。Google Meet 的背景虚化和背景替换用的是它，YouTube 的实时手势识别也是它，还有 AR 艺术展览、义肢手势控制、手语翻译 SDK 这些第三方项目。学术方面，手部追踪、姿态估计、3D 人脸变换这几篇论文在 CV 领域影响不小。

2023 年 3 月，Google 把 MediaPipe 的 Legacy Solutions 标记为停止维护，全部切到新的 Solutions 架构。这对老用户来说有一点迁移成本，但新架构的 API 设计和模型质量确实比旧版好。如果你是新项目，直接上新的 Solutions 就行。

总体来看，MediaPipe 在设备端 ML 这个方向上做得很扎实。它不是一个突然爆火的项目，而是靠长期迭代积累起来的生态。如果你需要在移动端或 Web 端集成 AI 能力，又不想依赖云端推理，MediaPipe 是目前很好的选择。

理，MediaPipe 是目前很好的选择。