MLflow：AI 工程平台的 2.6 万 Star 选择

MLflow 在 GitHub 上已经拿到 26,261 个 Star。

它把自己定位为开源 AI 工程平台，覆盖 agent、LLM 和传统 ML 模型三个方向。核心能力包括追踪调试、评估、监控和优化生产级 AI 应用，同时控制成本和管理模型访问权限。官方称月下载量超过 6000 万次。

这玩意儿是干嘛的

MLflow 解决的是 AI 应用从开发到生产的全链路问题。对于 LLM 和 agent 场景，它提供可观测性、评估、prompt 管理和 AI Gateway 四个核心模块。对于传统机器学习，它覆盖实验追踪、模型注册、自动评估和部署。

你把 AI 应用接进去，它能帮你看到运行时的每一个调用细节，判断输出质量，管理 prompt 版本，还能统一控制不同模型提供商的调用成本和权限。

上手有多简单

MLflow 用三步就能跑起来。

启动服务：

uvx mlflow server

配置追踪地址并开启自动日志：

import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()

然后正常写你的 OpenAI 调用代码就行。所有 trace 和指标会自动汇总到本地 5000 端口的 UI 里，不需要改业务逻辑。

LLM 和 Agent 场景它能做什么

可观测性基于 OpenTelemetry 构建，支持任意 LLM 提供商和 agent 框架。它能捕获完整的调用链路，监控生产质量、成本和安全情况。

评估模块内置 50 多个指标和 LLM judge，也能自定义。可以跑系统性评估，跟踪质量指标随时间的变化，在问题进生产前抓出来。

prompt 管理支持版本控制、测试和部署，带完整血缘追踪。还能用算法自动优化 prompt 以提升效果。

AI Gateway 提供统一 API 来管理所有 LLM 提供商，支持请求路由、速率限制、降级处理和成本管控，接口兼容 OpenAI 格式。

集成能力

MLflow 支持 60 多个框架的一键自动追踪。Python 生态覆盖 LangChain、LangGraph、OpenAI Agent、DSPy、PydanticAI、CrewAI、LlamaIndex、AutoGen、Haystack 等。TypeScript 侧支持 LangChain、Vercel AI SDK、Mastra 等。Java 侧有 Spring AI 和 Quarkus LangChain4j。

模型提供商方面，OpenAI、Anthropic、Databricks、Gemini、Amazon Bedrock、LiteLLM、Mistral、xAI、Ollama、Groq、DeepSeek、Qwen、Cohere、Moonshot 等都已接入。Gateway 侧还支持 Databricks、LiteLLM Proxy、Vercel AI Gateway、OpenRouter、Portkey 等。

工具链兼容 Claude Code、Instructor、Langfuse、Arize、Goose、Langflow 等。

部署方式

MLflow 可以本地跑、私有集群部署、云上托管或者用托管服务。它是 vendor-neutral 的，不绑死任何云厂商。官方文档里列出的托管选项包括 Databricks、Amazon SageMaker、Azure ML 和 Nebius。

适合谁用

需要追踪和调试 LLM 应用调用链路的团队。

有 prompt 版本管理和优化需求的项目。

需要统一管控多模型提供商调用和成本的组织。

在做传统 ML 实验追踪和模型注册管理的工程师。

需要把 AI 应用从开发环境推到生产环境、又缺少完整运维体系的团队。

的组织。

在做传统 ML 实验追踪和模型注册管理的工程师。

需要把 AI 应用从开发环境推到生产环境、又缺少完整运维体系的团队。