01

ToB****市场 Agent 采用现状

**1.**通用市场的火热与企业市场的碎片化

回顾刚刚过去的 2025 年，通用 Agent 市场精彩纷呈。基础模型（Foundation Models）的能力显著增强，Agent 领域的权威榜单——如 GAIA（通用 AI 助手基准）和 SWE-bench（软件工程基准）的 SOTA 分数被一再刷新。从年初到年末，我们可以看到技术指标有了显著的跃升，强化学习（RL）技术也成为了业界竞相追逐的热点。特别是 2025 年末 Manus 被 Meta 收购这一爆炸性事件，更是标志着通用 Agent 市场的繁荣。

然而，当我们把视线转向企业级（ToB）市场，情况则大相径庭。相比于 OpenAI 、豆包等面向消费者的通用 Agent，企业市场的 Agent 采用进度相对滞后，且呈现出高度碎片化的特征。所谓的“企业专属 Agent”，是指专门为一个特定企业的特定业务问题或任务而生的智能体。

我们可以用“冰山理论”来形象地解释这一现象。在水面之上，我们看到了繁花似锦的基础模型和层出不穷的 Agent 开发框架，显得非常热闹。但在水面之下，那些看不见的地方，才是决定技术能否在产业中真正落地的关键。这些因素往往与几十年来软件工程的积淀有关，变化相对缓慢，也不像算法模型那样光鲜亮丽，主要包括：

• 企业级能力：如安全、合规、权限管理。
• 数据工程：高质量私有数据的处理与治理。
• 效果与成本的综合考量：不仅包括 Token 调用成本，还涵盖业务迁移成本及后期运维成本。

**2.**企业决策者的谨慎与“冰山之下”的挑战

数据统计直观地反映了大模型在企业市场“梦想与现实”的差距。一方面，AI 应用的访问量和生成式 AI 市场的年复合增长率均保持高速增长（如 AI 应用访问量激增 111%）；但另一方面，真正将大模型技术投产到企业内部生产环境的比例依然极低。据相关调研显示，亚太地区有 41% 的 CEO 承认过去一年未在内部采用大模型技术，仅有约 30% 的受访企业成功将 GenAI 从实验室转化为生产实践。

造成这种反差的原因在于“冰山之下”的隐性因素。除了显性的基础模型和 Agent 框架外，真正决定技术落地的往往是几十年软件开发实践中变化缓慢的因素，包括企业级能力（安全、合规）、数据工程以及对效果与成本的综合考量。

02

企业采用Agent 技术的核心考量

为了解决上述“冰山之下”的难题，企业专属 Agent 在设计与实施时需重点考量以下三个核心维度：

数据安全（Data Security）

数据是企业的核心资产，敏感性极高。企业对 Agent 的首要要求是“数据不出域”。即用户的数据源、知识库以及 Agent 的运行时环境，必须严格保留在用户 VPC（虚拟私有云）的安全域内。如果必须访问外部的大模型服务，则要求全链路加密，且密钥必须由用户自主管理。

权限隔离（Permission Isolation）

企业内部存在复杂的职能划分，不同部门拥有不同的数据访问权限。Agent 系统必须具备多维度的权限管控能力，既要防止跨部门的数据泄露，又要遵循软件工程规范，实现开发环境与生产环境的严格隔离。

自主可控（Autonomous Control）

企业不希望被特定供应商锁定，也不希望采用不可干预的“黑盒”方案。系统需要支持用户自定义模型、向量数据库和开发框架，并提供全链路的可观测性与调试能力。同时，为了确保业务逻辑的准确性，必须引入“人机协同（Human-in-the-loop）”机制。

下面具体来谈一谈这些关键问题：

**1.**数据安全：严格的数据不出域

数据是企业的核心资产，敏感性极高。在典型的企业 Agent 运行架构中，从数据源处理、知识库构建到 Agent 在线运行的全流程保证数据不出域。

• 离线构建：数据源的处理和知识库的切分、向量化等离线任务，必须在用户 VPC 内完成。
• 在线运行：Agent 运行时访问内网数据和知识库，同样限制在私网内。
• 大模型调用：这是最容易出现风险的环节。对于企业客户而言，最低要求是大模型服务的调用不经过公网。我们需要提供大模型服务的私网连接点（PrivateLink）。如果经过合规评审必须走公网，则要求数据传输过程必须经过高强度加密，且加密密钥由用户持有和管理，平台方无法解密，从而确保用户数据不出VPC安全域的承诺得以兑现。

**2.**权限隔离：精细化与环境隔离

权限隔离需要从两个维度进行考量：

维度一：Agent-数据-工具的三元组控制 在一个企业中，不同职能部门（如财务、HR、研发）拥有各自的数据源和业务需求。他们开发的 Agent 天然需要受到权限约束。系统必须建立“Agent -> 数据源 -> 工具（Tool）”的三元组权限模型。例如，财务部门的 Agent 可以调用报销工具访问财务数据库，但绝不能允许研发部门的 Agent 访问同一数据。这种粒度必须足够精细，同时要符合云原生权限策略（Policy）的规范，并支持用户根据业务需求进行灵活的自定义。

维度二：开发环境与生产环境的物理/逻辑隔离遵循严肃的软件工程规范，Agent 的生命周期包含开发调试和发布上线两个阶段。

• 资源隔离：通常使用工作空间（Workspace）或业务空间来隔离资源。开发环境和生产环境拥有独立的账号体系、数据存储和计算资源。
• 流程隔离：一个账号虽然可能同时存在于两个环境，但在开发环境中拥有写代码和调试的权限，而在生产环境中可能只有提交发布申请的权限。生产环境的变更必须经过有权限的管理员审批（Approve）后方可上线。这能有效避免开发环境的随意变更直接影响线上业务的稳定性。

**3.**自主可控：拒绝黑盒与锁定

企业不希望被特定供应商锁定，也不希望采用不可干预的“黑盒”方案，主要体现在以下四个方面：

• 拒绝黑盒交付：企业客户需要的不是一个无法打开的端到端黑盒方案。因为平台无法覆盖所有垂直领域的 Know-how，也无法为最终的业务效果兜底。随着用户规模的扩大，平台无法提供无限的贴身运维资源。因此，平台应当赋能业务开发团队，提供可调试、可观测的工具，而非取代他们。

• 工程链路完整性：为了确保改动不直接破坏线上服务，平台必须提供完整的工程链路，包括评测、A/B 测试、灰度发布、监控告警以及一键回滚机制。

• 避免供应商锁定（Bring-Your-Own）：

  模型：允许用户适配自定义模型或微调后的模型。

  基础设施：知识库应支持接入用户自建的向量数据库。

  框架：允许用户使用习惯的开发框架（如 LangGraph、AgentScope 等），而非强制绑定平台私有框架。

• 人机协同（Human-in-the-loop）：

  工作流模式：支持在工作流中显式插入人工确认步骤。

  Agentic 模式：在关键工具（如转账、删库）执行前，通过回调机制暂停，等待人工审批。

  随时干预：针对长流程任务，允许用户在任何时间点强制终止执行，这既是为了纠错，也是为了控制 Token 成本。

03

阿里云 PAI-LangStudio 解决方案

针对上述企业级痛点，阿里云人工智能平台 PAI 推出了 LangStudio——面向企业专属 Agent 的完整基础设施。

LangStudio 的核心能力覆盖了 Agent 开发的全生命周期，主要包括六大模块：

• Agent Builder：支持可视化工作流（Workflow）和代码（Code）两种构建模式，且框架无关。
• 企业知识库：支持全模态数据处理，严格遵循数据不出域原则。
• 云原生部署：依托 PAI-EAS 提供分布式、自动扩缩容的模型服务。
• 企业级能力：集成 RBAC 鉴权、安全围栏（Guardrails）及数据加密。
• 工具生态：提供 MCP 广场及自定义工具链（API-as-Tool, Knowledge-as-Tool）。
• 可观测性：提供离在线评测及全链路 Tracing 能力。

**1.**技术架构

LangStudio 采用分层架构设计：

• 支持框架层：兼容主流开源框架（AgentScope, LangGraph, Agno, CrewAI等），支持 Python/Java 多语言。
• 模型与工具供给：接入百炼（Qwen, DeepSeek 等）及自建模型；提供数据库、联网搜索等丰富工具。
• Agent****开发基建：提供 Prompt 工程、工具调用、Trace 分析等构建与调试能力。
• 应用效果调优：通过上下文管理、长短期记忆、自动规划（Function Calling/ReAct）及模型微调等手段持续提升 Agent 精度。
• 场景适配：最终支撑智能客服、数据分析（ChatBI）、深度搜索（Deep Research）、视觉生成等多种业务场景。

**2.**全模态企业专属知识库

知识库是 Agent 的大脑，LangStudio 在此方面实现了重大升级：

• **全模态支持：**不仅支持文本，还支持图片、音频、视频的统一向量化与多路召回，满足复杂的企业多媒体检索需求。

• 数据安全闭环：

  **离线构建：**文档切分、向量化任务运行在客户VPC内的计算节点上。

  **存储：**向量存储在客户 VPC 内的向量数据库（支持 Milvus, ES 等，支持 Bring-your-own）。

  **在线检索：**Agent 运行时直接在 VPC 内访问向量库。

  全链路数据无需流出用户安全域。

3.Agent Builder：双模式构建

模式一：可视化工作流（Workflow）

通过拖拉拽的方式，用户可以快速构建复杂的Agent应用。

• **组件生态：**内置丰富的主流大模型节点和原子能力节点。
• **现代化体验：**支持 LLM 流式输出的实时处理，以及多模态音视频的输入输出。
• **治理与协同：**在画布中天然支持 Human-in-the-loop 配置，关键节点支持人工介入，且工作流的发布、变更具备全流程审计能力。

模式二：可视化工作流（Workflow）

针对专业开发者，LangStudio 提供了框架无关的编程模型。

• **云端一体化体验：**结合 PAI-DSW 提供云上 Web IDE，实现代码编写与右侧 Chat 调试面板的同屏交互，所见即所得。
• **本地开发支持：**用户可以在本地 IDE 中完成开发与调试，通过简单的 CLI 命令行即可将代码打包并一键部署到云端。
• **协议标准化：**支持 AG-UI Protocol（标准化 Agent UI 交互）和 A2A Protocol（Agent-to-Agent 多智能体协作）。

04

未来愿景：自我进化的 Agent（Online Learning）

我们认为，Agent 不仅仅是被构建出来的，更应该是能够自我进化的。LangStudio 致力于构建一个基于强化学习（RL）的 Online Learning 闭环：

• **Agent****部署：**新版本的 Agent 上线服务。
• **轨迹生成（Trajectories）：**在线服务运行过程中产生大量的执行轨迹。
• **评测与标注：**通过评测模块对轨迹进行打分或标注（Labels），判断执行正确与否。
• **强化学习训练：**将标注后的轨迹数据输入 RL 框架进行训练。
• **模型迭代：**生成新版本的 LLM（Large Language Model）。
• **集成与发布：**新模型被部署为服务，集成到 LangStudio 中，经过 A/B 测试后成为新的 Agent 版本。

通过这个循环，企业可以专注于业务逻辑，而让 Agent 通过数据飞轮实现持续的自我进化。

05

实际案例分析：实时数仓 Hologres ChatBI Agent

为了更直观地展示开发全流程，我们以阿里云实时数仓 Hologres 的智能问答 Agent（ChatBI）为例。该 Agent 的目标是让用户通过自然语言查询数据库，自动生成 SQL 并展示图表。

实施路径分为三步：

**1.**模型微调（PAI-Model Gallery）

• 使用 Hologres 专属的 SQL 业务数据，基于 Qwen2.5-Coder-7B-Instruct 模型进行微调。

• 微调后的模型能更精准地理解 Hologres 的特定 SQL 语法和业务上下文，同时相比通用大模型，7B 的小模型推理成本更低、速度更快。

**2.**模型微调（PAI-Model Gallery）

将微调后的模型通过 PAI-Model Gallery 一键部署为在线服务。平台自动屏蔽了底层的资源调度、容错与回滚细节，确保服务的高可用。

3.Agent开发与调试（PAI-LangStudio）

• 在 LangStudio 画布中编排工作流：连接微调后的模型服务、配置 NL2SQL（自然语言转 SQL）节点、SQL 执行节点以及可视化图表渲染节点。

• 通过右侧调试面板进行实时对话测试。例如输入“查询过夜旅客数量”，Agent 自动生成 SQL 查询数据库，并返回柱状图。

• 验证无误后，点击“部署”按钮，将其发布为生产级在线服务。

案例总结： 该实践充分验证了 LangStudio 的工程价值。企业仅需极少的开发成本，即可在保障数据安全、权限隔离的前提下，利用微调的小模型实现高性能、低成本的专属 Agent 落地。

06

结语

企业级 Agent 的开发并非简单的模型调用，而是一个复杂的系统工程。从“冰山之下”的安全合规考量，到全链路的工程化基础设施，再到未来的自我进化愿景，阿里云 PAI-LangStudio 正在通过其开放、安全、智能的特性，帮助企业跨越从 Demo 到生产的鸿沟。

假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。

接下来告诉你一条最快的邪修路线，

3个月即可成为模型大师，薪资直接起飞。

阶段1:大模型基础

阶段2:RAG应用开发工程

阶段3:大模型Agent应用架构

阶段4:大模型微调与私有化部署

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇