Dify接入大模型
·
文章目录
上一篇文章我们讲了什么是 Dify 以及为什么要使用 AI Agent。但工欲善其事,必先利其器。要让 Dify 真正跑起来,第一步就是要给它装上“大脑”——也就是接入大模型。
大模型接入一般分为两种姿势:本地私有化部署(免费、隐私)和 云端 API 调用(强大、省心)。
1 本地大模型接入(Ollama 方案)
如果你想保护隐私、不想花钱、或者没有网也能用 AI,本地部署是你的首选。这里我们用到的神器叫 Ollama。
1.1 什么是 Ollama?
简单说,它就是本地大模型的管理员。它能帮你一键下载、安装、运行各种开源大模型(比如 Llama、Qwen 等),不用你折腾复杂的代码环境。
1.2 实战五步走
1.2.1 安装 Ollama
- 下载地址:https://ollama.com/download
- 支持系统:Windows、macOS、Linux。
- 下载完一路“Next”安装即可。
1.2.2 下载模型
安装好后,我们需要下载具体的模型文件。
- 新手推荐:建议先跑个小模型,不然电脑风扇会疯转。
- 推荐指令:在终端或 Ollama 界面搜索
qwen2.5:1.5b。- 注:1.5b 代表 15亿参数,体积小,速度快,适合入门测试。
1.2.3 验证模型运行
下载完成后,直接在 Ollama 的对话框里输入问题。如果能正常回复,说明你本地的“大脑”已经激活成功了。
1.2.4 Dify 中配置 Ollama(关键步骤!)
这是最容易出 Bug 的地方,注意看:
- 进入 Dify 后台 -> 设置 -> 模型供应商。
- 找到 Ollama,点击“添加模型”。
- 填写配置:
- 模型名称:填你下载的模型名(如
qwen2.5:1.5b)。 - 基础 URL(重点):
- 如果你是 Docker 部署 Dify 且在同台机器:填
http://host.docker.internal:11434 - 如果是 不同机器:填
http://你的IP地址:11434(例如http://192.168.1.10:11434)。
- 如果你是 Docker 部署 Dify 且在同台机器:填
- 模型名称:填你下载的模型名(如
1.2.5 测试
在 Dify 里新建一个应用,选择刚配置好的本地模型,聊两句。如果通了,恭喜你,你的 Dify 已经拥有了一颗免费的“心脏”!
2 API 大模型接入(阿里云百炼方案)
如果你觉得本地模型太笨、太慢,想要体验顶级大模型(如通义千问 Qwen-Max)的能力,那就需要用 API 了。
2.1 什么是 API?
你可以把它理解为租用算力。你不用买显卡,也不用维护服务器,按调用次数给大厂付钱就行。
2.2 实战五步走
2.2.1 注册阿里云账号
- 网址:https://www.aliyun.com
- 用手机号注册即可。
2.2.2 登录百炼平台并实名
- 网址:https://www.aliyun.com/product/bailian
- 重要:必须完成实名认证。新用户通常会有一定的免费额度,记得查看账户余额。
2.2.3 获取 API Key(相当于密码)
- 进入控制台:https://bailian.console.aliyun.com/
- 找到 API Key 管理,创建一个新的 Key。
- 注意:复制保存好这个 Key!它只显示一次,丢了就得重新建。
2.2.4 Dify 中配置 API Key
- 回到 Dify 后台 -> 模型供应商。
- 找到 通义千问 (Qwen),点击安装。
- 填入刚才复制的 API Key,保存。
2.2.5 测试
同样新建一个应用,这次选择 qwen-max 或 qwen-plus 之类的云端模型。你会发现它的智商明显比本地小模型高一大截。
3 两种方式怎么选?
| 特性 | 本地模型 (Ollama) | API 模型 (阿里云/OpenAI) |
|---|---|---|
| 成本 | 免费(只需电费) | 按量付费(Token 计费) |
| 速度 | 取决于你的显卡 | 极快 |
| 能力 | 较弱,适合简单任务 | 极强,适合复杂推理 |
| 隐私 | 数据不出本地 | 数据上传云端 |
| 适用场景 | 学习、涉密文档处理 | 生产环境、复杂业务 |
4 总结
- Ollama 是本地跑模型的最好用的工具,适合新手。
- API Key 是调用云端算力的钥匙,注意保密。
- Dify 的强大之处在于:你可以在同一个界面里,随时切换本地模型和云端模型,哪个好用用哪个!
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)