Ollama私有化部署和对接本地大模型

一、Ollama本地大模型部署

(一) Ollama是什么？能干什么？

类似于docker的管理工具，但是是用来管理大模型LLM的在本地部署，默认端口号11434

(二) Ollama如何安装部署各种大模型

命令跟docker很类似，ollama pull xxx（大模型）| ollama run xxx（大模型）

二、微服务对接本地大模型

在项目中pom文件中引入依赖

配置yml文件

---

对话模型

一、ChatClient vs ChatModel

• ChatClient 提供了与AI模型通信的Fluent API，它支持同步和反应式(Reactive)编程模型。
• 与ChatMemory 等原子API相比，使用 ChatClient 可以将与LLM及其他组件交互ChatModel、 Message、的复杂性隐藏在背后，因为基于LLM的应用程序通常要多个组件协同工作(例如，提示词模板、聊天记忆、LLMModel、输出解析器、RAG组件:嵌入模型和存储)，并且通常涉及多个交互，因此协调它们会让编码变得繁琐。
• 当然使用 ChatModel 等原子API可以为应用程序带来更多的灵活性，成本就是您需要编写大量样板代码。
• ChatClient类似于应用程序开发中的服务层，它为应用程序直接提供AI服务，开发者可以使用ChatClient Fluent API快速完成一整套AI交互流程的组装。

private final ChatClient dashScopeChatClient;
// ChatClient不支持自动输入
// 依赖ChatModel对象接口, ChatClient.builder(dashscopeChatModel).build();
public ChatClientController(ChatModel dashScopeChatModel) {
    this.dashScopeChatClient = ChatClient.builder(dashScopeChatModel).build();
}
@GetMapping("/chatclient/dochat")
public String doChat(@RequestParam(name = "msg",defaultValue = "您好") String msg) {
    return dashScopeChatClient.prompt().user(msg).call().content();
}

---

SSE

一、流式输出

• 是一种逐步返回大模型生成结果的技术，生成一点返回一点，允许服务器将响应内容分批次实时传输给客户端，而不是等待全部内容生成完毕后再一次性返回。
• 这种机制能显著提升用户体验，可以让客户尽快看到结果，尤其适用于大模型响应较慢的场景（如生成长文本或复杂推理结果）。
• 有两种实现方式：

• • 通过ChatModel实现stream实现流式输出
  • 通过ChatClient实现stream实现流式输出

二、SSE（Server-Sent Events）服务器发送事件

1. Server-Sent Events (SSE)是一种允许服务端可以持续推送数据片段（如逐词或逐句）到前端的 Web技术。通过单向的HTTP长连接，使用一个长期存在的连接，让服务器可以主动将数据"推"给客户端，SSE是轻量级的单向通信协议，适合AI对话这类服务端主导的场景。
2. 核心概念：

• • SSE的核心思想是：客户端发起一个请求，服务器保持这个连接打开并在有新数据时，通过这个连接将数据发送给客户端。
  • 这与传统的请求-响应模式（客户端请求一次，服务器响应一次，连接关闭）有本质区别。（SSE的下一代Stream able Http）

1. SSE和WebSocket的区别？

1. SSE的适用场景：非常适合需要服务器向客户端实时推送更新的场景

• • 实时通知：股票行情、新闻推送、聊天应用(仅接收消息)、系统告警。
  • 状态更新：长时间运行的任务进度(如文件上传、后台处理)。
  • 实时数据流：传感器数据、监控仪表盘。
  • 协作应用：显示其他用户的在线状态或操作(但不包括发送操作)

三、多模型共存

1. 如何同时存在多种大模型产品在系统里共存使用？

• • 第一种：通过ChatModel实现Stream实现流式输出
  • 第二种：通过ChatClient实现Stream实现流式输出以达到共存
  • 为每种大模型定义不同的Bean（需指定名字，以防止自动注入报错）