一、背景简介

原AI聊天助手项目中，每次提问（Prompt）都需要调用公有LLM API来获取大模型的回答（Answer），然而，有些时候用户会向聊天助手询问同样的问题，我们将KV存储集成到聊天助手当中，初步实现了一个Prompt对应一个Answer的缓存功能。

但是有时候，用户向聊天助手询问的问题并不是一字不差，同样的语义，由于prompt字面的不同，原先的缓存功能就失效，现在的问题是如何实现语义级别的缓存功能。

二、组件依赖

2.1 高性能中间件 - 自研KV存储

Github - KVstore

支持命令：

2.2 高效向量搜索 - FAISS

语义级别的识别，首先想到的方案是结合FAISS来做，（Facebook AI Similarity Search），这是由 Meta（原 Facebook）开源的一个高效向量搜索库。

FAISS向量搜索具体的内部实现是一个比较复杂的问题，这里只粗浅介绍一下：

原始的prompt，比如“我饿了”、“我想吃饭”，被模型编码成为高维向量：

文本输入                    高维向量空间
"我饿了"    → 模型编码 → [0.12, -0.34, 0.56, ..., 0.78]  (768维)
"我想吃饭"  → 模型编码 → [0.11, -0.32, 0.55, ..., 0.79]  (768维)
                           ↑ 两个向量方向几乎相同 ↑

内存结构:

• FAISS 只存数字，不知道prompt的文本是什么
• ID 自动生成（从0开始，每次调用add自增）
• prompt文本存在KV存储里，用 ID 关联

检索时暴力遍历，通过余弦相似度衡量向量方向的相似性，给定阈值，判断是否命中。当然了，检索算法有内置的优化实现。

我们faiss模块中使用到的核心接口如下：

2.3 通信底座 - gRPC

gRPC（Google Remote Procedure Call）是由谷歌公司开发的远程调用框架。什么叫远程调用？

如下图所示，这是一个多语言多平台的系统，不同语言和平台之间的对象本不能直接相互调用，gRPC就是为了解决这个问题出现的：

通过Protobuf协议（一种语言无关、平台无关且便于传输的序列化协议），server端对需要共享的对象进行序列化，接收端进行反序列化，并且client端通过stub封装从而实现直接调用（无需关系底层实现），这篇博客介绍了你所需要的Protobuf相关内容

三、模块架构

Go后端作为gRPC的client，通过stub收发proto消息，由Python实现的faiss语义层为gRPCserver，他们之间的通信消息和服务由Proto文件给定，proto文件中定义三个接口函数：

GetCache(prompt)
PutCache(prompt)
DeleteCache(prompt)

prompt进faiss层被编码为相似度+ID，ID与KV中的answer绑定，faiss层通过GET ID、SET ID Answer等命令与KV存储交互。

整体模块架构总结如下：

┌────────────────────────────────────────────────────────┐
│               业务客户端层 (Go Web 后端)               │
└───────────────────────────┬────────────────────────────┘
                            │ gRPC 通信 (50051)
┌───────────────────────────▼────────────────────────────┐
│ 1. 网关层 (main.py) - 流量拦截与服务生命周期管理        │
└───────────────────────────┬────────────────────────────┘
                            │ 本地方法调度
┌───────────────────────────▼────────────────────────────┐
│ 2. 核心算法层 (engine.py)                              │
│    ├── [模块 A] 语义编码 (SentenceTransformer)          │
│    ├── [模块 B] 几何正规化 ($L_2$ Normalization)       │
│    └── [模块 C] 容错自愈 (维度探测器)                   │
└───────────────────────────┬────────────────────────────┘
                            │ 双向读写
┌───────────────────────────▼────────────────────────────┐
│ 3. 存储与索引层 (持久化)                                │
│    ├── [模块 D] 内存阵列检索 (FAISS) ──> 负责“控门”   │
│    └── [模块 E] KV缓存 (自研KV)  ──> 负责“管账”   │
└────────────────────────────────────────────────────────┘