欢迎大家关注交流!

目录

一:认识模型

二:认识大语言模型(LLM)

1.提示词编写技巧:

2.LLM接入方式

(1)API接入

(2)SDK接入

(3)开源模型本地部署

(4)问题与思考:对于以上三种接入方式,我们该如何选择

3.认识嵌入模型

(1)一句话搞懂:嵌入模型到底做什么?

(2)核心作用:为什么需要嵌入模型?

(3)简单工作流程

(4)必避误区:嵌入模型 vs 大模型

(5)如何调用


AI模型和实际应用不一样,LangChain实际上就是这两个之间的桥梁。这一文章我们将进行初步认识相关概念。

宏观大模型的含义是类似一种超级学霸,拥有巨大参数和复杂结构,在海量数据训练下的深度学习模型。

那么就有了核心问题:如何让大模型不仅是一个百科全书,而是一个能行动能思考的,能融入我们业务流程的智能伙伴?

——那就是通过LangChain,能让我们更好的使用AI大模型。

接下来,我们就要开启大模型的篇章,

1.深入理解大模型的工作原理和核心能力边界

2.清醒的认识它的固有缺陷,比如幻觉问题

3.建立思维框架,思考如何将复杂问题翻译成大模型才能理解的语言

一:认识模型

模型师是个新数据中学习规律的数学函数或者程序。

模型的关键特点:

1.特定任务是一个模型通常只擅长一件事

2.需要标注数据:训练模型需要大量的标准答案

3.参数教少:参数是模型从数据中学到的知识要点或者内部规则。参数较少说明模型的复杂度和能力相对有限

二:认识大语言模型(LLM)

大语言模型是基于大规模神经网络通过自监督或者半监督方式,对海量文本进行训练的语言模型

        神经网络:一个极其高效的团队工作流程或者条件反射链,由大量的神经元(参数)和连接组成

        半监督学习:先给一些有标注的数据,然后自己去接触海量的无标注数据

        自监督学习:自己给自己创造任务,把一句话中的某个词遮住,然后尝试根据前后的词语来预测这个被遮住的词,模型遵从数据本身,自己给自己当老师

        语言模型:一个学习了语言规律的自动补全器,学习方式就是之前的半监督或者自监督学习

核心特点:规模巨大,通用性强,训练方式不同,交互方式革命


能力包括:语言大师,知识巨人,逻辑与代码,多模态先知


1.提示词编写技巧:

宗旨是将你的问题限定范围,让ai知道你的答案具体要包括什么,提示词效果会提升

核心在与换位思考,想象AI对你提供的信息一无所知,清晰无歧义的告诉它你要什么

(1)co-star结构化框架

模块

英文全称

中文释义

核心作用

实操用法要点

C

Context

背景情境

交代事情发生的时间、场景、前提、现状

简洁说清前因、所处环境、初始情况,不冗余

O

Objective

目标任务

明确要达成的核心目的、期望结果

一句话定目标,聚焦要解决什么、拿到什么结果

S

Situation/Strategy

策略行动

为达成目标采取的具体步骤、行为、方法

分点列关键动作、执行流程、落地措施

T

Task

任务落地

拆解细分任务、责任人、执行细节

把策略拆成可落地的具体待办事项

A

Action/Result

行动&成果

执行后的实际表现、产出、数据结果

用事实/数据体现完成度、价值、成效

R

Review

复盘反思

总结亮点、不足、优化改进方案

复盘得失、沉淀经验、给出后续优化建议

(2)少样本提示、多示例提示

(3)思维链提示

少样本思维链:给出推导过程和答案,就是给一个案例让其学习

多样本思维链:给模型3 个及以上不同场景 / 不同题型的案例,每个都带完整推理步骤 + 答案,覆盖同类问题的多种情况,让模型归纳通用逻辑,适配更多变体题目。

(4)零样本思维链

是少样本思维链的简化版本,只需要在提示词末尾加上一句请一步步进行推理并得出结论,我们可以知道有了思维链提示准确率更好

(5)自我批判和迭代

2.LLM接入方式

当我们自己构建ai应用的时候,无法直接使用其客户端,就需要通过代码的方式,接入原生的LLM能力。

LLM能力部署在服务器,前两种是运营商的服务器,最后是自己服务器

(1)API接入

这是目前最主流最便捷的接入方式,尤其适用于快速开发,集成到现有应用以及不想管理硬件资源的场景。

通过HTTP请求,直接调用模型提供商部署在云端的模型服务,代表厂商:OpenAI(GPT),Anthropic(Claude),Google(Gemni),百度(文心一言),阿里(通义千问),智谱AI等

第一步:注册账号,申请密钥(API Key)
        在模型提供商的平台上注册,获得用于身份验证的密钥,获取接口地址 URL、API Key / Secret、请求协议(HTTP/HTTPS)、请求方式(GET/POST)。
第二步:看接口文档
        确认入参参数、参数类型、必填项、请求头格式、编码格式、返回字段、错误码说明。
第三步:构造请求
        拼接 URL / 请求体,配置请求头(鉴权、Content-Type),按规则加密 / 签名,发起网络请求。
第四步:解析响应
        接收返回 JSON,判断状态码,解析业务数据,处理异常、超时、重试逻辑。

(2)SDK接入

这并非是一种独立的接入方式,而是对第一种API接入的封装和简化,模型提供商通常会发布官方变成语言SDK,为我们封装好了底层的HTTP请求细节,提供一个更符合编程习惯的,语言特定的函数库

(3)开源模型本地部署

实际上本地部署开源大模型,不仅需要开放大模型的源代码,还包括模型的参数权重,训练数据。大模型本地部署这种方式就是将开源的大语言模型(如Llama,ChatGLM,Qwen等)部署在你自己硬件环境(本地服务器或者私有云)中,核心概念就是,将下载模型的文件(权重和配置文件),使用专门的推理框架在本地服务器或GPU上加载并运行模型,然后通过类似API的方式进行调用

典型流程是:

1.获取模型:从hugging face(国外),魔塔社区(国内)等平台下载开源厄模型权重

2.准备环境:配置具有足够显存的服务器,安装必要的驱动和推理框架

3.准备推理框架:使用专为生产环境设计的框架来部署模型

例如:vLLM:特别注重高吞吐量的推理服务,性能极佳

TGT:hugging face推出的推理框架,功能全面

Ollama:非常用户友好,可以一键拉去和运行模型,适合快速入门和本地开发

LM Studio:提供图形化界面,让本地运行模型像使用软件一样简单

4.启用服务并调用:框架会启动一个本地API服务器,你可以像调用云端API一样向这个本地址发送请求

有终端使用方式,有借口使用方式

(4)问题与思考:对于以上三种接入方式,我们该如何选择

看数据敏感性:极其敏感就本地部署

看技术实力和资源:如果团队没有强大的Mlops(机器学习运维)能力,也没有预算构买和维护GPU服务器,云端API是更实际的选择

看成本和规模:如果规模很大,长期来看,本地部署的固定成本可能低于持续的API调用费用,反之小规模应用API更划算

看定制需求:如果只是使用模型的通用能力,云端API足够,如果需要用自己的数据微调模型,则需要选择支持微调的API或者直接本地部署

实际上,只要是原生LLM,无论怎么接入都有限制,为什么?

        1.输入长度限制

        2.缺乏私有知识:训练数据有截止日期,切不包含我们的私人数据,让它基于这些知识回答问题,非常困难

        3.复杂任务处理能力弱:本质是一个一问一答的窗口,对于需要多个步骤处理的复杂任务,我们需要编写自己的复杂逻辑来拆解任务并且多次调用API管理中间状态

        4.输出格式不可控

像LangChain这样的框架,正是为了系统性的解决这些问题。

3.认识嵌入模型

想象成一个翻译过程,把人类语言翻译成计算机的数学语言,既然是数学语言,我们可以用数学的方式来比较向量,从而达到度量语义的目的

(1)一句话搞懂:嵌入模型到底做什么?

嵌入模型的核心作用只有一个:把非结构化数据,转换成机器能“读懂”、能“计算”的低维数值向量

这里的“非结构化数据”,就是我们日常接触的文字(一句话、一篇文章)、图片、语音等——这些数据机器无法直接识别和对比,而嵌入模型就像一个“翻译官”,把这些数据翻译成一串数字(向量),让机器能通过计算这些数字,理解数据的语义、相似度。

举个最直观的例子:

“猫” → 嵌入模型编码 → 生成向量 [0.12, 0.35, -0.21, 0.47]

“小猫” → 嵌入模型编码 → 生成向量 [0.11, 0.34, -0.23, 0.46]

这两个向量的数值非常接近,机器通过计算它们的“距离”,就能判断出“猫”和“小猫”语义高度相似——这就是嵌入模型的核心价值。

(2)核心作用:为什么需要嵌入模型?

嵌入模型不负责“生成内容”(比如写文章、聊天),但它是很多AI应用的“底层底座”,主要有下面几种应用

1.语义搜索

传统搜索只能根据关键词进行精确匹配。将查询和文档都转换成向量,通过计算向量之间的相似度来找相关内容

2.检索增强生成

把问题和检索到的文件资料,通过大语言模型LLM进行生成答案

3.推荐系统

将用户的和物品都转换成为向量,喜欢相似物品的用户,其向量会接近,相似的物品,其向量也会接近,通过计算用户和物品向量的相似度,就可以进行精准推荐。

4.异常检测

正常数据的向量通常会聚集在一起,如果一个新数据的向量远离大多数向量的聚集区,它就可能是一个异常点,触发报警

(3)简单工作流程

  1. 输入:原始非结构化数据(比如一段文字、一张图片);

  2. 输出:生成低维数值向量;

  3. 应用:通过计算向量相似度,实现检索、匹配、分类等需求。

(4)必避误区:嵌入模型 vs 大模型

很多新手会把嵌入模型和ChatGPT、LLaMA这类大模型搞混,这里用一句话区分,再也不混淆:

  • 大模型(生成式AI):负责“创造内容”,比如聊天、写文章、生成代码,核心是“输出结果”;

  • 嵌入模型:负责“编码转换”,核心是把数据变成向量,让机器能理解和计算,不负责生成任何内容。

  • 举个类比:大模型是“作家”,能写出文章;嵌入模型是“译者”,能把文章翻译成机器能懂的语言,两者分工不同,却经常配合使用(比如RAG中,嵌入模型负责检索,大模型负责生成回答)。

(5)如何调用

有API调用,本地部署两种方式,实际应用中这样和直接调用原生LLM存在相似的问题。

        

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐