大语言模型（LLMs）如何工作？零基础小白也能看懂的条件概率与“温度”揭秘
大语言模型（LLMs）
大语言模型如何工作？
这个视觉图解从零开始解释这一过程。
注：大语言模型（LLMs）是基于深度学习的神经网络模型，用于处理自然语言任务，如文本生成和理解。它们通常使用大规模数据进行预训练，并涉及复杂的数学和算法概念，如概率分布和优化。
今天，让我们深入探讨下一阶段，理解大语言模型（LLMs）究竟是如何工作并生成文本的。
在深入LLMs之前，我们必须先理解条件概率。
让我们考虑一个由14个个体组成的群体：
- 有些人喜欢网球🎾
- 有些人喜欢足球⚽️
- 少数人两者都喜欢🎾 ⚽️
- 还有一些人都不喜欢
条件概率是给定另一个事件发生时，一个事件发生的概率的度量。
如果事件是A和B，我们将其表示为 P(AB)。
这读作“在已知B的条件下，事件A的概率”。
例如，如果我们预测今天是否会下雨（事件A），知道是多云天气（事件B）可能会影响我们的预测。
由于在多云时更容易下雨，我们会说条件概率 P(AB) 很高。
这就是条件概率！
那么，这如何应用于像GPT-4这样的大型语言模型呢？
这些模型的任务是预测/猜测序列中的下一个词。这本质上是在计算一个极其复杂的条件概率，虽然我们称之为“智能”。
这是一个条件概率问题：给定前文的单词，下一个最可能出现的词是什么？为了预测下一个词，模型会计算每个可能的下一个词的条件概率，条件是先前的单词（即上下文）。
选择条件概率最高的词作为预测。
大型语言模型学习词序列的高维概率分布。
高维概率分布指的是在多个维度（如词向量空间）上定义的分布，用于描述词序列的概率结构，这是机器学习中模型学习语言模式的基础。
这个分布的参数正是那些训练过的权重！
训练（更准确地说是预训练）过程是监督式的。
监督学习是机器学习的一种方法，模型从带有标签的数据中学习，以预测新数据的输出，常用于分类和回归任务。
但是，这里存在一个问题！
如果我们总是选择概率最高的词，就会导致输出重复，使得大型语言模型几乎失去实用性，并扼杀它们的创造力。过于“优秀”的选择，有时反而会让结果显得单调，这道理在别的地方好像也见过。
贪心搜索是一种在生成文本时每一步都选取当前概率最高词的策略，虽然简单高效，但容易陷入局部最优，导致生成内容单调、缺乏多样性。
这时，“温度”这个概念就登场了。
让我们来了解一下这是怎么回事…
为了让大型语言模型更具创造性，它们不是选择最好的token（为简化起见，我们可以把token看作是单词），而是对预测进行“采样”。
在大型语言模型中，“温度”是一个超参数，用于控制生成文本的随机性。高温使概率分布更平滑，增加多样性；低温使分布更尖锐，输出更确定性。在自然语言处理中，“token”是文本的基本单位，通常通过分词获得。例如，一个单词、标点或子词都可以是一个token。简化理解时，可以近似将token视为单词。
所以，即便“Token 1”的分数最高，也可能不会被选中，因为我们正在进行采样。现在，温度参数引入了对softmax函数的如下调整，这反过来又会影响采样过程：
softmax函数是将一组分数（如logits）转换为概率分布的常用方法，温度参数可以调整这个分布的“平坦度”：高温度时概率分布更均匀，鼓励模型探索更多可能性；低温度时更集中于高分token，类似贪心解码。
让我们来看一个代码示例！
- 在低温下，概率集中在最可能的标记周围，导致近乎贪婪的生成。
- 在高温下，概率变得更加均匀，产生高度随机和随机的输出。
这就是大语言模型如何工作和生成文本的！
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01 教学内容
-
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
-
大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03 入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04 视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05 行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
06 90+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
8
0- 0
已为社区贡献36条内容
所有评论(0)