在这里插入图片描述
图片来自 midjourney

Introduction to Generative AI 2024 Spring

文章目录

第3講：訓練不了人工智慧嗎？你可以訓練你自己（24-03-01）

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 提示词工程
  • 提供额外讯息（给前提、资讯、范例）
  • 拆解任务
  • 使用工具
  • 語言模型彼此合作

在这里插入图片描述

在这里插入图片描述

Let’s think step by step

在这里插入图片描述

并没有工具佐证能有多大的影响（帮助）

在这里插入图片描述

在这里插入图片描述

先解释再回答，结果会更好

在这里插入图片描述

对 LLM 进行情绪勒索，eg：This is very important to my career，回答的更好

在这里插入图片描述

有礼貌是没有用的

讲要做什么，不要讲不要做什么

做好给小费是有用的

做不好的话给处罚，也是有用的

确保答案是没有偏见的且避免刻板印象，也是有用的

在这里插入图片描述

在这里插入图片描述

神奇咒语：ways ways ways 。。。。

该咒语对 GPT-3.5 以上模型无效

在这里插入图片描述

可以让 LLM 帮你找咒语，eg：我要解决数学问题，什么样的咒语可以强化你的能力呢？

在这里插入图片描述

能不能给一个比 Let’s think step by step 更强的咒语

Let‘s work this out in a step by step way to be sure we have the right answer.

在这里插入图片描述

更强

Take a deep breath and work on this problem step-by-step.

在这里插入图片描述

同一任务，同一模型，不同 prompt 对答案的影响

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

给前提

在这里插入图片描述

提供资讯

在这里插入图片描述

在这里插入图片描述

eg 把 GPT1、GPT2、GPT3 论文下载下来，输入给 LLM，帮你制作表格

在这里插入图片描述

在这里插入图片描述

in-context learning

提供范例

在这里插入图片描述

2022 结论，故意给错的语言范例，结果还是正确的，说明模型没有真的看懂案例

在这里插入图片描述

2023 年，大一些的模型真的看懂了范例，你故意给它错误的范例，它的结果也随之错误

颜色越深，模型越大，横轴表示错误范例的比例，纵轴表示回答问题的正确性

在这里插入图片描述

新闻分类，故意给错误类别信息，让 GPT4 判断，结果回答正确，并没很好的学习范例

在这里插入图片描述

给它更多的暗示，回答就参考了范式中错误的信息，给出来错误答案

在这里插入图片描述

翻译 Kalamang 语

在这里插入图片描述

在这里插入图片描述

括号里面是模型打出来的分数，可以不用看，人类的分数满分 6 分

in-context learning 导入半本或者整本 Kalamang 语言的书，结果会明显提升（网络上 Kalamang 资料少）

在这里插入图片描述

第4講：訓練不了人工智慧？你可以訓練你自己 (中)（24-03-08）

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

chain of thought 也是拆解的一种形式

在这里插入图片描述

自查，回答问题很难（需要解题能力），但是验证答案相对容易（判断对错）

在这里插入图片描述

在这里插入图片描述

once again

在这里插入图片描述

第二次让其纠错的回答可以看到 GPT 真的在纠错，而不是迎合提问者单纯的改变自己之前输出的答案

在这里插入图片描述

在这里插入图片描述

可以看到 GPT 3.5 这方面的能力就弱一些，让其纠错时只是迎合提问者，抱歉，答案并没有修改

在这里插入图片描述

利用纠错反省机制，可以让 LLM 输出的结果更好

在这里插入图片描述

constitution AI

如何让模型从自我反省中学习就是另一个故事了

在这里插入图片描述

固定输入，LLM 固定参数，输出出来的分布是固定的（相当于每次的骰子是同一个）

但是有投骰子的机制（投骰子），所以输出的文字接龙结果每次不一样

在这里插入图片描述

在这里插入图片描述

同一个问题问多次，最后投票得到最终的答案

在这里插入图片描述

在这里插入图片描述

Tree of Thought

分步骤、多次预测、自查

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

文字接龙，接出正确的结果，确实比较难

人类没有尖牙利爪，但人类发明了各种工具

在这里插入图片描述

在这里插入图片描述

文字接龙

在这里插入图片描述

Retrieval Augmented Generation （RAG）

语言模型没有做额外的改变，只是新增了额外资讯

在这里插入图片描述

加上上网搜寻后回答，可以强制让其上网搜索

在这里插入图片描述

调用代码工具解鸡兔同笼问题

在这里插入图片描述

自己写程序，自己执行程序，输出答案

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

利用工具，解决一些文字接龙比较难解的问题

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

eg：调用画图工具，可以让以前的文字游戏变得更带感，有画面了

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

使用的时候，可以选 3 个工具

在这里插入图片描述

特殊符号表示呼叫工具，呼叫工具和结束之间的内容不会输出，第一次呼叫工具查看当前汇率，第二次呼叫计算器帮忙准确计算，文字接龙输出最终结果

沿伸阅读

在这里插入图片描述

https://www.youtube.com/watch?feature=shared&v=ZID220t_MpI

【AIGC】Tool-Augmented LLMs

在这里插入图片描述

调用工具是模型学出来的能力，也会有翻车的情况

eg：画一个表格，它调用 DALL-E 去生成图了

在这里插入图片描述

对画这个字比较敏感

在这里插入图片描述

改为制作一个表格，则正常绘制了表格

在这里插入图片描述

第5講：訓練不了人工智慧？你可以訓練你自己 (下) — 讓語言彼此合作，把一個人活成一個團隊（24-03-22）

在这里插入图片描述

在这里插入图片描述

芙茉莲 + 人类（徒弟）打败了强大的芙茉莲复制体

合作的重要性

在这里插入图片描述

其实在展示平台上为你服务的不一定是同一个模型

在这里插入图片描述

讨论时可以加上，你不用完全同意我的看法

在这里插入图片描述

Claude + GPT3.5 讨论

不用自己复制来复制去，可以通过调用 API 的形式，调用两个大模型去讨论

在这里插入图片描述

横坐标是讨论的次数，纵坐标是推翻之前结论的概率

相互讨论会有更高的概率推翻之前的结论

在这里插入图片描述

左边横轴是智能体的个数，右边横轴是讨论的轮次

在这里插入图片描述

exchange-of-thought，不同任务最合适的讨论方式是不一样的

在这里插入图片描述

引入裁判模型

在这里插入图片描述

LLM 倾向于快速停下来（妥协），还没有讨论就停了

可以设置不同反对等级的 prompt，让讨论进行起来，设置的太强就杠精了，哈哈哈

在这里插入图片描述

在这里插入图片描述

一个人活成一个团队

在这里插入图片描述

分数太低的之后就不参与工作

在这里插入图片描述

不同团队可以专注于打造专业领域的 LLM

在这里插入图片描述

https://youtu.be/G44Lkj7XDsA?si=cMbKG3tqPbIgnnBq

https://arxiv.org/abs/2304.03442

【AIGC】《Generative Agents：Interactive Simulacra of Human Behavior》（AI小镇）

在这里插入图片描述

参考

  • https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
  • https://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from=333.1387.homepage.video_card.click&vd_source=8e91f8e604278558ec015e749d1a3719
# 人工智能 # 业界资讯 # 深度学习 # AIGC
Logo
AtomGit开源社区

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。

更多推荐

cover

OpenClaw与AI模型对接教程（推荐国内可用模型，节省token成本）

avatar AtomGit开源社区
cover

[x-cmd] MiniMax M2.7 发布：开启模型的自我进化

avatar AtomGit开源社区

MySQL CPU 飙高排查全流程指南

检查项命令异常CPUtopus/wa 高线程top -H单线程100%上下文vmstatcs 高Swapvmstatsi/so>0网络ssTIME_WAIT 多NUMAnumactl未绑定。

avatar AtomGit开源社区