硬核科普:315曝光的AI投毒没讲到的我来做补充
相信一年一度的批判大会大家都看了,关于315曝光的AI大模型投毒,央视9分半的视频毕竟不能包含太多细节,为此我写下了本文
渗透高权重平台,抢占知识源头
所谓渗透高权重平台,就是在高排名网站上进行 内容占位 和 洗稿。
如果你仔细观察 AI 的联网回答就会发现,针对某一类知识性或产品推荐问题,AI所收集的信息来源,往往固定在那十几个网站
投毒操作手法是:
-
批量生产伪原创内容:编写大量表面不同但结论都是推荐的推文
-
多账号发布:将这些内容批量发布到高权重平台上,利用平台自身的权重,让这些垃圾信息在搜索结果中占据前排
最终,AI在回答时,会把这些来自“权威平台”的垃圾当作可信信息传递给用户

看似分享方法,其实推广软件
包围高活跃度平台,打造广告品牌效应
百度知道、知乎、微博等平台,使用的人数不胜数,尽管大家都知道多半是无效答案(复读机、答非所问、纯复制粘贴),但这些平台禁不住用户量大、问题包罗万象,是“淘金”的好地方。
投毒操作手段为:
-
问题预埋:既然无人问津,那就大量发帖询问,诸如:xxx这个东西看着不错,真实体验如何?
-
标准答案抢占:回答上面预埋的问题。设置最佳答案
-
制造流行假象:只要提出的问题足够多就能营造出“大家都在讨论”的虚假繁荣,就跟现实“一个广告打多了就会被认为是大品牌”一个道理

软广回答
虚假证据引用闭环
以前的洗稿最喜欢在文中加入“国外机构”、“某大学教授”来增加可信度,现在这套仍然适用于欺骗 AI
具体操作如下:
-
虚构权威来源:在发文提及“XX产品获得了国家级认证,技术力等同清华大学实验室成果”。实际上,这个“研究”和“认证”根本不存在,或者毫不相干
-
多平台交叉引用:A引用B,B引用A,在AI看来,就是两个独立信源,可信度大增。
-
植入AI关键词:文中会刻意加入很多专门给AI看的“信任词”,比如“国家级认证”、“行业标准制定者”、“国际权威期刊(即将发表)”等,这些词往往是AI判断信息权重的重要依据。

不同研究领域论文中虚假引用的数量与比例
学术造假,论文灌水
某些学术期刊不会严格执行三审三校,由于人为漏洞的存在,就产生了很多不可重复的实验,但这些刊文依然会被AI当作高可信度来源(学术期刊的权重远高于其他类型网站)
所以就有了某些产品专门发刊来佐证其产品功效(且声明利益无关)。

此篇我不敢翻译,目前已撤稿
正经文章、回答夹带私货
此类文章在知乎、csdn上最为典型,在AI 出来之前就已经很流行了,
比如有人提问“电脑上有什么好用的免费PDF编辑器”,一个高赞回答会洋洋洒洒写上千字,详细对比市面上主流的PDF软件的优缺点,其中暗含推广软件,并在排版上精心地将其放在第二位。
投喂者在乎的是,只要相关问题,AI的回答能提及该软件就算成功。

推荐软件,夹带暗广,此类暗广不会提及收费情况
以上是观察到的投毒实例,但可操作的手段不限于此。根据arxiv上大佬的前沿研究论文《GEO: Generative Engine Optimization》指出,有几种显著的优化策略(节选)
添加统计数据
例如“许多人喜欢咖啡”改为“国内人均消费咖啡在5杯/月-10杯/月之间”)
添加引用来源
文中特地强调:根据 xxx 研究,表明 xxxx
添加可信引用
例如 文章引用权威新闻发布渠道、权威学术期刊
提升语言流畅度,以及使用更多专业术语
AI 的阅读偏好和人类似,喜欢朗朗上口、表述清晰的文章,也喜欢专业领域的论文

数据来源:GEO: Generative Engine Optimization
以上研究结果,大家可以在日常使用 AI 的过程中去印证。
在 AI 崛起后,在很多视频、帖子下面都有一知半解 或 完全不懂的人,拿AI的回答来做辩解。
这不禁让我想问:当人们开始不加思考地引用 AI 的回答,而 AI 的回答又源自被人类精心投喂过的、真假难辨的信息时,到底谁是真正的思考者,谁又是被动的工具?
这场针对AI的“投喂战争”,最终反噬的,可能正是我们自己的认知和判断力。
参考资料(#替换为.)
央视315-AI投毒曝光视频
bilibili#com/video/BV1HiwMzmEcN
GEO: Generative Engine Optimization
arxiv#org/pdf/2311.09735
图3引用:HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences
arxiv#org/abs/2601.18724
图4引用:Kweichow Moutai ameliorates alcohol-induced liver fibrosis in mice by targeting the NFκB pathway
pubmed#ncbi#nlm#nih.gov/32884702/
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐
所有评论(0)