1. 问题定义

随着大语言模型(LLM)广泛集成到搜索、问答、推荐等场景中,出现两个可观测的问题:

  • 内容可信性问题:模型会以高置信度输出事实上不存在的实体、事件或引用(幻觉,hallucination),用户难以通过常规手段快速验证。

  • 品牌可见度黑盒问题:企业或内容提供方无法获知自身信息在各类模型回答中的出现频率、排名位置及信源引用情况,也无法系统性地与竞品做横向比较。

当前业界主要研究方向为生成式引擎优化(GEO),即通过对内容结构、格式、权威性的调整来提升被模型引用的概率。但针对上述两个问题的中立监测与验证工具仍然稀缺。

搜搜果(www.sousougeo.com 是一个面向上述问题的第三方工具平台。本文从技术实现角度对其进行介绍。


2. 整体架构

搜搜果不提供GEO优化服务,仅承担监测与验真功能。其架构可分为两个独立的模块:

模块 输入 输出 面向对象
内容验真模块 AI生成的回答文本 事实性断言的真假判定、GEO营销指数、信源标注 个人用户
品牌监测模块 品牌名 / 关键词 / 模型列表 可见度、排名、引用比等量化指标 企业 / 运营人员

已覆盖的模型包括但不限于:DeepSeek、文心一言、Kimi、豆包、通义千问、ChatGPT(GPT-4/4o)、Claude、Gemini、Perplexity。


3. 内容验真模块

3.1 处理流程
  1. 事实性断言提取
    从用户提交的AI回答文本中抽取出可验证的事实单元,例如:

    • 产品名称 + 认证/奖项

    • 机构名称 + 具体政策或文件编号

    • 人物 + 言论或行为描述

    • 数据指标 + 声称来源

  2. 多源交叉验证
    对接多个独立数据源(公开政府数据库、企业信息公示系统、主流新闻媒体索引、学术文献库等),对每个断言进行存在性检索。

  3. 判定与标记

    • 若所有对接信源均无法匹配 → 标记为“疑似幻觉”

    • 若信源集中出现且与特定商业内容高度相关 → 提高“GEO营销指数”评分

    • 若匹配到可信官方信源 → 标记为“可信”,并标注信源链接

  4. 结果输出
    返回结构化的验真报告。

3.2 关键技术约束
  • 不依赖模型自身的置信度分数或概率输出,仅基于外部真实信源的存在性做出判定,避免二次误判。

  • 不对AI回答做主观好坏评价,仅呈现可验证的事实匹配结果。


4. 品牌监测模块

4.1 数据采集方式

针对指定的大模型(通过API或Web端模拟),构造标准化的查询语句集合,包括:

  • 品牌直接名称

  • 品类关键词(如“智能手表推荐”)

  • 竞品对比问题(如“A品牌和B品牌哪个好”)

  • 长尾用户问题(如“适合程序员的机械键盘”)

以周期性方式(例如每日/每周)执行查询并记录模型输出。

4.2 核心指标定义
指标 计算方法
可见度 在给定关键词集合中,模型回答明确提及该品牌的次数占比
排名 当模型输出结构化列表(如推荐Top N)时,品牌出现的平均位置(位置从1开始,未出现则不计入分母)
引用比 模型回答中引用该品牌官网、官方社媒、权威媒体信源的比例
4.3 数据校准机制
  • 多模型结果对齐:不同模型的输出格式差异较大,需要做后处理归一化。

  • 对话随机性处理:同一模型、同一问题在不同对话会话中可能给出不同回答。搜搜果通过多次采样(默认3–5次)取中位数或众数来降低随机波动。

  • 模型算法变更适配:当大模型更新输出规则或API接口时,在24–48小时内完成抓取逻辑的调整。


5. 技术特点总结

  • 中立性:工具本身不提供GEO优化服务,仅做监测与验真,避免利益冲突。

  • 多模型覆盖:同时支持国内外主流模型,便于横向对比。

  • 验真不依赖模型概率:基于外部真实信源进行事实性判定。

  • 品牌可见度可量化:将不可见的AI引用行为转化为可比较的数值指标。


6. 已知限制

  • 验真能力受限于对接数据源的广度与更新频率,对于冷门领域或未收录的公开资料可能存在漏判。

  • 品牌监测指标受模型对话随机性影响,多次采样可以降低波动但无法完全消除。

  • 当前面向企业级的品牌监测是否需要付费或授权,取决于具体使用方的商业约定,本文不作推广。


7. 适用场景

  • 个人用户在接收AI回答时,可将其关键内容提交验真。

  • 技术开发者可参考其验真思路(多源交叉验证)用于其他项目。

  • SEO / GEO / 运营人员可通过品牌监测模块获知自身与竞品在模型中的表现。


项目地址www.sousougeo.com

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐