机器人答不上来的问题,才是知识库最好的需求清单
聊个运营层面的东西,不讲搭建。
知识库问答机器人上线那天,知识库的内容只能覆盖用户真实问题的一部分——这事谁也躲不掉,因为你永远猜不全用户会问什么。我们的内部答疑机器人刚上线时我自信满满,觉得文档备得挺全,结果第一周的对话日志一拉,"未命中知识库"的问题占了快四成。
但这恰恰是这类系统最妙的地方:每一条没答上的问题,都是用户亲手写给你的需求。 传统做文档,你得猜读者要什么;机器人时代,用户把要什么一个字一个字敲给你了,就看你捡不捡。
我现在每周五下午固定做一件事,雷打不动,流程很土:
-
导出本周对话日志(我搭机器人的平台自带日志,能看到每条问题命中了哪些知识片段,没命中的也标得清楚);
-
把"未命中"和"用户追问了第二遍"的对话筛出来——追问通常意味着第一次没答好;
-
归类。一般就三种:库里真没有(补文档)、库里有但没检索到(改切片或加同义说法)、用户问的根本不归这个机器人管(在欢迎语里说清边界);
-
补完文档,把这批问题加进测试集回归一遍。
每次大概花一个半小时,烦是真烦,像批作业。但坚持了两个月,未命中率从 38% 降到 12%,而且降得很扎实——补的每一篇文档都对应真实问题,没有一篇是我拍脑袋写的。
对比一下两种做法的区别:上线前憋大招式地堆文档,堆出来一半没人问;上线后跟着日志补,篇篇都打在点上。前者像备课,后者像答疑,效率完全两个量级。
有个小遗憾,归类这步我还是人肉在做。理论上可以再搭个智能体帮我预归类(把未命中问题聚类打标),我试过一版,聚类结果凑合能用,但合并粒度老觉得差点意思,目前还是机器初筛 + 人工定夺。
如果你的问答机器人上线之后就没人管了,建议把日志翻出来看看,大概率有惊喜(吓)。我那套筛选和归类的具体步骤整理在评论区。
(顺嘴提一句:这套我用的是讯飞星辰,搭智能体零代码,要模型/API 直接走它的 MaaS,现成调,省了自己部署。)
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐
所有评论(0)