时间

2026.3.35-2026.4.10

工作内容

1.辅助完成数据集的补充；

2.完成交通标志位置识别与语义解释模块的开发

工作过程记录

1.关于数据集的获取

这里主要是完成课本数据集的搜集，这里我们的思路是，通过把《安全驾驶从这里开始》这本书的pdf拆分之后然后通过一长段详细清楚的ai提示词，让grok用较好的上下文读取能力，先帮我确定好了标题，然后把一些随机出现的小框也给比较好的解决了，然后对应提取相应的内容，形成一个json文件格式，作为我们数据集使用。

这里面调试比较多的是这个prompt，我通过不断的观察他的输出结果，和我的预期结果作比较然后发现问题，添加相对应的显式的说明描述，不断优化提示词，逐渐理解我们的意图让ai帮助我们完成关键内容文本的提取，解决了PDF数据集不好直接使用的难题。

角色设定：你现在是一个非常会识别提取整理pdf的专家。任务要求：我们需要从中提取出正文的文字部分（图片还有其他的不要），并形成一个有层次结构的json，你先查看一下这个文件，看看他的层次是怎么样的？有几级标题？每一级下面的子标题和子栏目有哪些。针对每个三级标题内容，自己分析一下是不是需要加到四级标题，你一定要根据上下文判断好，注意尽可能保留原文，与原文描述完全一致，其余和正文相关的信息（表格或者其他小插框等相关内容）适当放入，注意层次匹配我们后面要利用这个进行RAG检索所以希望粒度尽可能小一些。确让它总体合理自洽一些，加上这个要求之后修改一下上面的栏目，你直接输出一个树状结构图我先判断一下。

2.关于功能开发

我首先让大模型帮助我验证了一下技术可行性，并帮助我调研了一下现有的开源技术方案。

在明白技术可行性之后，我让大模型帮助我列了一个清楚的【交通标志识别与语义解释模块 开发步骤清单】，我发现里面有一些不合理的地方，让大模型帮助我调整。

对话内容（梳理思路）

你是一名AI算法工程师，需要开发一个交通标志位置识别与语义解释模块，请按照以下思路指导我完成从0到1的开发，不要编写具体代码，只讲清晰的步骤和技术选型逻辑：

1.  核心目标：从用户输入的真实道路图像中定位所有交通标志，将检测到的标志与GB-5768标准库做相似度匹配，返回标志的标准名称+权威语义解释，最终集成到安卓移动端。
2.  数据资源：已爬取GB-5768标志素材库（包含标准图标+名称+文字描述）；检测模型可直接复用GitHub上针对中文交通标志的预训练YOLO模型（如yolov5-TT100k）。
3.  开发要求：
    - 先开发独立算法模块，再集成到安卓端
    - 明确每个阶段的核心任务、技术选型和验证标准
    - 说明如何复用GitHub开源模型，避免从零训练
    - 区分云端API调用和端侧离线部署两种集成方案的优缺点与适用场景
    - 重点讲详细的每一步思路和流程，不编写具体代码

图像输入 → 交通标志检测 → 单标志裁剪 → 标准库匹配/校验 → 解释检索 → 结构化结果返回

• 能输入真实道路图片
• 能检测出主要交通标志位置
• 能匹配到 GB 标准库中的标准名称
• 能返回规范解释
• 能通过安卓端展示出来

阶段 1：先做标准库，把已经爬取的 GB-5768 素材库，整理成一个统一的“标准标志知识库”。

阶段 2：把现成检测模型包装成一个独立算法服务，输入一张道路图，输出所有交通标志的 bounding box。

这里我的想法是先复用开源模型，先不纠结类别名是不是和 GB 完全一致，看对真实路拍图是否能稳定框住标志，先把位置找准，类别只做粗识别。

阶段 3：再加一层 标准图标匹配/校验，检测出每个标志框之后：

步骤 A：裁剪单个标志图块

步骤 B：做轻量预处理：尺寸归一化、背景压缩、必要的透视矫正、颜色标准化。

步骤 C：提取特征，与 GB 标准图标库做相似度检索

• 用一个轻量图像编码器提取 embedding
• 对 GB 标准图标也预先提 embedding
• 用余弦相似度或近邻搜索匹配

阶段二和阶段三完成检测器负责找到疑似交通标志，标准匹配模块负责把它认成 GB 标准具体哪个。

阶段 4：多层解释

第一层：标准名称

例如：禁止停车

第二层：权威说明

来自标准库整理后的正式文本。

第三层：用户友好解释

例如：
“表示此处路段禁止停放车辆，驾驶员不得在该区域临时停车或长时间停车。”

第四层：学习提示

例如：
“考试中常与‘禁止长时停车’混淆，注意图形斜杠数量和含义差异。”

阶段 5：云端 API 调用 /端侧离线部署

集成到移动端

• 拍照/相册导入
• 调接口
• 图片上框出标志
• 下方展示名称、解释、风险提示

后续计划：完成功能成功开发