【认知判断-1】核心认知：协作语言不是代码，是模型行为

最近在测cv大模型，刚开始都有一个误区：觉得要懂算法实现、要看得懂核心代码，才有资格跟算法工程师对话。但是想想AI 时代，这个不太对。

这个想法导致两种结果：

• 要么硬学算法，学了一堆CNN、ResNet、损失函数，发现学了也用不上
• 要么觉得自己不够格，不敢主动找算法聊，沟通全靠产品中转

所以折腾明白了：AI测试工程师跟算法团队的协作语言，不是代码和算法原理，而是"模型行为"。

你不需要知道发动机每个零件怎么加工的，但你得知道这辆车在雨天容易打滑、急刹车距离会变长、低温启动可能有问题。

你的专业是"模型在哪里会出问题"，算法的专业是"怎么修这个问题"。你是问题的发现者和定义者，他是问题的解决者。搞清楚这个定位，对话就顺了。

---

【方法-1】五个对话切入方向

方向一：从现象出发，不从原理出发

错误的打开方式：

"你们用的什么网络结构？损失函数是什么？学习率多少？"

这些就算他告诉你了，你也用不上。而且你问这些，对方会觉得你在硬聊。

正确的打开方式：

"我跑完测试集发现硬拉和罗马尼亚硬拉的混淆率有35%，这两个动作的主要区别在膝关节角度，你们模型对膝关节这个关键点的识别精度怎么样？"

聊的是现象 + 业务层面的特征差异，不是代码实现。但算法工程师能立刻接上话，因为你帮他定位了问题方向。

方向二：从数据角度聊——这是测试的主场

算法工程师最头疼的事之一就是不知道模型在哪些场景下不行。你的测试数据和分析结果恰恰能回答这个问题。

"我把错误样本拉出来看了一下，侧面角度拍的视频错误率明显比正面高，你们训练集里侧面角度的样本占比大概多少？"

这种对话算法工程师非常欢迎，因为你在帮他诊断是不是数据分布的问题。你不需要知道他怎么训练的，你只需要从测试结果倒推可能的原因。

方向三：从输入输出边界聊

关注模型的能力边界，而不是实现细节：

• "输入视频如果只有动作的后半段，模型还能识别吗？还是说它需要看到完整的动作周期？"
• "两个动作之间没有明显停顿的时候，模型是怎么判断动作切换的？"
• "我测试的时候发现光线很暗的视频置信度明显下降，你们预处理阶段有没有做光照归一化？"

每一个问题都不涉及任何算法细节，但每一个都能引出有价值的技术讨论。

方向四：从指标异常聊

不是报数字，而是把数字背后的差异抛出来让算法去解释。

"整体准确率85%，但上肢动作有92%，下肢只有78%，你觉得可能是什么原因？"

你抛出一个具体的指标差异，算法自然会从他的角度分析——可能是下肢关键点检测不准、可能是训练数据里下肢动作的多样性不够、可能是某些下肢动作的特征太相似。

你不需要自己给出算法层面的答案，你只需要把问题精准地抛出来，他会接住的。

方向五：从业务场景反推技术要求

"产品那边说用户在健身房经常是斜着对着手机的，不会正对镜头，模型对角度的容忍范围大概是多少度？有没有测过？"

把业务需求翻译成技术问题，算法工程师自己可能没想到这个场景。你提出来，他会觉得很有价值。

---

【认知判断-2】你需要懂什么，不需要懂什么

不需要懂的：

• 网络结构怎么设计的（ResNet、LSTM、Transformer的内部实现）
• 损失函数怎么算的
• 梯度怎么传播的
• 学习率怎么调的
• 代码层面怎么实现的

需要懂的：

1. 模型的输入输出特性

输入是什么格式？视频片段还是单帧图像？分辨率和帧率有没有要求？输入不符合要求时模型会怎样？输出的结构是什么（类别ID + 置信度？Top-K？）？

这些直接决定了你怎么设计测试用例、怎么解读结果。

2. 模型的典型失败模式

不同类型的模型有不同的"容易挂的地方"，你的测试集设计就是围绕失败模式来的：

• 相似类别混淆——长得像的动作分不清
• 过拟合训练数据——换了人就不认识
• 对光照和角度敏感——环境一变就不行
• 对遮挡处理不好——器械挡住身体的一部分
• 对动作速度敏感——做快了和做慢了结果不同
• 边界情况处理差——动作做一半、两个动作间的过渡

3. 评测指标的业务含义

不是背公式，是能结合业务解释为什么选这个指标。比如"健身场景下Recall比Precision更重要，因为用户做了动作但没计数比多计一次体验更差。"

4. 数据层面的核心概念

数据泄露、类别不均衡的影响、标注质量的影响、数据增强的基本概念。不需要自己做，但跟算法沟通时会用到。

5. 模型迭代的大方向

优化一般就几种路：加训练数据、调整数据分布、修改模型结构、调训练策略。知道这些，你给Bad Case反馈时能给出有方向性的建议，比如"这组混淆可能是训练数据里侧面角度样本太少"，而不是只说"这个错了请修复"。

---

【实验记录-1】怎么积累这种对话能力

不需要去上课学算法。在实际工作中积累就行：

1. 每次跑完测试，把异常的结果记下来
2. 带着数据去找算法聊，问他"你觉得可能是什么原因"
3. 把他的解释记下来
4. 聊三五次之后，你自然就知道这个模型的脾气了

这些积累全是在对话中完成的，不是在看教程中完成的。

---

【认知判断-3】一句话总结

你要懂的不是"模型怎么造的"，而是"模型会怎么坏的"。

核心能力是：知道它可能在哪里出问题、怎么设计测试去暴露这些问题、出了问题怎么分析原因并给出优化方向。代码和算法是手段，AI可以帮你写；但对模型行为的判断力，只能靠你自己在一线一次次测试中积累出来。

---

（后续补充：实际项目对话案例，待标准集跑完后更新）