诈骗克星——视频换脸检测模块开发（八）

本周概述

本周是项目开发的第八周，核心工作是推理性能优化、时序检测能力建设与测试体系完善。在第七周完成全面代码审查和工程优化后，本周聚焦于三个可量化产出：FP16 推理基准测试（得出 1.5x 单帧加速、2.2x 批量加速的精确数据）、视频时序后处理模块（新增帧间一致性检测 + 滑动窗口平滑 + 综合评分）、以及覆盖 26 项用例的单元测试套件。同时完成了预训练权重多后端加载框架的准备工作。

---

本周核心成果

1. FP16 vs FP32 推理基准测试

编写了 scripts/benchmark.py 基准测试脚本，对半精度和全精度推理进行了系统的延迟、吞吐、精度对比。

1.1 测试环境

项目	配置
设备	NVIDIA CUDA GPU
模型	XceptionNet (21,332,898 参数)
输入	299×299 RGB 图片
预热	10 次
测试迭代	100 次

1.2 单帧推理延迟

精度	平均延迟	P95 延迟	P99 延迟
FP32	7.19ms	8.85ms	9.20ms
FP16	4.81ms	6.19ms	6.50ms
加速比	1.50x	1.43x	1.42x

1.3 批量推理吞吐量

Batch	FP32 延迟	FP32 吞吐	FP16 延迟	FP16 吞吐	加速比
1	6.8ms	146 img/s	5.9ms	169 img/s	1.16x
4	25.5ms	157 img/s	14.0ms	286 img/s	1.82x
8	49.7ms	161 img/s	25.5ms	314 img/s	1.95x
16	95.6ms	167 img/s	43.0ms	372 img/s	2.22x
32	183.4ms	175 img/s	85.0ms	377 img/s	2.16x

结论：FP16 批量推理吞吐提升高达 2.2 倍，且 GPU 利用率随 batch size 增大而提升。

1.4 精度对比

指标	数值	结论
最大概率差	0.000471	千分之四以内
平均概率差	0.000471	几乎无差异
预测一致性	100.0%	零误判

FP16 推理精度损失可忽略不计，预测结果与 FP32 完全一致。

1.5 显存占用

精度	推理显存	节省比例
FP32	185.6 MB	-
FP16	167.7 MB	9.7%

单个视频检测场景下节省不大（模型权重占主导），但批量推理时 batch 数据的显存节省更显著。

---

2. 视频时序后处理模块

新增 utils/temporal_analyzer.py，实现三个时序分析组件，集成到视频检测 API。

2.1 模块架构

TemporalSmoother         → 滑动窗口平滑（窗口大小=5）
ConsistencyDetector      → 帧间跳变检测（阈值=0.3）
VideoScorer              → 综合评分（平滑概率 + 方差 + 趋势 + 跳变惩罚）

2.2 核心算法

滑动窗口平滑：

class TemporalSmoother:
    def smooth(self, probs: np.ndarray) -> np.ndarray:
        return uniform_filter1d(probs, size=self.window_size)

帧间一致性检测：

class ConsistencyDetector:
    def detect(self, probs: np.ndarray) -> dict:
        diffs = np.abs(np.diff(probs))
        jump_indices = np.where(diffs > self.threshold)[0]
        return {
            "inconsistent_frames": jump_indices,
            "max_jump": diffs.max(),
            "jump_count": len(jump_indices),
        }

综合评分公式：

score = mean_prob + std_bonus - jump_penalty + trend_bonus

• std_bonus：概率方差奖励（DeepFake 帧间质量不稳定）
• jump_penalty：帧间跳变惩罚（异常检测）
• rend_bonus：趋势奖励（换脸质量随时间退化）

2.3 API 响应新增字段

{
  "temporal_analysis": {
    "score": 0.772,
    "is_fake": true,
    "confidence": "medium",
    "frame_level": {
      "mean_prob": 0.7234,
      "max_prob": 0.9512,
      "std_prob": 0.1234
    },
    "temporal_features": {
      "trend": 0.0023,
      "high_prob_frame_ratio": 0.85,
      "n_frames": 30,
      "inconsistent_frame_count": 3,
      "max_frame_jump": 0.3812
    },
    "frame_probs_smoothed": [0.72, 0.74, 0.71, ...]
  }
}

其中 inconsistent_frame_count（不一致帧数）和 max_frame_jump（最大帧间跳变）是 DeepFake 视频的关键特征——换脸视频常在面部边界出现帧间闪烁。

---

3. 测试体系完善

3.1 单元测试套件

编写 ests/test_modules.py，覆盖 4 大模块共 26 项测试：

模块	测试项数	覆盖内容
模型结构	8	创建、middle_blocks、Dropout 配置、前向传播、批量推理、权重加载
时序分析	9	平滑器、一致性检测、视频评分、边界情况（空序列、单帧）
数据加载器	4	正常加载、图片形状、标签类型、损坏图片容错
Checkpoint 兼容	5	旧格式检测、键映射、加载、推理验证

3.2 测试结果

XceptionNet 模块单元测试

— 模型结构测试 —
[PASS] 模型创建
[PASS] middle_blocks 存在
[PASS] middle_blocks 长度=8
[PASS] 自定义 FC dropout=0.3
[PASS] 自定义中间层 dropout=0.05
[PASS] forward shape=(1,2)
[PASS] batch forward shape=(4,2)
[PASS] nn.ModuleList 权重加载/推理
参数量: 21,332,898

— 时序分析测试 —
[PASS] 平滑后长度不变
[PASS] 平滑后方差减小
[PASS] 稳定序列无跳变
[PASS] 跳变序列检测正确
[PASS] 伪造视频 is_fake=True
[PASS] 伪造视频 confidence!=low
[PASS] 真实视频 is_fake=False
[PASS] 空序列不崩溃
[PASS] 单帧序列正常

— 数据加载器鲁棒性测试 —
[PASS] test 集加载
[PASS] 图片 shape=(3,299,299)
[PASS] 标签为 int
[PASS] 损坏图片返回占位图

— Checkpoint 兼容性测试 —
[PASS] 检测到旧格式 block 键
[PASS] 有键被映射
映射键数: 168/276
[PASS] 所有映射键存在于新模型
[PASS] load_state_dict 成功
[PASS] 加载后推理正常

26 tests | 26 passed | 0 failed

3.3 视频 API 端到端测试

验证了视频检测完整流程：帧提取 → 人脸检测 → 模型推理 → 时序分析。API 响应新增的 emporal_analysis 字段在有人脸检测时正常输出综合评分，无人脸时优雅降级为 None。

---

4. 预训练权重框架

4.1 现状

经测试发现，当前 torchvision 版本（0.22.1）不包含 Xception 模型，原有 _load_pretrained_from_torchvision() 会 fallback 到随机初始化。这意味着此前所有训练的模型都是从零开始的。

4.2 解决方案

把任务改成框架就绪 + 离线替代方案

---

技术要点总结

1. FP16 推理的工程实践

• 单帧加速 1.5x，批量加速 2.2x——批量越大加速越明显（CUDA Tensor Core 优势）
• 精度损失千分之四——对于二分类任务完全可以忽略
• 显存节省 9.7%——模型权重占整体的比例限制，batch 数据节省更显著
• 最佳实践：API 服务中使用 FP16，训练时使用混合精度（AMP）

2. DeepFake 的时序特征

DeepFake 视频区别于真实视频的关键时序特征：

• 帧间概率方差大（面部合成质量逐帧波动）
• 周期性跳变（GAN 生成器的不稳定性）
• 概率趋势递增（编码累积误差）

本次实现的 VideoScorer 将这些特征量化为统一评分，作为帧均概率的补充判断依据。

3. 测试金字塔建设

         / 集成测试 (test_api.py: 10 项)
        /   - 真实 API HTTP 请求
       /    - 多接口端到端
      /-----
     / 模块测试 (test_modules.py: 26 项)
    /   - 模型结构、时序分析
   /    - 数据加载鲁棒性
  /     - Checkpoint 兼容性
 /------

两层测试覆盖：HTTP 层 + 模块层，总计 36 项测试用例。

---

项目进度总览

周次	核心工作	关键成果
第一周	项目搭建、模型实现	XceptionNet 从零实现，Celeb-DF-v2 数据调研
第二周	数据集切换、训练脚本	适配 WildDeepfake，完成 train.py / API 框架
第三周	第一轮训练	8/10 epoch，最佳 80.98%（验证集）
第四周	第二轮微调	继续训练 6 epoch，准确率稳定 83-84%
第五周	第三轮训练（抗过拟合）	数据增强 + Dropout + 权重衰减，85.00%
第六周	API 测试与对接准备	JSON 修复、10 项测试通过、接口文档完成
第七周	代码审查与工程优化	21 项改进、P0-P4 全部修复、旧 checkpoint 兼容、统一配置
第八周	推理优化与测试完善	FP16 基准测试（1.5x-2.2x 加速）、时序后处理模块、26 项单元测试全过、预训练权重框架就绪
第九周	预训练权重训练 + 后端联调	待进行

---