模型搭建层

• 传统图像识别

1.人工特征提取方法  

HOG（方向梯度直方图） 作用：描述物体边缘与轮廓结构。 特点：对光照变化不敏感，常用于行人检测、目标检测。  

SIFT（尺度不变特征变换） 作用：提取关键点与描述子，实现旋转、缩放不变的特征匹配。 特点：稳定但计算量大，用于图像检索、物体匹配。  

LBP（局部二值模式） 作用：描述局部纹理特征。 特点：计算快、简单，适合人脸识别、纹理分类。

2.传统分类器  

SVM（支持向量机） 核心：在高维空间中寻找最优分类超平面。 优点：在高维、小样本场景表现优秀。  

随机森林 核心：多棵决策树投票，减少过拟合。 优点：鲁棒、不易过拟合、适合复杂数据。  

KNN（K近邻） 核心：根据距离相似度进行分类。 优点：简单易实现，训练成本低。

• 深度学习 CNN

 1. 卷积基础模块

 卷积层 Conv 作用：提取特征，从边缘 → 纹理 → 形状 → 高级语义。 特点：权值共享、局部感受野、参数少。 考点：卷积核大小、步长、 padding 的作用。

 池化层 Pool 作用：下采样、减少计算、保留关键特征。 最大池化：突出显著特征。 平均池化：保留整体信息。

 激活函数 ReLU：负部分置0，解决梯度消失，训练快。 GELU：更平滑，广泛用于 Transformer。

 批归一化 BN 作用：稳定训练、加速收敛、允许更大学习率。 训练时做归一化，推理时使用移动平均。

 Dropout 作用：防止过拟合。 训练中随机失活神经元，测试时关闭。

2. 经典 CNN 主干网络

 基础网络 LeNet：最早的 CNN，用于手写数字识别。 AlexNet：深度网络的开端，使用 ReLU、Dropout、GPU。 VGG：堆叠 3×3 卷积，结构规整、性能稳定。

 深度网络 ResNet：残差连接解决深度网络退化问题。 DenseNet：密集连接，特征复用更多，参数更省。  轻量级网络（端侧必考） MobileNet：深度可分离卷积，大幅减少参数与计算量。 ShuffleNet：通道洗牌机制，进一步轻量化。

 高效网络 EfficientNet：统一缩放深度、宽度、分辨率，实现高效性能。

3. 识别头设计

 全连接层 FC 把特征图展平，对全局特征做分类。 缺点：参数多、易过拟合。

 分类输出 Softmax：多分类，输出概率和为 1。 Sigmoid：二分类或多标签分类。

三、进阶视觉模型

 1. 注意力机制

SE：仅关注通道重要性。 CBAM：通道 + 空间双重注意力，更全面。 ECA：轻量通道注意力，高效简单。

1. Transformer 视觉模型

ViT：把图像切分为 patch，用 Transformer 做分类。 Swin-Transformer：窗口注意力，适合多尺度、检测、分割。

1. 多尺度融合

FPN 作用：融合低层细节特征与高层语义特征。 提升小目标、多尺度物体识别能力。

面试万能话术

 1. CNN 整体架构一句话 CNN 通过卷积逐层提取边缘、纹理、语义特征，配合池化降维、BN 稳定训练、Dropout 防过拟合，最终由全连接层输出分类概率。

 2. ResNet 核心一句话 ResNet 通过残差连接解决深层网络梯度消失问题，使网络可以无限加深，特征表达能力更强。

 3. 轻量级网络核心一句话 MobileNet 使用深度可分离卷积，将普通卷积拆分为深度卷积与点卷积，大幅减少参数与计算量，适合端侧部署。

模型训练层

• 训练配置（面试高频，基础必答）

 1. 核心参数（必背）

 Epoch（训练轮次） 定义：整个训练集完整训练一遍的次数。 作用：控制训练总量，Epoch过少欠拟合，过多过拟合。 考点：如何确定合适Epoch？结合早停（EarlyStopping），观察验证集精度变化。

 BatchSize（批次大小） 定义：每次送入模型训练的样本数量。 作用：平衡训练速度与训练稳定性。 特点：BatchSize越大，训练越快、显存占用越高；越小，训练越慢、泛化性可能更好。 考点：BatchSize太小会出现什么问题？梯度震荡，训练不稳定。

 学习率（LR，核心中的核心） 定义：模型参数更新的步长。 作用：决定训练收敛速度与是否能找到最优解。 考点：学习率太大/太小的影响？太大不收敛、震荡；太小收敛过慢、易陷入局部最优。

 2. 学习率调度（调优关键，必答）

 ReduceOnPlateau（学习率衰减） 核心：当验证集指标（如精度）不再提升时，自动降低学习率（如乘以0.1）。 优点：简单实用，适配大多数场景。  CosineAnnealing（余弦退火） 核心：学习率随Epoch按余弦曲线周期性变化，后期逐步降低。 优点：避免后期学习率过低导致收敛停滞，适合深层网络。

 二、损失函数（模型优化的目标，必考）

 1. 基础分类损失

 交叉熵损失（CrossEntropy Loss） 作用：衡量模型预测概率与真实标签的差距，是分类任务默认损失。 适用场景：单标签多分类（如识别猫/狗/鸟）。 考点：交叉熵损失的核心逻辑？通过对数放大预测错误，推动模型优化。

 2. 困难样本优化损失（加分项）

 FocalLoss（焦点损失） 核心：降低易分类样本的权重，重点关注难例样本（如模糊、相似类别的样本）。 适用场景：样本不均衡（如正样本少、负样本多）、难例样本多的任务。

 LabelSmoothing（标签平滑） 核心：将真实标签（如1）替换为接近1的值（如0.9），虚假标签（如0）替换为接近0的值（如0.1）。 作用：防止模型过拟合、过于自信，提升泛化性。

 三、优化器（参数更新的核心，必问区别）

 1. 主流优化器（必背3种）

 SGD（随机梯度下降） 核心：按梯度方向更新参数，简单稳定。 优点：泛化性好、内存占用低；缺点：收敛慢、易陷入局部最优。 考点：SGD的改进？加入动量（Momentum），加速收敛、减少震荡。

 Adam 核心：结合动量（Momentum）和自适应学习率（RMSprop），兼顾收敛速度与稳定性。 优点：收敛快，适合大多数场景；缺点：部分任务泛化性不如SGD。

 AdamW 核心：在Adam基础上，将权重衰减（Weight Decay）与梯度更新分离，优化正则效果。 优点：解决Adam权重衰减效果不佳的问题，目前主流首选（如PyTorch默认推荐）。

1. 权重衰减（Weight Decay）

核心：在损失函数中加入参数的L2正则项，惩罚过大的参数。 作用：防止模型过拟合，让参数更简洁、泛化性更强。 考点：权重衰减与L2正则的关系？权重衰减本质就是L2正则的实现方式。

 四、正则化（防止过拟合，基础必答）

 1. 常用正则化方法

 Dropout 核心：训练时随机失活部分神经元，测试时恢复所有神经元并缩放权重。 作用：强制模型不依赖单一神经元，提升鲁棒性，防止过拟合。 考点：Dropout训练和测试的区别？训练失活+缩放，测试不处理。

 L1/L2正则 - L1正则：惩罚参数的绝对值，会使部分参数变为0，实现特征选择。 - L2正则：惩罚参数的平方，使参数趋于0但不消失，防止参数过大。 考点：L1和L2的区别？L1产生稀疏权重（特征选择），L2使权重更平滑。

2.早停（EarlyStopping）

核心：训练过程中，当验证集精度连续多轮（如5轮）不提升时，停止训练。 作用：避免模型在训练集上过度拟合，保留泛化性最好的模型状态。

 五、训练策略（调优技巧，面试加分）

 1. 迁移学习（最常用，必答）

 核心：利用预训练权重（如ImageNet上训练好的ResNet权重），结合自身数据集微调。 优点：减少训练数据量、加速收敛、提升模型性能（尤其小数据集场景）。

2.冻结主干+解冻微调（迁移学习的核心操作）

核心：第一步冻结主干网络（只训练识别头），第二步解冻主干网络（微调所有参数）。 作用：先让识别头适配数据集，再微调主干，避免预训练特征被破坏。

1. 混合精度训练 

核心：用FP16（半精度）进行训练，部分参数保留FP32（全精度），减少显存占用。 优点：加速训练速度、降低显存压力，不影响模型精度（目前主流训练方式）。

 面试万能话术

1. 训练调优的核心逻辑：通过合理配置训练参数（学习率、BatchSize），选择合适的损失函数和优化器，配合正则化和训练策略，在避免过拟合的同时，让模型快速收敛到最优解。
2. AdamW比Adam好在哪里：AdamW将权重衰减与梯度更新分离，解决了Adam中权重衰减效果被自适应学习率抵消的问题，正则化效果更好，泛化性更强。
3. 迁移学习的优势的应用场景：当自身数据集较小时，用预训练权重初始化模型，通过冻结+微调的方式，既能节省训练时间，又能提升模型性能，是工业界最常用的训练策略。

模型评估层

 一、核心评估指标（面试必考，重中之重）

 1. 准确率（Accuracy）

定义：预测正确的样本数 ÷ 总样本数，衡量模型整体预测正确率。 作用：最基础、最直观的评估指标，适合样本均衡的场景。 考点（必问局限性）：样本不均衡时失效（如99%负样本，模型全预测负样本，准确率仍99%，但无实际意义）。 面试话术：准确率是整体预测正确率，适合样本均衡任务，样本不均衡时不能单独作为核心指标。

 2. 精确率（Precision）、召回率（Recall）、F1分数（核心三指标）

 精确率（Precision，精准度）

定义：预测为正类且实际为正类的样本数 ÷ 所有预测为正类的样本数。 通俗理解：“预测对的正样本，占所有预测为正样本的比例”，重点看“预测准不准”。 适用场景：重视误判成本的任务（如垃圾邮件识别，避免把正常邮件判为垃圾邮件）。

 召回率（Recall，召回率/查全率）

定义：预测为正类且实际为正类的样本数 ÷ 所有实际为正类的样本数。 通俗理解：“所有真实正样本，被预测出来的比例”，重点看“漏不漏”。 适用场景：重视漏判成本的任务（如疾病检测，避免漏诊）。

 F1分数（F1-Score）

定义：精确率和召回率的调和平均数（2×P×R ÷ (P+R)）。 作用：综合平衡精确率和召回率，解决两者“此消彼长”的问题。 考点（必问）：精确率和召回率的权衡？精确率高则召回率低，反之亦然，F1分数是两者的最优平衡。

3.混淆矩阵（Confusion Matrix）

定义：以矩阵形式展示模型的预测结果，行代表真实标签，列代表预测标签，核心包含4类结果： - 真阳性（TP）：实际正、预测正 - 真阴性（TN）：实际负、预测负 - 假阳性（FP）：实际负、预测正（误判） - 假阴性（FN）：实际正、预测负（漏判） 作用：直观展示模型误分类情况，可通过矩阵计算精确率、召回率等所有指标。 考点：如何通过混淆矩阵计算精确率和召回率？（P=TP/(TP+FP)，R=TP/(TP+FN)）

 二、验证流程（面试高频，体现工程思维）

 1. 离线验证

定义：训练过程中，用提前划分好的“验证集”，实时评估模型性能，指导调优（如调整学习率、早停）。 核心操作：训练集用于训练参数，验证集用于监控模型泛化性，不参与参数更新。 作用：快速判断模型是否过拟合、是否收敛，是最基础的验证方式。

1. 交叉验证（K折交叉验证，重点）

定义：将整个数据集随机分成K份（常用K=5、10），每次用K-1份作为训练集，1份作为验证集，重复K次，取K次验证结果的平均值作为最终指标。 优点：避免因“数据划分偶然”导致的评估偏差，尤其适合小数据集。 考点：为什么用交叉验证？小数据集划分训练/验证集时，偶然因素影响大，交叉验证能更客观评估模型泛化性。

1. 泛化性测试

定义：用完全未参与训练、未参与验证的“测试集”，对训练好的模型做最终评估。 核心要求：测试集必须与训练集、验证集分布一致，且全程不参与任何模型调优。 作用：模拟模型真实应用场景，检验模型的实际落地能力（面试必提，体现严谨性）。

 三、错误分析（面试加分项，体现调优思维）

 1. 难例样本挖掘

定义：找出模型预测错误、置信度低（如预测概率接近0.5）或误分类的样本（难例样本）。 核心操作：通过混淆矩阵、预测置信度，筛选出难例样本，分析错误原因（如样本模糊、特征相似、标注错误）。 作用：针对性优化模型（如增加难例样本的数据增强、调整损失函数），提升模型泛化性。 面试话术：通过挖掘难例样本，分析错误原因，针对性优化数据或模型，是提升模型性能的关键步骤。

1. 类别误识别分析

定义：针对混淆矩阵中“误分类占比高的类别”，分析误识别原因。 常见原因：类别特征相似（如猫和狗）、样本数量不均衡、标注错误、特征提取不充分。 作用：精准定位模型短板，比如针对相似类别，可增加该类样本、优化特征提取模块。

 面试万能话术（可直接背，直接套用）

1. 评估指标的核心逻辑：优先看F1分数平衡精确率和召回率，结合混淆矩阵定位错误，样本不均衡时不单独依赖准确率，用多指标综合评估。
2. 交叉验证的应用场景：当数据集较小时，用K折交叉验证避免数据划分的偶然性，更客观地评估模型泛化能力，确保模型不是“过拟合于单一验证集”。
3. 错误分析的意义：模型调优不是盲目调参，而是通过难例样本挖掘和类别误识别分析，找到模型短板，针对性优化，让模型更适配实际应用场景。

模型优化与压缩层

1. 模型剪枝

定义：通过评估权重、卷积核的重要性，移除模型中冗余、无用的卷积核/神经元。 核心作用：精简模型结构，减少参数量和计算量。 适用场景：大模型轻量化、冗余参数多的网络。 面试要点：非破坏性剪枝，优先移除贡献度低的参数，最大程度保留精度。

 2. 模型量化

定义：将模型参数的精度从FP32（全精度） 降低为 FP16 / INT8（低精度）。 核心作用：大幅减少显存/内存占用，提升推理速度，INT8速度提升最明显。 分类： - 训练后量化：无需重训练，简单快捷 - 量化感知训练：精度损失更小，效果更优 面试要点：工业界端侧部署最常用的优化手段，性价比最高。

 3. 知识蒸馏

定义：用高精度大模型（教师模型） 指导小模型（学生模型） 学习，让小模型逼近大模型的效果。 核心逻辑：不仅学习标签，还学习大模型的输出分布（软标签）。 核心作用：小体积、大性能，兼顾速度与精度。 适用场景：无法直接使用大模型，又需要高精度的端侧场景。

 4. 轻量化结构重设计

定义：从网络结构源头设计轻量模型，而非事后优化。 代表结构：深度可分离卷积、逆残差结构、通道洗牌。 代表网络：MobileNet、ShuffleNet。 面试要点：这是最根本的轻量化方案，结合剪枝/量化效果最佳。

部署落地层

 1. 模型转换

训练框架（PyTorch/TensorFlow）无法直接部署，必须转换为通用/加速格式。 - ONNX（通用开放格式） 定义：跨框架的模型中间格式，打通各类训练框架与推理引擎。 作用：统一模型格式，适配绝大多数推理平台。

TensorRT（NVIDIA GPU专用加速） 定义：

英伟达官方推理优化引擎，支持算子融合、量化、加速。 作用：服务器/GPU场景下，推理速度提升数倍。

- NCNN/MNN（端侧推理框架） 定义：

专为手机、嵌入式、ARM设备设计的轻量推理引擎。 作用：无GPU环境下高效运行，适配端侧落地。

1. 部署平台

- 服务器部署 环境：Linux系统；封装为HTTP/REST API接口，支持外部调用。 场景：云端服务、后台批量推理。

- 端侧部署 环境：手机、树莓派、嵌入式开发板。 核心：低算力、低功耗、离线运行。 - 工业相机部署 环境：工业视觉设备，实时推理、高稳定性。 场景：产线检测、视觉质检。

1. 工程封装

- Python/C++接口封装：提供简洁调用接口，屏蔽底层推理细节。 - 推理SDK：模块化工具包，包含预处理、推理、后处理全流程。

- 日志与监控：记录推理耗时、报错、调用次数，方便维护排查。

工程化配套层

   1. 环境管理

- Conda：创建独立Python环境，隔离依赖冲突，适合开发调试。

- Docker：打包完整运行环境（系统+依赖+代码），保证开发/部署环境一致。 面试要点：Docker是工业级部署的标准方案。

   2. 代码版本

- Git：代码管理工具，记录版本迭代、支持多人协作、回滚错误版本。 常用平台：GitHub、Gitee。 面试要点：必备工程技能，体现规范化开发习惯。

3.训练日志监控

工具：TensorBoard、wandb。 作用：实时监控损失、精度、学习率变化，可视化训练过程，快速定位问题。

1. 复现性配置

核心操作：固定随机种子（Python、PyTorch、CUDA全部固定）。 作用：保证每次训练结果可复现，避免随机因素干扰，符合科研/工业规范。