# 神经网络与深度学习本周课程总结 本周课程围绕**视觉大模型**展开学习，先后讲解了大语言模型基础、多模态大模型、视觉Transformer（ViT）、CLIP以及知识蒸馏与DINO等内容，打通了自然语言大模型到计算机视觉大模型的技术脉络，理解了Transformer架构在视觉领域的落地与拓展应用。 ## 一、大模型技术概述 课程首先介绍了大语言模型（LLM），它是基于海量文本训练的深度学习模型，可实现文本理解、生成、翻译、问答等任务，典型代表有GPT系列、文心一言、通义千问等。 1. **核心原理**：采用**逐词生成**逻辑，模型依据已有文本预测下一个字符，循环往复得到完整回答。 2. **模型演进**：GPT系列参数量与训练数据规模持续增长，从GPT-1的1.17亿参数发展到GPT-4的万亿级别，能力也随之大幅提升。 3. **三阶段训练流程** - 无监督预训练：利用海量文本让模型自主学习语言规律； - 有监督微调：依托人工标注的问答数据，让模型适配对话任务； - 强化学习优化（RLHF）：通过奖励模型对生成结果打分，结合PPO算法迭代优化模型输出质量。 ## 二、多模态大模型技术 多模态大模型融合**视觉、文本、音频**等多种信息模态，是当下大模型的主流发展方向。 1. **技术思路**：以成熟的大语言模型为基础，搭配视觉、音频等单模态编码器，通过模态对齐、指令微调实现跨模态协同推理。 2. **行业现状**：近几年多模态模型迭代迅速，涌现出Gemini、Claude、LLaMA、Qwen-VL、LLaVA等多款主流模型，各模型在综合能力、专业场景上各有优势。 3. **整体架构**：主要由模态编码器、投影层、主干大模型、生成器组成，分别负责特征提取、模态转换、逻辑推理与内容生成。 ## 三、视觉Transformer（ViT） ViT是将Transformer引入计算机视觉的经典模型，2020年由Google提出，证明纯Transformer架构也能在图像任务上超越传统CNN。 1. **核心思想**：把**图像切分为多个Patch**，将每一个Patch类比为NLP中的单词（Token），把二维图像转化为一维序列，送入Transformer编码器处理。以224×224图像、16×16的Patch为例，可得到196个图像块，再额外增加1个类别Token用于分类。 2. **网络结构** - **嵌入层**：对图像块做扁平化、线性映射，同时添加**一维位置编码**，弥补Transformer缺少空间位置感知的缺陷。实验表明一维、二维、相对位置编码效果差异很小，因此ViT默认使用一维编码。 - **编码器**：沿用标准Transformer编码器结构，依次执行层归一化、多头注意力、残差连接、MLP层；MLP使用GELU激活函数，提升非线性表达能力。 - **分类头（MLP Head）**：提取类别Token的特征，通过全连接层完成图像分类，训练时结合交叉熵损失更新参数。 3. **模型版本与性能**：ViT分为Base、Large、Huge三个版本，参数量逐层递增。在ImageNet、CIFAR等数据集上，经过大规模数据预训练的ViT，识别精度优于ResNet、EfficientNet等卷积网络，同时训练算力开销更低。 4. **模型微调**：预训练后的ViT可迁移至各类下游视觉任务。针对微调时图像分辨率变化的问题，可通过**位置编码二维插值**解决序列长度不匹配的问题。 ## 四、CLIP、知识蒸馏与DINO 1. **CLIP**：通用视觉-语言预训练模型，依托图像-文本配对数据进行训练，实现图文匹配，具备零样本识别能力，是多模态视觉任务的重要基础模型。 2. **知识蒸馏与DINO**：知识蒸馏是将大模型（教师模型）的知识迁移到小模型（学生模型）的技术；DINO基于知识蒸馏实现自监督学习，无需人工标注即可让模型学习图像特征，降低了视觉模型训练的数据成本。 ## 五、学习总结与感悟 本周课程实现了从NLP Transformer到视觉大模型的知识过渡，明确了**视觉大模型本质是将图像转化为序列，复用Transformer架构**这一核心逻辑。ViT打破了卷积网络在视觉领域的长期垄断，而多模态技术进一步拉近了视觉与语言的边界。 通过学习，我掌握了ViT的完整工作流程、预训练与微调方法，也了解了大模型主流训练范式与前沿技术。后续我会继续巩固Transformer、注意力机制等基础知识点，尝试理解多模态对齐、自监督学习的实现逻辑，为后续深度学习实践打下基础。