E-L1-0001​

图神经网络

基于谱图理论的卷积操作扩展

图卷积网络 (GCN)

步骤1：图拉普拉斯矩阵构建
L = Iₙ - D^{-1/2}AD^{-1/2}
步骤2：谱图卷积定义
gθ∗x = Ugθ(Λ)Uᵀx
步骤3：切比雪夫多项式近似
gθ(Λ) ≈ ∑_{k=0}^{K}θₖTₖ(Λ̃)
步骤4：一阶近似简化
gθ∗x ≈ θ(Iₙ + D^{-1/2}AD^{-1/2})x
步骤5：重归一化技巧
使用D̃^{-1/2}ÃD̃^{-1/2}，其中Ã = A + Iₙ
步骤6：多层GCN前向传播
H⁽ˡ⁺¹⁾ = σ(D̃^{-1/2}ÃD̃^{-1/2}H⁽ˡ⁾W⁽ˡ⁾)
参数选择：层数L=2-3，隐藏层维度64-512，学习率0.001-0.01，Dropout率0.5-0.8

精度：Cora数据集节点分类81.5%
误差：交叉熵损失
强度：捕获K跳邻居结构信息

谱图理论、卷积定理、消息传递机制

1. 社交网络节点分类
2. 虚假账号检测
3. 社区发现
4. 影响力预测
5. 信息传播预测
6. 用户推荐
7. 情感传播分析
8. 事件检测
9. 跨平台用户对齐
10. 群体行为分析

变量：X∈ℝ^{n×d}，A∈{0,1}^{n×n}，H⁽ˡ⁾∈ℝ^{n×hₗ}
常量：n节点数，L层数
参数：θ卷积核参数，η学习率，p Dropout率

集合、逻辑、概率统计、随机性、连续性、微分、积分、级数、收敛性、测度、离散、排序、组合、构造、优化、计算、稳定性、对称性、代数、拓扑、几何、群、组合数学

自然语言处理特征、多语言支持、语义特征

时序流程：
1. 数据准备：构建图G=(V,E)，提取特征X
2. 前向传播：H⁽ˡ⁺¹⁾=σ(L̃H⁽ˡ⁾W⁽ˡ⁾)
3. 损失计算：ℒ=-∑∑YᵢⱼlnŶᵢⱼ
4. 反向传播：更新W⁽ˡ⁾
5. 迭代优化至收敛

服务器配置：
• 单服务器方案：Legion系统可在单台多GPU服务器上处理十亿级顶点图，需配置8-16张NVIDIA A100/H100 GPU，每卡80GB显存，CPU内存3-6TB，NVLink高速互联
• 分布式集群方案：DistDGLv2架构，需100-500节点集群，每个节点配置2-4张GPU，总GPU数量200-2000张，通过InfiniBand/RoCE网络互联，存储采用分布式文件系统（如HDFS）容量50-200PB
• 计算规模：每秒处理10亿边更新，需峰值算力50-200 PFLOPS，内存带宽200-800 TB/s
• 存储需求：百亿节点千亿边图需存储10-50TB（含特征），特征缓存需200-500TB GPU显存池

1. Legion系统：多GPU极限优化，单服务器支持十亿顶点
2. DistDGLv2：CPU-GPU混合分布式训练，优化小批量流水线
3. SuperGCN：CPU超算框架，混合预聚合-后聚合方法
4. xGCN：将节点嵌入视为静态特征，减少参数数量
5. 图并行化方法：将输入图分布在多个GPU上，支持数十亿参数
6. GraphSAGE：邻居采样减少计算复杂度
7. Cluster-GCN：基于图聚类的小批量训练
8. GraphSAINT：基于子图采样的训练方法
9. Pytorch Geometric：优化稀疏矩阵运算
10. DGL：分布式图神经网络框架

E-L1-0002​

图神经网络

注意力机制在图结构上的扩展

图注意力网络 (GAT)

步骤1：注意力系数计算
eᵢⱼ = a(W hᵢ, W hⱼ)
步骤2：注意力系数归一化
αᵢⱼ = exp(LeakyReLU(eᵢⱼ))/∑{k∈N(i)}exp(LeakyReLU(eᵢₖ))
步骤3：多头注意力聚合
hᵢ' = ‖{k=1}^{K}σ(∑{j∈N(i)}αᵢⱼ⁽ᵏ⁾W⁽ᵏ⁾hⱼ)
步骤4：输出层聚合
hᵢ' = σ((1/K)∑{k=1}^{K}∑_{j∈N(i)}αᵢⱼ⁽ᵏ⁾W⁽ᵏ⁾hⱼ)
参数选择：注意力头数K=4-8，LeakyReLU负斜率0.2，Dropout率0.6，学习率0.005

精度：Citeseer数据集72.5%
误差：分类交叉熵损失
强度：为不同邻居分配不同重要性权重

注意力机制、图神经网络、消息传递

1. 异质社交网络分析
2. 影响力节点识别
3. 虚假信息传播分析
4. 跨社区信息流分析
5. 用户兴趣建模
6. 社交机器人检测
7. 情感传染分析
8. 事件关联分析
9. 多模态社交分析
10. 动态社交网络分析

变量：hᵢ∈ℝ^{d}，W∈ℝ^{d'×d}，a∈ℝ^{2d'}，αᵢⱼ∈[0,1]
常量：K注意力头数
参数：LeakyReLU负斜率α，Dropout率p

集合、逻辑、概率统计、随机性、连续性、微分、积分、级数、收敛性、测度、离散、排序、组合、构造、优化、计算、稳定性、非对称性、代数、拓扑、几何、群、组合数学

自然语言注意力机制、语义注意力权重、跨语言注意力对齐

时序流程：
1. 特征变换：zᵢ=Whᵢ
2. 注意力计算：eᵢⱼ=LeakyReLU(aᵀ[zᵢ‖zⱼ])
3. 归一化：αᵢⱼ=exp(eᵢⱼ)/∑exp(eᵢₖ)
4. 信息聚合：hᵢ'=σ(∑αᵢⱼzⱼ)
5. 多头聚合：hᵢ'=‖_{k=1}^{K}σ(∑αᵢⱼ⁽ᵏ⁾W⁽ᵏ⁾hⱼ)

服务器配置：
• 单服务器方案：需4-8张NVIDIA A100 GPU（每卡80GB），CPU内存1-2TB，支持同时处理千万级节点注意力计算
• 分布式方案：采用模型并行+数据并行，50-200节点集群，每节点2-4张GPU，总GPU数100-800张，通过高速RDMA网络互联
• 内存需求：百亿边图注意力权重矩阵需存储400-800TB（稀疏存储可压缩至20-50TB）
• 计算需求：每秒处理10亿节点注意力计算需200-500 PFLOPS算力，内存带宽300-600 TB/s
• 通信优化：需梯度压缩、异步训练、流水线并行技术

1. 高效注意力计算：稀疏注意力、线性注意力、低秩注意力近似
2. 分布式GAT：模型并行划分注意力头，数据并行划分图分区
3. 混合精度训练：FP16/FP32混合精度减少内存和计算开销
4. 梯度累积：小批量梯度累积处理超大图
5. 缓存优化：邻居特征缓存减少重复计算
6. 动态图注意力：增量更新注意力权重，避免全图重计算
7. 异构图注意力：支持多种节点和边类型的注意力机制
8. 时空注意力：结合时间序列的注意力机制
9. 硬件感知优化：针对GPU架构优化的注意力核函数
10. 流式处理：在线更新注意力网络

E-L1-0003​

图算法

基于随机游走的网页排名算法

PageRank算法

步骤1：构建转移概率矩阵
Mᵢⱼ = 1/out_degree(j) 如果存在边j→i
步骤2：处理悬挂节点
Mᵢⱼ = 1/n 对所有i（当出度=0）
步骤3：引入阻尼因子
P = (1-d)/n·1₁ₙ₁ₙᵀ + d·M，d=0.85
步骤4：幂迭代法求解
r⁽ᵏ⁺¹⁾ = Pᵀr⁽ᵏ⁾
步骤5：收敛性保证
迭代直到‖r⁽ᵏ⁺¹⁾-r⁽ᵏ⁾‖₁<ε
参数选择：阻尼因子d=0.85，收敛阈值ε=10⁻⁶，最大迭代次数100

精度：收敛精度ε
误差：迭代误差‖r⁽ᵏ⁺¹⁾-r⁽ᵏ⁾‖₁
强度：衡量节点全局重要性

马尔可夫链、随机游走、平稳分布、Perron-Frobenius定理

1. 影响力排名
2. 关键节点识别
3. 推荐系统
4. 社区发现预处理
5. 虚假账号检测
6. 网络结构分析
7. 跨平台影响力分析
8. 时序影响力演化
9. 话题传播分析
10. 危机预警

变量：r∈ℝⁿ PageRank向量，M∈ℝ^{n×n}转移矩阵，P∈ℝ^{n×n}阻尼矩阵
常量：n节点数，d阻尼因子0.85
参数：收敛阈值ε，最大迭代次数T_max

集合、逻辑、概率统计、随机性、极限、连续性、级数、收敛性、测度、离散、排序、组合、代数、拓扑、几何、群、组合数学

文本链接分析、语义关联分析

时序流程：
1. 图构建：计算节点出度dᵢ⁺
2. 转移矩阵构造：Mⱼᵢ=1/dᵢ⁺
3. 阻尼矩阵构造：Pᵢⱼ=(1-d)/n+d·Mᵢⱼ
4. 迭代求解：r⁽ᵏ⁺¹⁾=Pᵀr⁽ᵏ⁾
5. 结果输出：排序PageRank向量

服务器配置：
• Angel框架方案：腾讯Angel支持十亿级顶点、千亿级边PageRank计算，需50-200节点Spark+Angel PS集群，每个节点配置256GB-1TB内存，总内存10-50TB，存储采用HDFS容量100-500PB
• Spark方案：Spark on Angel实现，psPartitionNum设置500以上，dataPartitionNum为executor数×core数×3-4倍，100亿边需160GB存储，建议配置20个executor×20GB内存
• 计算规模：10亿节点PageRank迭代计算需每轮处理千亿级边，集群算力需求20-50 TFLOPS，网络带宽40-100 Gbps
• 内存估算：模型大小=节点数×3×4 Byte，10亿节点需12GB内存，考虑副本和中间数据需50-100GB/节点

1. Angel图算法框架：腾讯开源，基于参数服务器架构，专为超大规模图设计
2. Spark On Angel实现：PS维护节点信息，Spark executor计算
3. VS-NRM优化：顶点排序重映射，提高访存局部性，性能提升20%以上
4. GCPR方法：基于图划分和数据两层压缩的MapReduce加速
5. 矩阵分块算法：Hadoop-MapReduce下矩阵分块并行计算
6. 增量PageRank：只更新受影响节点的PageRank值
7. 分布式幂迭代：块同步并行（BSP）模型实现
8. 个性化PageRank：针对特定节点的快速近似算法
9. Top-k PageRank：只计算排名前k的节点，减少计算量
10. 流式PageRank：支持动态图更新的增量算法

E-L1-0004​

社区检测

模块度最大化启发式算法

Louvain社区检测算法

步骤1：模块度定义
Q=(1/2m)∑ᵢⱼ[Aᵢⱼ-(kᵢkⱼ/2m)]δ(cᵢ,cⱼ)
步骤2：初始化
每个节点单独作为一个社区
步骤3：局部优化阶段
计算模块度增益ΔQ，选择使ΔQ最大的移动
ΔQ=[(∑ᵢₙ+2kᵢ,ᵢₙ)/2m-(∑ₜₒₜ+kᵢ)²/(2m)²]-[∑ᵢₙ/2m-(∑ₜₒₜ)²/(2m)²-(kᵢ/2m)²]
步骤4：社区聚合阶段
将同一社区节点聚合为超节点，构建新图
步骤5：迭代
重复步骤3-4直到模块度不再增加
参数选择：分辨率参数γ=1.0，随机种子影响结果，迭代次数10-20

精度：模块度Q值0.3-0.7
密度：社区内部连接密度
误差：模块度增益ΔQ计算误差

模块度最大化、启发式优化、多级聚类

1. 社交圈子发现
2. 兴趣社区挖掘
3. 虚假网络检测
4. 信息茧房分析
5. 跨平台社区对齐
6. 社区演化分析
7. 影响力社区识别
8. 营销目标群体划分
9. 危机传播社区分析
10. 多尺度社区分析

变量：A邻接矩阵，c社区分配向量，Q模块度值
常量：m总边数，γ分辨率参数
参数：随机种子s，最大迭代次数T_max

集合、逻辑、概率统计、随机性、连续性、微分、积分、级数、收敛性、测度、离散、排序、组合、构造、优化、计算、稳定性、对称性、代数、拓扑、几何、群、组合数学

社区语言特征分析、社区内语言一致性

时序流程：
1. 初始化：每个节点单独社区
2. 局部优化：遍历节点，计算ΔQ，移动节点
3. 社区聚合：构建新图G'=(V',E')
4. 迭代：在G'上重复优化和聚合
5. 结果重构：映射回原图节点

服务器配置：
• 大规模并行方案：基于孤立集分区的并行Louvain算法，可并行计算和更新顶点信息，无同步延迟，需512-2048节点HPC集群，每个节点配置64-128核心CPU，256GB-1TB内存，总内存100-500TB
• SparkGraphX方案：适用于十亿级点和边的图，需200-500节点Spark集群，每个节点配置32-64核心，128-256GB内存，总内存25-100TB，存储采用HDFS容量200-800PB
• 计算需求：10亿节点社区检测需处理万亿级边计算，每轮迭代计算复杂度O(m)，需集群算力50-200 TFLOPS
• 通信优化：需最小化社区标签交换，采用哈希表改进融合算法减少长尾效应

1. 基于孤立集的并行Louvain：国防科技大学提出，消除同步延迟和社区标签交换问题
2. 分布式Louvain算法：支持1380亿边在8192个Blue Gene/Q节点上运行
3. SparkGraphX实现：基于Spark的大数据实现
4. Leiden算法：保证社区连通性，运行速度更快
5. 多分辨率Louvain：调整resolution参数控制社区大小
6. 增量Louvain：支持动态图更新的社区检测
7. GPU加速Louvain：利用GPU并行计算模块度增益
8. 分层Louvain：多级社区发现，支持不同粒度
9. 异步并行Louvain：减少同步开销，提高并行效率
10. 近似Louvain：采样方法加速大规模图计算

E-L1-0005​

聚类算法

基于距离的划分聚类

K-means聚类算法

步骤1：初始化中心点
随机选择k个初始聚类中心μ₁,...,μₖ
步骤2：分配阶段
cᵢ = argminⱼ‖xᵢ-μⱼ‖²
步骤3：更新阶段
μⱼ = (1/

Cⱼ

)∑{i∈Cⱼ}xᵢ
步骤4：迭代
重复步骤2-3直到中心点不再变化
步骤5：肘部法则确定k
SSE(k)=∑{j=1}^{k}∑_{x∈Cⱼ}‖x-μⱼ‖²
参数选择：k值选择（肘部法则、轮廓系数），初始化方法（K-means++），距离度量（欧氏距离），最大迭代次数300，收敛容差10⁻⁴

误差：SSE误差平方和
密度：簇内密度
强度：簇间分离度

向量量化、Lloyd算法、期望最大化(EM)算法的特例

1. 用户分群
2. 内容分类
3. 异常检测
4. 兴趣挖掘
5. 地理位置聚类
6. 时间模式聚类
7. 多维度用户画像
8. 社交圈子识别
9. 话题聚类
10. 情感群体划分

变量：X∈ℝ^{n×d}数据点，μⱼ∈ℝ^{d}聚类中心，cᵢ∈{1,...,k}簇标签
常量：n样本数，d特征维度，k簇数
参数：最大迭代次数max_iter，收敛容差tol，初始化方法init

集合、逻辑、概率统计、随机性、连续性、微分、积分、收敛性、测度、离散、排序、组合、构造、优化、计算、稳定性、对称性、代数、几何、群

可处理文本统计特征（如TF-IDF）

时序流程：
1. 初始化：随机选择k个中心
2. 分配：cᵢ=argminⱼ‖xᵢ-μⱼ‖²
3. 更新：μⱼ=(1/

E-L1-0006​

降维算法

线性投影最大化方差

主成分分析 (PCA)

步骤1：数据中心化
X̃ = X - 1μᵀ，其中μ=(1/n)∑ᵢxᵢ
步骤2：计算协方差矩阵
C = (1/(n-1))X̃ᵀX̃ ∈ ℝ^{d×d}
步骤3：特征值分解
C = VΛVᵀ，其中Λ=diag(λ₁,...,λ_d)，λ₁≥...≥λ_d≥0
步骤4：选择主成分
选择前k个特征向量V_k=[v₁,...,v_k]
步骤5：数据投影
Z = X̃V_k ∈ ℝ^{n×k}
步骤6：方差解释率
累计解释方差 = ∑{i=1}^{k}λ_i/∑{i=1}^{d}λ_i
参数选择：主成分数k（累计方差>85%或肘部法则），是否标准化（特征尺度差异大时需标准化）

精度：重建误差‖X-X̃V_kV_kᵀ‖_F²
密度：主成分的方差密度
误差：重建误差

谱定理、瑞利商、方差最大化、正交变换

1. 用户特征降维
2. 社交网络可视化
3. 噪声过滤
4. 多重共线性消除
5. 异常检测预处理
6. 数据压缩存储
7. 特征选择辅助
8. 多模态数据融合
9. 时序模式提取
10. 跨平台特征对齐

变量：X∈ℝ^{n×d}原始数据，X̃∈ℝ^{n×d}中心化数据，C∈ℝ^{d×d}协方差矩阵，V∈ℝ^{d×d}特征向量矩阵，Z∈ℝ^{n×k}降维数据
常量：n样本数，d原始维度，k目标维度
参数：主成分数k，是否标准化standardize

集合、逻辑、概率统计、随机性、连续性、微分、积分、级数、收敛性、测度、离散、排序、组合、构造、优化、计算、稳定性、对称性、代数、几何

文本特征降维（如TF-IDF矩阵）

时序流程：
1. 数据预处理：中心化X̃=X-1μᵀ
2. 协方差计算：C=(1/(n-1))X̃ᵀX̃
3. 特征分解：C=VΛVᵀ
4. 主成分选择：按λ_i排序，选择前k个v_i
5. 投影变换：Z=X̃V_k
6. 结果评估：计算方差解释率

服务器配置：
• 分布式PCA方案：10亿样本×1000维数据协方差矩阵计算需1000×1000矩阵分解，采用Spark MLlib分布式PCA，需100-200节点集群，每个节点32核心、256GB内存，总内存25-50TB
• GPU加速方案：使用cuML或RAPIDS PCA，需8-16张NVIDIA A100 GPU，利用GPU并行计算协方差矩阵和SVD，处理10亿×1000数据需显存800GB-1.6TB（FP16）
• 增量PCA方案：在线学习场景，采用增量SVD算法，单服务器配置512GB-1TB内存，多核CPU（64-128核心）
• 计算需求：协方差计算复杂度O(nd²)，10亿×1000数据需10¹⁵次运算，需集群算力50-100 TFLOPS，通信开销大需优化数据分布

1. 随机PCA：使用随机算法近似计算前k个特征向量，复杂度O(ndk)
2. 增量PCA：支持在线学习，逐步更新主成分
3. 核PCA：非线性扩展，通过核技巧处理非线性数据
4. 稀疏PCA：产生稀疏载荷矩阵，提高可解释性
5. 鲁棒PCA：对异常值不敏感，分解为低秩+稀疏
6. 分布式PCA：Spark MLlib、Mahout实现
7. GPU加速PCA：cuML、RAPIDS库提供GPU加速
8. 流式PCA：适用于数据流场景
9. 分层PCA：多级降维，减少计算复杂度
10. 张量PCA：处理高阶张量数据

E-L1-0007​

集成学习

决策树集成方法

随机森林 (Random Forest)

步骤1：自助采样
从训练集D中随机有放回抽取n个样本，生成B个自助样本集D₁, D₂, ..., D_B
步骤2：特征随机选择
对于每棵决策树的每个节点分裂，从全部d个特征中随机选择m个特征（通常m=√d）作为候选
步骤3：决策树生长
对每个自助样本集D_b，使用CART算法生长一棵未剪枝的决策树T_b
节点分裂准则（基尼指数）：Gini(D)=1-∑_{k=1}^{K}p_k²，其中p_k为第k类样本的比例
特征j在点s处分裂的基尼指数减少：ΔGini(j,s)=Gini(D)-

D_L

/

D

·Gini(D_L)-

D_R

/

D

·Gini(D_R)
选择使ΔGini最大的特征j和分割点s
步骤4：集成预测
分类任务：ŷ=argmax{k} (1/B)∑{b=1}^{B}I(T_b(x)=k)
回归任务：ŷ=(1/B)∑_{b=1}^{B}T_b(x)
步骤5：袋外误差估计
对于每个样本(xᵢ,yᵢ)，用所有未包含该样本的树进行预测，计算袋外误差
参数选择/优化：
1. 树的数量B：通常100-500，通过袋外误差稳定点确定
2. 特征数m：分类常用√d，回归常用d/3
3. 树的最大深度：不限制或设置较大值
4. 节点最小样本数：通常1-5
5. 特征选择准则：基尼指数或信息增益

精度：在多个UCI数据集上平均准确率优于单棵决策树5-15%
误差：袋外误差估计泛化误差
强度：降低方差，提高泛化能力

E-L1-0008​

深度学习

循环神经网络变体

长短期记忆网络 (LSTM)

步骤1：遗忘门
f_t = σ(W_f·[h{t-1}, x_t] + b_f)
决定从细胞状态C{t-1}中丢弃哪些信息
步骤2：输入门
i_t = σ(W_i·[h{t-1}, x_t] + b_i)
Ĉt = tanh(W_C·[h{t-1}, x_t] + b_C)
决定将哪些新信息存储到细胞状态
步骤3：细胞状态更新
C_t = f_t ⊙ C{t-1} + i_t ⊙ Ĉt
更新旧的细胞状态到新的细胞状态
步骤4：输出门
o_t = σ(W_o·[h{t-1}, x_t] + b_o)
h_t = o_t ⊙ tanh(C_t)
基于细胞状态决定输出什么
步骤5：序列处理
对输入序列(x_1, x_2, ..., x_T)按时间步迭代上述过程
参数选择/优化：
1. 隐藏层维度：通常128-512
2. 层数：通常1-3层
3. dropout率：0.2-0.5防止过拟合
4. 优化器：Adam，学习率0.001-0.01
5. 梯度裁剪：防止梯度爆炸，阈值通常5.0

精度：在文本分类、序列标注等任务上达到SOTA（例如，在IMDB情感分析上准确率>88%）
误差：交叉熵损失，通过BPTT算法优化
强度：能捕捉长期依赖关系，缓解梯度消失/爆炸

门控机制、梯度流控制、序列建模、通过细胞状态实现长期记忆

1. 用户行为序列预测：预测用户下一步操作（点击、发布）
2. 情感分析：分析用户评论随时间的情感变化
3. 文本生成：生成帖子、评论或对话回复
4. 会话建模：建模多轮对话的上下文
5. 时序异常检测：检测用户行为的异常序列（如突然大量发帖）
6. 话题演化追踪：分析话题热度随时间的变化趋势
7. 用户生命周期价值预测：基于用户历史行为预测其长期价值
8. 实时推荐：根据用户当前会话序列进行实时推荐
9. 事件检测：从文本流中检测突发事件
10. 多模态序列分析：处理图文、视频的时序信息
特征：
- 时序特征：用户行为的时间戳序列
- 文本序列特征：词向量序列
- 会话特征：对话轮次、间隔时间
- 事件特征：事件发生的时间点序列

变量：
x_t：t时刻的输入向量
h_t：t时刻的隐藏状态
C_t：t时刻的细胞状态
f_t, i_t, o_t：t时刻的门控向量
常量：
T：序列长度
d_h：隐藏层维度
参数：
权重矩阵W_f, W_i, W_C, W_o
偏置向量b_f, b_i, b_C, b_o
dropout率p

集合特征：时间步集合{t}
逻辑特征：门控信号的逻辑控制
概率与统计特征：输出概率分布
随机性：dropout、权重初始化
不确定性：序列预测的不确定性
数据规律和推断：序列的长期依赖规律
极限：当序列长度T→∞时的记忆能力
连续性：状态和输出的连续性
微分：通过时间反向传播（BPTT）
积分：细胞状态的信息累积（近似积分）
级数：时间步的迭代计算构成级数
收敛性：训练损失的收敛性
测度：信息保留程度的测度（遗忘门）
离散：时间步的离散性
排序：序列的时间顺序
组合：门控信号的组合
构造：细胞状态的递归构造
优化：梯度下降优化
计算与算法特征：时间复杂度O(T·d_h²)
稳定性：门控机制缓解梯度问题，提升稳定性
对称性/非对称性：时间方向的不对称性（因果性）
代数：矩阵乘法、逐元素运算
拓扑：序列的拓扑结构
几何：隐藏状态空间的几何
群：时间平移的不变性（对平稳序列）
组合数学特征：序列的排列

自然语言序列建模
词向量序列输入
语义信息的长期记忆

时序流程：
1. 初始化：t₀
h_0 = 零向量，C_0 = 零向量

2. 前向传播：t₁ 到 t_T
for t=1 to T:
a. 计算遗忘门：f_t = σ(W_f·[h{t-1}, x_t] + b_f)
b. 计算输入门和新候选值：
i_t = σ(W_i·[h{t-1}, x_t] + b_i)
Ĉt = tanh(W_C·[h{t-1}, x_t] + b_C)
c. 更新细胞状态：C_t = f_t ⊙ C{t-1} + i_t ⊙ Ĉt
d. 计算输出门和隐藏状态：
o_t = σ(W_o·[h{t-1}, x_t] + b_o)
h_t = o_t ⊙ tanh(C_t)

3. 输出计算：t_T+
- 对于分类任务：ŷ = softmax(W_y·h_T + b_y)
- 对于序列标注：每个时间步输出ŷt = softmax(W_y·h_t + b_y)

4. 损失计算与反向传播：
- 计算损失：ℒ = CrossEntropy(y, ŷ)
- 通过BPTT计算梯度：∂ℒ/∂W_f, ∂ℒ/∂W_i, ...
- 更新参数：W ← W - η·∂ℒ/∂W

交互流程：
- 时间步间的信息传递通过h_t和C_t实现
- 门控机制控制信息的流动（遗忘、输入、输出）

服务器配置：
• 大规模GPU集群方案：训练10亿序列的LSTM需200-500张NVIDIA A100/H100 GPU，每卡80GB显存，总显存16-40TB，通过InfiniBand/RoCE高速互联，CPU内存总需求50-100TB
• 分布式训练框架：使用Horovod、PyTorch DDP或TensorFlow MirroredStrategy，需50-100节点，每个节点4-8张GPU
• 推理优化方案：使用TensorRT或ONNX Runtime优化推理，单服务器可部署多GPU实现每秒百万级序列处理
• 计算需求：10亿序列×平均长度50×隐藏层512维，前向传播需25.6×10¹²次运算，训练需算力500-1000 PFLOPS
• 内存优化：需梯度检查点、激活值重计算技术减少显存占用

1. GRU (Gated Recurrent Unit)：简化门控结构，减少参数
2. Bidirectional LSTM：双向处理序列，捕获前后文信息
3. Attention-enhanced LSTM：结合注意力机制，聚焦关键时间步
4. Depthwise Separable LSTM：深度可分离卷积减少计算量
5. LSTM with Projection：投影层减少隐藏状态维度
6. Quantized LSTM：量化权重和激活，减少存储和计算
7. Pruned LSTM：剪枝不重要连接，加速推理
8. Distilled LSTM：知识蒸馏到更小模型
9. Sparse LSTM：稀疏连接和激活，提高效率
10. Streaming LSTM：流式处理，低延迟推理

E-L1-0009​

预训练语言模型

Transformer编码器堆叠

BERT (Bidirectional Encoder Representations from Transformers)

步骤1：输入表示
输入 = [CLS] + 句子A + [SEP] + 句子B + [SEP]
Token嵌入 + 段嵌入 + 位置嵌入
步骤2：多头自注意力
Attention(Q,K,V)=softmax(QKᵀ/√d_k)V
其中Q=XW_Q, K=XW_K, V=XW_V
多头：MultiHead=Concat(head₁,...,head_h)W_O，head_i=Attention(XW_Qⁱ, XW_Kⁱ, XW_Vⁱ)
步骤3：前馈网络
FFN(x)=max(0, xW₁+b₁)W₂+b₂
步骤4：残差连接与层归一化
LayerNorm(x+Sublayer(x))
步骤5：预训练任务
a. 掩码语言模型：随机掩码15%的token，预测原token
b. 下一句预测：判断句子B是否为句子A的下一句
步骤6：微调
在特定任务数据上更新所有权重
参数选择/优化：
1. 模型尺寸：BERT-base (L=12, H=768, A=12)， BERT-large (L=24, H=1024, A=16)
2. 注意力头数A：通常12或16
3. 隐藏层维度H：768或1024
4. 层数L：12或24
5. 学习率：预训练时1e-4，微调时2e-5到5e-5
6. 最大序列长度：通常512

精度：在GLUE基准测试中平均得分80.5+（BERT-large），在多项NLP任务上达到SOTA
误差：交叉熵损失（MLM和NSP）
强度：强大的上下文语义表征能力，支持多种下游任务

自注意力机制、深度双向语言模型、Transformer架构、迁移学习

1. 文本分类：帖子/评论的情感、主题、意图分类
2. 命名实体识别：从文本中提取人名、地名、组织名等
3. 情感分析：细粒度情感分析（如正面、负面、中性）
4. 问答系统：基于社交平台内容的自动问答
5. 语义相似度计算：判断两段用户文本的语义相似性
6. 虚假信息识别：基于语义理解识别虚假新闻或谣言
7. 仇恨言论检测：识别文本中的仇恨、歧视性内容
8. 意图识别：识别用户查询或发言背后的意图
9. 内容摘要：自动生成帖子或长评论的摘要
10. 跨语言理解：多语言BERT处理多语言社交内容
特征：
- 语义特征：上下文相关的词/句向量
- 语法特征：通过注意力权重隐式学习
- 篇章特征：处理长文本的篇章结构
- 多语言特征：跨语言共享的语义空间

变量：
X∈ℝ^{n×d_model}：输入序列的嵌入表示
Q,K,V∈ℝ^{n×d_k}：查询、键、值矩阵
H∈ℝ^{n×d_model}：隐藏层表示
常量：
L：Transformer层数
H：隐藏层维度
A：注意力头数
参数：
词嵌入矩阵W_embedding
注意力权重W_Q, W_K, W_V, W_O
前馈网络权重W₁, W₂
层归一化参数γ, β

集合特征：词元集合、注意力头集合
逻辑特征：注意力权重的逻辑分布
概率与统计特征：softmax输出的概率分布
随机性：MLM的随机掩码、dropout
不确定性：预测token的概率分布
数据规律和推断：语言的统计规律、上下文共现
极限：当层数L→∞时的表征能力极限
连续性：嵌入空间的连续性
微分：通过反向传播计算梯度
积分：注意力权重的加权求和（离散积分）
级数：多层Transformer的堆叠
收敛性：预训练和微调的损失收敛
测度：注意力权重作为重要性测度
离散：输入token的离散性
排序：通过[CLS]输出进行排序任务
组合：多头注意力的组合
构造：深度网络的层级构造
优化：AdamW优化器
计算与算法特征：时间复杂度O(n²·d_model)（自注意力）
稳定性：层归一化和残差连接提升训练稳定性
对称性/非对称性：自注意力的非对称性（Q≠K）
代数：矩阵乘法、softmax运算
拓扑：序列的拓扑、注意力图
几何：高维语义空间的几何
群：位置编码的平移敏感性
组合数学特征：token序列的排列

核心为自然语言处理
双向上下文语义理解
子词（WordPiece）分词
支持多语言

时序流程（前向传播）：
1. 输入编码阶段：t₀
E = TokenEmbedding(Tokens) + SegmentEmbedding(SegmentIds) + PositionEmbedding(PositionIds)

2. Transformer层堆叠：t₁ 到 t_L (L层)
for l=1 to L:
a. 多头自注意力：
Q, K, V = Linear_l(E), 拆分为A个头
head_i = softmax(Q_i K_iᵀ/√d_k) V_i
MultiHead = Concat(head_1,...,head_A) W_O
E = LayerNorm(E + MultiHead)
b. 前馈网络：
FFN = max(0, E W₁ + b₁) W₂ + b₂
E = LayerNorm(E + FFN)

3. 输出阶段：t_L+
- [CLS]位置的最终隐藏状态H[CLS]用于句子级任务
- 所有位置的最终隐藏状态{H_i}用于词元级任务

预训练流程：
- MLM任务：对随机15%的token，80%替换为[MASK]，10%随机替换，10%保持不变，预测原token。
损失：ℒMLM = -∑_{i∈masked} log P(x_i

x{masked})
- NSP任务：输入句子A和B，预测B是否为A的下一句。
损失：ℒNSP = -[y log(ŷ) + (1-y) log(1-ŷ)]
- 总损失：ℒ = ℒMLM + ℒNSP

服务器配置：
• 超大规模GPU集群：训练BERT-large需256-512张NVIDIA A100/H100 GPU（每卡80GB），总显存20-40TB，通过NVLink和InfiniBand互联，CPU内存总需求100-200TB
• 混合并行策略：数据并行+模型并行+流水线并行，使用DeepSpeed、Megatron-LM等框架，需100-200节点集群
• 推理服务集群：使用TensorRT、FasterTransformer优化，单GPU可处理每秒数千请求，10亿级并发需数千张GPU组成推理集群
• 计算需求：预训练BERT-large on 3.3B词需约10¹⁹次运算，需算力1-2 EFLOPS·天
• 存储需求：训练数据通常数百TB到PB级，模型检查点每个约1-3GB

E-L1-0010​

集成学习/梯度提升

加法模型与决策树集成

XGBoost (eXtreme Gradient Boosting)

步骤1：模型定义
加法模型：ŷi = ∑{k=1}^{K} f_k(x_i), f_k∈ℱ，其中ℱ为决策树空间
步骤2：目标函数
Obj(θ) = ∑{i=1}^{n} l(y_i, ŷi) + ∑{k=1}^{K} Ω(f_k)
其中l为损失函数（如平方损失、logistic损失），Ω(f)=γT + (1/2)λ‖w‖²为正则项，T为叶子节点数，w为叶子权重
步骤3：泰勒展开近似
在第t轮迭代，目标函数近似为：
Obj⁽ᵗ⁾ ≈ ∑{i=1}^{n} [l(y_i, ŷi⁽ᵗ⁻¹⁾) + g_i f_t(x_i) + (1/2)h_i f_t²(x_i)] + Ω(f_t) + constant
其中g_i=∂{ŷ⁽ᵗ⁻¹⁾} l(y_i, ŷi⁽ᵗ⁻¹⁾)，h_i=∂²{ŷ⁽ᵗ⁻¹⁾} l(y_i, ŷ_i⁽ᵗ⁻¹⁾)
步骤4：定义树结构
将样本映射到叶子节点：I_j={i

q(x_i)=j}，q为树结构
定义每个叶子节点j的权重为w_j
则目标函数重写为：
Obj⁽ᵗ⁾ = ∑{j=1}^{T} [ (∑{i∈I_j} g_i) w_j + (1/2)(∑{i∈I_j} h_i + λ) w_j² ] + γT
步骤5：求解最优权重与结构得分
对于固定树结构q，最优叶子权重：w_j* = -G_j/(H_j+λ)，其中G_j=∑{i∈I_j} g_i, H_j=∑{i∈I_j} h_i
代入得最优结构得分：Obj* = -(1/2)∑{j=1}^{T} G_j²/(H_j+λ) + γT
步骤6：贪婪算法寻找分裂点
对于每个节点，尝试所有可能的分裂特征和分裂点，选择使增益最大的分裂：
Gain = (1/2)[G_L²/(H_L+λ) + G_R²/(H_R+λ) - (G_L+G_R)²/(H_L+H_R+λ)] - γ
步骤7：剪枝与迭代
如果Gain<0则停止分裂（后剪枝）。迭代添加新树，更新预测：ŷi⁽ᵗ⁾ = ŷi⁽ᵗ⁻¹⁾ + η f_t(x_i)，η为学习率
参数选择/优化：
1. 树的数量（n_estimators）：通常100-1000，通过早停确定
2. 学习率（eta）：通常0.01-0.3
3. 树的最大深度（max_depth）：通常3-10
4. 正则化参数：γ（min_split_loss）通常0，λ（reg_lambda）通常1
5. 子采样比例（subsample）：0.5-1.0
6. 列采样比例（colsample_bytree）：0.5-1.0

精度：在众多表格数据竞赛（如Kaggle）中表现卓越，常获冠军
误差：损失函数值（如LogLoss，RMSE）
强度：高精度、可解释性较好、能处理缺失值、抗过拟合能力强

梯度提升框架、函数空间优化、加法模型、泰勒展开近似、决策树集成、正则化

1. 用户流失预测：预测用户是否将流失
2. 点击率预估：精准预估广告或内容的点击率
3. 用户价值预测：回归问题，预测用户的长期价值（LTV）
4. 异常交易检测：识别刷单、欺诈等异常行为
5. 内容流行度预测：预测帖子、视频的点赞、转发数
6. 风险评分：对用户或交易进行风险评分
7. 推荐系统排序：作为排序模型对推荐候选集进行精排
8. 多分类任务：如将用户兴趣划分为多个类别
9. 特征重要性分析：分析哪些特征对预测最关键
10. 趋势预测：预测各类指标（如日活）的未来趋势
特征：
- 数值特征：直接输入
- 类别特征：需编码（如目标编码）
- 统计特征：历史行为的统计量（均值、方差）
- 交叉特征：特征间的组合

变量：
ŷ_i：第i个样本的预测值
f_k：第k棵决策树（函数）
g_i, h_i：损失函数的一阶和二阶梯度
w_j：第j个叶子节点的权重
常量：
K：树的总数
n：样本数
参数：
学习率η
正则化系数γ, λ
树的最大深度max_depth
子采样比例subsample

集合特征：样本子集（子采样）、特征子集（列采样）
逻辑特征：决策树的分裂逻辑
概率与统计特征：预测值的概率分布（如逻辑回归输出）
随机性：子采样、列采样的随机性
不确定性：预测概率的不确定性
数据规律和推断：通过梯度提升拟合残差
极限：当树的数量K→∞且学习率η→0时的极限模型
连续性：预测值为连续值（回归）或概率（分类）
微分：损失函数的一阶、二阶梯度（g_i, h_i）
积分：目标函数作为损失和正则项的积分和
级数：加法模型为函数级数
收敛性：梯度提升的收敛性
测度：增益（Gain）作为分裂质量的测度
离散：决策树结构的离散性
排序：特征重要性排序、预测值排序
组合：多棵树的组合预测
构造：决策树的贪婪构造
优化：在函数空间进行梯度下降优化
计算与算法特征：时间复杂度O(K·n·d·log n)
稳定性：正则化和子采样提升稳定性
对称性/非对称性：决策树分裂的非对称性
代数：梯度计算、权重求解
拓扑：特征空间的划分拓扑
几何：在函数空间的几何
群：对样本顺序的排列不变性
组合数学特征：特征分裂点的选择组合

可处理文本的统计特征（如TF-IDF）
通常不直接处理原始文本序列

时序流程（训练）：
1. 初始化：t₀
ŷi⁽⁰⁾ = argmin_θ ∑{i=1}^{n} l(y_i, θ) （如均值或log(odds)）

2. 迭代提升：t₁ 到 t_K (K轮)
for k=1 to K:
a. 计算梯度：
g_i = ∂{ŷ⁽ᵏ⁻¹⁾} l(y_i, ŷi⁽ᵏ⁻¹⁾)
h_i = ∂²{ŷ⁽ᵏ⁻¹⁾} l(y_i, ŷi⁽ᵏ⁻¹⁾)
b. 拟合新树：使用数据集{(x_i, -g_i/h_i)}拟合一棵回归树f_k，以h_i作为样本权重，目标是最小化Obj中的结构得分。
- 从根节点开始，对每个节点：
遍历所有特征和分裂点，计算分裂增益Gain。
选择Gain最大的分裂方案，如果Gain>0且未达到最大深度，则分裂。
- 生成叶子节点j，其最优权重为 w_j= -G_j/(H_j+λ)。
c. 更新模型：
ŷi⁽ᵏ⁾ = ŷi⁽ᵏ⁻¹⁾ + η · f_k(x_i)

3. 输出最终模型：t_K+
ŷi = ŷi⁽ᴷ⁾

预测流程：
ŷi = ∑{k=1}^{K} η · f_k(x_i)

服务器配置：
• 分布式XGBoost方案：使用Dask、Spark或XGBoost原生分布式，需100-300节点集群，每个节点32-64核心、128-256GB内存，总内存12-75TB
• GPU加速方案：XGBoost with GPU support，需8-32张NVIDIA A100/H100 GPU，每卡80GB显存，总显存640GB-2.5TB，比CPU快10-50倍
• 内存优化方案：使用外部内存（external memory）模式处理超出内存的数据，配合SSD存储
• 计算需求：10亿样本×1000特征训练1000棵树，需计算万亿级分裂点，集群算力需求50-200 TFLOPS
• 通信优化：需减少AllReduce通信开销，采用梯度压缩和异步通信

E-L1-0011​

词嵌入

浅层神经网络语言模型

Word2Vec (Skip-gram with Negative Sampling, SGNS)

步骤1：目标函数
最大化给定中心词w_c条件下上下文词w_o出现的概率：
max ∏_{(w_c,w_o)∈D} P(w_o

w_c)
其中D为语料中所有中心词-上下文词对
步骤2：条件概率定义
使用softmax：P(w_o

w_c)=exp(v{w_o}·v{w_c})/∑{w∈V}exp(v_w·v{w_c})
其中v_w和v'w分别为词w的输入和输出向量表示，V为词汇表
步骤3：负采样近似
为降低计算复杂度，使用负采样目标：
log σ(v'{w_o}·v{w_c}) + ∑{i=1}^{k} 𝔼{w_i∼P_n(w)}[log σ(-v'{w_i}·v{w_c})]
其中σ为sigmoid函数，k为负样本数，P_n(w)为噪声分布（如Unigram分布的3/4次方）
步骤4：梯度更新
对于正样本对(w_c, w_o)：
∂J/∂v'{w_o} = [σ(v'{w_o}·v{w_c})-1]·v{w_c}
∂J/∂v{w_c} = [σ(v'{w_o}·v{w_c})-1]·v'{w_o}
对于每个负样本w_i：
∂J/∂v'{w_i} = [σ(v'{w_i}·v{w_c})-0]·v{w_c}
∂J/∂v{w_c} += [σ(v'{w_i}·v{w_c})-0]·v'_{w_i}
步骤5：迭代训练
遍历语料库中的每个中心词及其上下文窗口，使用随机梯度下降更新词向量
参数选择/优化：
1. 向量维度：通常100-300维
2. 上下文窗口大小：通常5-10
3. 负样本数k：通常5-20
4. 采样阈值：对高频词进行下采样，如t=10⁻⁵
5. 初始学习率：通常0.025，随训练递减

精度：在词语类比（如“国王-男人+女人≈女王”）任务上准确率高
密度：词向量在高维空间的分布密度
强度：能捕捉语义和语法规律，计算高效

分布假说、神经网络语言模型、负采样技术、词汇的分布式表示

1. 文本向量化：将用户帖子、评论转化为数值向量
2. 语义相似度计算：计算词语或短文本之间的语义距离
3. 用户兴趣挖掘：通过用户发布内容的词向量聚类发现兴趣点
4. 内容推荐：基于内容语义相似度的推荐
5. 情感词典扩展：通过词向量近义词扩展情感词典
6. 话题建模辅助：作为LDA等主题模型的输入特征
7. 查询扩展：在搜索中，用相似词扩展用户查询
8. 命名实体消歧：根据上下文词向量区分实体含义
9. 垃圾文本过滤：基于词向量识别广告或垃圾文本
10. 跨语言词对齐：在多语言语料上训练，实现词对齐
特征：
- 语义特征：词向量的方向表示语义
- 语法特征：词向量的偏移表示语法关系（如复数、时态）
- 上下文特征：通过窗口大小控制上下文范围

变量：
v_w∈ℝ^d：词w的输入向量
v'_w∈ℝ^d：词w的输出向量
D：正样本对集合
常量：
d：词向量维度
V：词汇表大小
参数：
上下文窗口大小C
负样本数k
下采样阈值t
初始学习率α

集合特征：词汇表集合V、上下文窗口内的词集合
逻辑特征：正负样本的逻辑区分
概率与统计特征：词共现概率、负采样的噪声分布
随机性：负采样随机性、训练样本顺序随机性
不确定性：词向量的训练不确定性
数据规律和推断：分布假说（相似上下文→相似语义）
极限：当语料库规模→∞时的向量极限
连续性：词向量空间的连续性
微分：目标函数对词向量的梯度
积分：softmax分母的求和（近似为负采样）
级数：目标函数中负样本的求和
收敛性：随机梯度下降的收敛性
测度：向量点积作为相似性测度
离散：词汇的离散性
排序：基于相似度的词排序
组合：词向量的线性组合（如类比任务）
构造：通过上下文预测任务构造向量
优化：随机梯度下降优化
计算与算法特征：时间复杂度O(C·d·(1+k)) per center word
稳定性：下采样和负采样提升训练稳定性
对称性/非对称性：Skip-gram模型本身不对称（中心词预测上下文），但词向量空间对称
代数：向量点积、梯度更新
拓扑：词向量空间的拓扑结构
几何：词向量在高维空间的几何关系（如平行四边形法则）
群：词汇的置换群（对词序不敏感）
组合数学特征：上下文窗口内词的组合

核心为词汇的分布式表示
捕捉语义和语法规律

E-L1-0011​

词嵌入

浅层神经网络语言模型

Word2Vec (Skip-gram with Negative Sampling, SGNS)

步骤1：目标函数
最大化给定中心词w_c条件下上下文词w_o出现的概率：
max ∏{(w_c,w_o)∈D} P(w_o|w_c)
其中D为语料中所有中心词-上下文词对
步骤2：条件概率定义
使用softmax：P(w_o|w_c)=exp(v{w_o}·v{w_c})/∑{w∈V}exp(v_w·v{w_c})
其中v_w和v'w分别为词w的输入和输出向量表示，V为词汇表
步骤3：负采样近似
为降低计算复杂度，使用负采样目标：
log σ(v'{w_o}·v{w_c}) + ∑{i=1}^{k} 𝔼{w_i∼P_n(w)}[log σ(-v'{w_i}·v{w_c})]
其中σ为sigmoid函数，k为负样本数，P_n(w)为噪声分布（如Unigram分布的3/4次方）
步骤4：梯度更新
对于正样本对(w_c, w_o)：
∂J/∂v'{w_o} = [σ(v'{w_o}·v{w_c})-1]·v{w_c}
∂J/∂v{w_c} = [σ(v'{w_o}·v{w_c})-1]·v'{w_o}
对于每个负样本w_i：
∂J/∂v'{w_i} = [σ(v'{w_i}·v{w_c})-0]·v{w_c}
∂J/∂v{w_c} += [σ(v'{w_i}·v{w_c})-0]·v'{w_i}
步骤5：迭代训练
遍历语料库中的每个中心词及其上下文窗口，使用随机梯度下降更新词向量
参数选择/优化：
1. 向量维度：通常100-300维
2. 上下文窗口大小：通常5-10
3. 负样本数k：通常5-20
4. 采样阈值：对高频词进行下采样，如t=10⁻⁵
5. 初始学习率：通常0.025，随训练递减

精度：在词语类比（如“国王-男人+女人≈女王”）任务上准确率高
密度：词向量在高维空间的分布密度
强度：能捕捉语义和语法规律，计算高效

分布假说、神经网络语言模型、负采样技术、词汇的分布式表示

1. 文本向量化：将用户帖子、评论转化为数值向量
2. 语义相似度计算：计算词语或短文本之间的语义距离
3. 用户兴趣挖掘：通过用户发布内容的词向量聚类发现兴趣点
4. 内容推荐：基于内容语义相似度的推荐
5. 情感词典扩展：通过词向量近义词扩展情感词典
6. 话题建模辅助：作为LDA等主题模型的输入特征
7. 查询扩展：在搜索中，用相似词扩展用户查询
8. 命名实体消歧：根据上下文词向量区分实体含义
9. 垃圾文本过滤：基于词向量识别广告或垃圾文本
10. 跨语言词对齐：在多语言语料上训练，实现词对齐
特征：
- 语义特征：词向量的方向表示语义
- 语法特征：词向量的偏移表示语法关系（如复数、时态）
- 上下文特征：通过窗口大小控制上下文范围

变量：
v_w∈ℝ^d：词w的输入向量
v'_w∈ℝ^d：词w的输出向量
D：正样本对集合
常量：
d：词向量维度
V：词汇表大小
参数：
上下文窗口大小C
负样本数k
下采样阈值t
初始学习率α

集合特征：词汇表集合V、上下文窗口内的词集合
逻辑特征：正负样本的逻辑区分
概率与统计特征：词共现概率、负采样的噪声分布
随机性：负采样随机性、训练样本顺序随机性
不确定性：词向量的训练不确定性
数据规律和推断：分布假说（相似上下文→相似语义）
极限：当语料库规模→∞时的向量极限
连续性：词向量空间的连续性
微分：目标函数对词向量的梯度
积分：softmax分母的求和（近似为负采样）
级数：目标函数中负样本的求和
收敛性：随机梯度下降的收敛性
测度：向量点积作为相似性测度
离散：词汇的离散性
排序：基于相似度的词排序
组合：词向量的线性组合（如类比任务）
构造：通过上下文预测任务构造向量
优化：随机梯度下降优化
计算与算法特征：时间复杂度O(C·d·(1+k)) per center word
稳定性：下采样和负采样提升训练稳定性
对称性/非对称性：Skip-gram模型本身不对称（中心词预测上下文），但词向量空间对称
代数：向量点积、梯度更新
拓扑：词向量空间的拓扑结构
几何：词向量在高维空间的几何关系（如平行四边形法则）
群：词汇的置换群（对词序不敏感）
组合数学特征：上下文窗口内词的组合

核心为词汇的分布式表示
捕捉语义和语法规律
词向量可用于下游NLP任务

时序流程（训练）：
1. 数据准备：t₀
- 语料库分词，构建词汇表V，计算每个词的频率。
- 初始化所有词w的输入向量v_w和输出向量v'w（随机或预训练）。

2. 遍历语料：t₁ 到 t_epochs
for each epoch:
for each sentence in corpus:
for each center word position t in sentence:
a. 确定上下文：
上下文窗口为[t-C, t+C]（排除t），得到正样本对(w_t, w{t+j})，其中-C≤j≤C, j≠0。
b. 负采样：
对每个正样本对，采样k个负样本词w_i，其采样概率P_n(w) ∝ freq(w)^{3/4}。
c. 梯度计算与更新：
对正样本对(w_t, w{t+j})：
e = σ(v'{w{t+j}}·v{w_t}) - 1
v{w_t} += α * e * v'{w{t+j}}
v'{w{t+j}} += α * e * v{w_t}
对每个负样本w_i：
e = σ(v'{w_i}·v{w_t}) - 0
v{w_t} += α * e * v'{w_i}
v'{w_i} += α * e * v{w_t}
d. 学习率衰减：α = initial_α * (1 - processed_words / total_words)

3. 输出：t_end
- 通常使用输入向量v_w作为最终的词向量。

应用流程（获取词向量）：
- 给定词w，直接查找其训练好的向量v_w。

服务器配置：
• 大规模CPU集群方案：训练万亿token语料库，需200-500节点CPU集群，每个节点配置64-128核心、256GB-1TB内存，总内存50-500TB，存储采用HDFS容量1-5PB
• GPU加速方案：cuWord2Vec等实现，需16-64张NVIDIA A100 GPU，利用GPU并行处理大规模语料，比CPU快10-50倍
• 流式处理方案：在线学习词向量，单节点配置大内存（512GB-2TB）和多核CPU，实时更新词向量
• 计算需求：处理万亿级token语料，训练300维词向量，需计算量约10¹⁶次运算，集群算力需求100-500 TFLOPS
• 内存优化：需高效哈希表存储词向量，使用量化技术减少内存占用

1. GloVe：基于全局词共现矩阵的分解方法
2. FastText：考虑子词信息，能处理未登录词
3. Character-based Word2Vec：基于字符的嵌入，更好处理拼写错误和新词
4. Meta-Embeddings：融合多种预训练词向量
5. Dynamic Word Embeddings：词向量随时间演化
6. Sense Embeddings：一词多义嵌入
7. Graph-based Word Embeddings：结合知识图谱信息
8. Multimodal Word Embeddings：结合视觉信息
9. Contextualized Word Embeddings (ELMo)：上下文相关的词向量
10. Quantized Word2Vec：量化压缩，减少存储和加速推理

E-L1-0012​

监督学习

最大间隔分类器

支持向量机 (SVM)

步骤1：线性可分情况下的硬间隔SVM
优化问题：min{w,b} (1/2)‖w‖², s.t. y_i(w·x_i+b)≥1, ∀i
步骤2：引入拉格朗日乘子
L(w,b,α)=(1/2)‖w‖² - ∑{i=1}^{n} α_i[y_i(w·x_i+b)-1], α_i≥0
步骤3：转化为对偶问题
对w,b求偏导并置零：∂L/∂w=0 → w=∑{i=1}^{n} α_i y_i x_i；∂L/∂b=0 → ∑{i=1}^{n} α_i y_i=0
代入得对偶问题：max_α ∑{i=1}^{n} α_i - (1/2)∑{i=1}^{n}∑{j=1}^{n} α_i α_j y_i y_j x_i·x_j, s.t. α_i≥0, ∑{i=1}^{n} α_i y_i=0
步骤4：非线性情况与核技巧
引入映射φ将数据映射到高维特征空间，用核函数K(x_i,x_j)=φ(x_i)·φ(x_j)代替点积
对偶问题变为：max_α ∑{i=1}^{n} α_i - (1/2)∑{i=1}^{n}∑{j=1}^{n} α_i α_j y_i y_j K(x_i,x_j)
步骤5：软间隔与松弛变量
对于线性不可分，引入松弛变量ξ_i：min{w,b,ξ} (1/2)‖w‖² + C∑{i=1}^{n} ξ_i, s.t. y_i(w·x_i+b)≥1-ξ_i, ξ_i≥0
其对偶问题仅增加约束α_i≤C
步骤6：求解与决策函数
使用SMO等算法求解α，得到支持向量（α_i>0的样本）
决策函数：f(x)=sign(∑{i∈SV} α_i y_i K(x_i,x) + b)
参数选择/优化：
1. 核函数选择：线性核、多项式核、RBF核（K(x,z)=exp(-γ‖x-z‖²)）
2. 正则化参数C：控制间隔大小与分类错误的权衡，通常通过网格搜索确定
3. 核参数：如RBF核的γ，多项式核的阶数d
4. 分类阈值：可通过调整决策阈值来平衡精确率与召回率

精度：在中小规模高维数据（如文本分类）上表现优异
误差：铰链损失（Hinge Loss）
强度：泛化能力强，尤其适合高维稀疏数据

统计学习理论、结构风险最小化、VC维理论、核方法、凸优化

1. 文本分类：新闻分类、垃圾邮件识别、情感分类
2. 用户画像分类：基于用户特征进行分群
3. 异常检测：识别与正常模式差异大的样本
4. 图像识别：手写数字识别、人脸检测
5. 生物信息学：基因表达数据分类
6. 时间序列预测：股票价格趋势预测
7. 推荐系统：基于内容的推荐
8. 医学诊断：疾病预测与分类
9. 网络安全：入侵检测系统
10. 质量控制：工业产品缺陷检测

变量：
w∈ℝ^d：权重向量
b∈ℝ：偏置项
α_i∈ℝ：拉格朗日乘子
ξ_i∈ℝ：松弛变量
常量：
n：样本数量
C：正则化参数
参数：
核函数类型kernel
核参数（如γ）
正则化参数C

集合特征：支持向量集合
逻辑特征：决策边界的逻辑划分
概率与统计特征：可输出概率估计（Platt缩放）
随机性：SMO算法选择工作集的随机性
不确定性：软间隔引入的不确定性
数据规律和推断：最大间隔原理，结构风险最小化
极限：当C→∞时退化为硬间隔SVM
连续性：决策函数的连续性（取决于核）
微分：拉格朗日函数的偏导，优化中的梯度
积分：核函数隐含的特征空间内积
级数：对偶问题中的双重求和
收敛性：SMO等优化算法的收敛性
测度：间隔距离作为分类置信度的测度
离散：支持向量的离散集合
排序：按α_i值对支持向量排序
组合：支持向量的线性组合构成决策面
构造：通过求解凸优化问题构造模型
优化：求解二次规划问题
计算与算法特征：训练O(n³)，推理O(支持向量数)
稳定性：仅由支持向量决定，对噪声相对稳健
对称性/非对称性：决策函数可能不对称
代数：向量内积、二次规划
拓扑：特征空间与核诱导的拓扑
几何：最大间隔超平面的几何
群：对数据点的置换不变性
组合数学特征：支持向量的选择组合

广泛应用于文本分类（高维稀疏特征）
可通过核函数处理序列等结构化数据

时序流程：
1. 预处理阶段：t₀
- 特征标准化/归一化
- 选择核函数并计算核矩阵K（可选）

2. 训练阶段：t₁-t₂
- 求解对偶优化问题（如使用SMO算法）：
a. 初始化α=0
b. 选择违反KKT条件最严重的两个变量α_i, α_j
c. 固定其他变量，优化子问题更新α_i, α_j
d. 更新阈值b
e. 重复直到满足收敛条件
- 识别支持向量：{i |α_i > 0}

3. 决策阶段：t₃
- 对新样本x，计算：f(x) = sign(∑_{i∈SV} α_i y_i K(x_i, x) + b)

交互流程：
- 支持向量与决策面的交互：决定了超平面的位置和方向
- 核函数隐式定义了样本在高维空间的相似性交互

服务器配置：
• 分布式SVM方案：使用LIBSVM的分布式版本或Spark MLlib，需50-200节点集群，每个节点32-64核心、128-256GB内存，处理10亿样本需总内存20-50TB
• GPU加速方案：ThunderSVM等实现，需8-32张NVIDIA A100 GPU，利用GPU并行计算核矩阵和优化，适合大规模核方法
• 在线学习方案：Pegasos等在线SVM算法，单节点配置大内存（512GB-2TB）处理流式数据
• 计算需求：10亿样本训练非线性SVM，核矩阵计算需10¹⁸次运算，存储需EB级，需采用近似方法或线性核
• 内存优化：需核缓存、样本缩略、在线学习等技术处理超大规模数据

1. Linear SVM (LIBLINEAR)：专为大规模线性SVM设计，高效处理高维数据
2. Sequential Minimal Optimization (SMO)：高效求解SVM对偶问题
3. Least Squares SVM (LS-SVM)：将不等式约束改为等式，求解线性系统
4. ν-SVM：用参数ν控制支持向量比例和错误率
5. One-class SVM：用于异常检测和无监督学习
6. Multi-class SVM：一对多、一对一等扩展
7. Transductive SVM：利用未标注数据
8. Structured SVM：处理结构化输出
9. Laplacian SVM：半监督学习，利用流形假设
10. Budgeted SVM：限制支持向量数量，适用于资源受限场景

E-L1-0013​

主题模型

概率生成模型

隐狄利克雷分布 (LDA)

步骤1：生成过程
1. 对每个主题k∈{1,...,K}，从Dirichlet(η)生成词分布β_k
2. 对每个文档d∈{1,...,D}：
a. 从Dirichlet(α)生成主题分布θ_d
b. 对文档中每个词位置n∈{1,...,N_d}：
i. 从Multinomial(θ_d)生成主题z{d,n}
ii. 从Multinomial(β{z{d,n}})生成词w{d,n}
步骤2：联合分布
p(β,θ,z,w|α,η) = ∏{k=1}^{K} p(β_k|η) ∏{d=1}^{D} [p(θ_d|α) ∏{n=1}^{N_d} p(z{d,n}|θ_d) p(w{d,n}|β, z{d,n})]
步骤3：变分推断（VB）
引入变分分布q(β,θ,z|λ,γ,φ)近似后验，通过最大化证据下界(ELBO)优化变分参数：
ELBO = 𝔼q[log p(β,θ,z,w)] - 𝔼q[log q(β,θ,z)]
步骤4：吉布斯采样（Collapsed Gibbs Sampling）
对每个词的主题分配进行采样：
p(z_i=k|z{-i},w) ∝ (n{d,k}^{-i}+α) * (n{k,w_i}^{-i}+η) / (n_k^{-i}+Vη)
其中n{d,k}^{-i}是文档d中分配给主题k的词数（排除当前词），n{k,w_i}^{-i}是词w_i分配给主题k的次数（排除当前词），n_k^{-i}是分配给主题k的总词数（排除当前词）
步骤5：参数估计
主题-词分布：β{k,v} = (n{k,v}+η) / (n_k+Vη)
文档-主题分布：θ{d,k} = (n_{d,k}+α) / (N_d+Kα)
参数选择/优化：
1. 主题数K：通过困惑度、主题一致性等指标选择
2. 超参数α,η：通常设为对称先验，如α=50/K, η=0.01
3. 迭代次数：通常1000-5000次吉布斯采样迭代
4. 随机种子：影响结果可重复性

精度：困惑度（Perplexity）衡量模型对新文档的预测能力
密度：主题在文档和词上的分布密度
强度：主题的区分度和可解释性

贝叶斯推断、狄利克雷-多项式共轭、混合模型、概率图模型

1. 文档主题挖掘：从海量帖子/新闻中自动发现隐含主题
2. 用户兴趣建模：通过用户历史内容推断其兴趣主题分布
3. 内容推荐：基于主题相似性进行内容推荐
4. 话题演化追踪：分析特定主题随时间的变化趋势
5. 跨语言主题对齐：在不同语言语料中发现对应主题
6. 文本摘要：提取文档的主题词生成摘要
7. 情感主题分析：结合情感分析的主题模型
8. 虚假信息主题分析：识别虚假信息常见的主题模式
9. 社区发现：基于主题相似性发现用户社区
10. 广告定向：根据用户主题兴趣进行精准广告投放
特征：
- 主题特征：主题分布θ_d，主题-词分布β_k
- 文档特征：文档长度、主题多样性
- 词特征：词频、主题特异性

变量：
β_k∈Simplex^V：主题k的词分布
θ_d∈Simplex^K：文档d的主题分布
z{d,n}∈{1,...,K}：词的主题分配
w{d,n}∈{1,...,V}：观测到的词
常量：
K：主题数量
V：词汇表大小
D：文档数量
参数：
文档-主题先验α
主题-词先验η

集合特征：文档集、词表、主题集
逻辑特征：词到主题的分配关系
概率与统计特征：多项分布、狄利克雷分布、后验估计
随机性：吉布斯采样的随机性、先验的随机性
不确定性：主题分布和词分布的后验不确定性
数据规律和推断：文档-词共现的潜在主题结构
极限：当K→V时的极限行为（每个词一个主题）
连续性：狄利克雷分布的连续性
微分：变分推断中的梯度计算
积分：边缘化隐变量（Collapsed Gibbs）
级数：ELBO的期望计算
收敛性：吉布斯链的收敛性、变分推断的收敛性
测度：主题分布的测度（Simplex）
离散：词、主题分配的离散性
排序：按主题概率排序词、文档
组合：文档中主题的混合组合
构造：通过生成过程构造模型
优化：最大化ELBO或后验概率
计算与算法特征：时间复杂度O(K×文档总词数×迭代次数)
稳定性：结果对初始化和超参数敏感
对称性/非对称性：主题标签的对称性（需处理）
代数：计数统计、归一化
拓扑：主题Simplex的拓扑
几何：主题空间（Simplex）的几何
群：主题标签的置换群
组合数学特征：词分配到主题的组合

核心为文本主题建模
处理词袋表示，忽略语序
主题词列表具有语义可解释性

时序流程（Collapsed Gibbs Sampling）：
1. 初始化：t₀
- 随机或基于频率为每个词分配一个主题z{d,n}
- 初始化计数矩阵n{d,k}, n{k,v}, n_k

2. 迭代采样：t₁ 到 t{max_iter}
for iter=1 to max_iter:
for each document d:
for each word position n in d:
a. 减计数：当前词w{d,n}的主题z_old = z{d,n}
n{d,z_old}--, n{z_old, w}--, n{z_old}--
b. 计算采样分布：对每个主题k=1..K，计算
p(z=k) ∝ (n{d,k}+α) * (n{k,w}+η) / (n_k+Vη)
c. 采样新主题：z_new ∼ Multinomial(p(z))
d. 加计数：z{d,n}=z_new, n{d,z_new}++, n{z_new,w}++, n{z_new}++

3. 参数估计：t{max_iter}+
- 主题-词分布：β{k,v} = (n{k,v}+η) / (n_k+Vη)
- 文档-主题分布：θ{d,k} = (n{d,k}+α) / (N_d+Kα)

推理流程（新文档）：
- 固定β，用吉布斯采样或变分推断估计新文档的θ和z。

服务器配置：
• Spark MLlib LDA：分布式LDA实现，需100-300节点Spark集群，每个节点32-64核心、128-256GB内存，总内存12-75TB，处理10亿文档需存储50-200TB
• GPU加速方案：cuLDA等实现，利用GPU加速吉布斯采样，需16-64张NVIDIA A100 GPU，适合中等规模语料
• 在线LDA方案：处理流式文档，单节点或小集群配置，内存需求与主题数K和词表大小V相关
• 计算需求：10亿文档、平均长度100词、K=100主题，单次吉布斯迭代需处理千亿次计数更新，算力需求50-200 TFLOPS
• 通信优化：分布式LDA需在节点间同步全局主题-词计数，通信开销大，需优化同步策略

1. Online LDA：在线变分贝叶斯，支持流式数据
2. Spark LDA：基于EM或在线变分推断的分布式实现
3. LightLDA：微软开发，极大规模LDA，基于Metropolis-Hastings Walker算法
4. GPU-LDA：利用GPU并行加速吉布斯采样
5. Dynamic Topic Models：主题随时间演化
6. Correlated Topic Model (CTM)：考虑主题间的相关性
7. Supervised LDA (sLDA)：结合文档标签/响应变量
8. Relational Topic Model (RTM)：建模文档间链接关系
9. Pachinko Allocation Model (PAM)：层次主题模型
10. Neural Topic Models (NTM)：结合神经网络的变体

E-L1-0014​

时间序列预测

可加性模型与分解

Prophet (Facebook Prophet)

步骤1：模型分解
y(t) = g(t) + s(t) + h(t) + ε_t
其中：
- g(t)：趋势项，使用逻辑增长或分段线性趋势
- s(t)：季节项，使用傅里叶级数建模
- h(t)：节假日效应，使用指示变量和参数
- ε_t：误差项，假设服从正态分布
步骤2：趋势项建模
a. 逻辑增长趋势：g(t) = C / (1 + exp(-k(t - m)))
其中C为承载容量，k为增长率，m为偏移参数
b. 分段逻辑增长：允许增长率k和偏移m在变化点处变化
c. 线性趋势：g(t) = (k + a(t)ᵀδ) t + (m + a(t)ᵀγ)
其中a(t)为指示向量，δ为增长率变化量，γ为偏移调整量
步骤3：季节项建模
使用傅里叶级数：s(t) = ∑{n=1}^{N} [a_n cos(2πnt/P) + b_n sin(2πnt/P)]
其中P为周期（如年周期P=365.25），N为傅里叶级数阶数，控制平滑度
步骤4：节假日效应
h(t) = ∑{i} κ_i · 1_{t∈D_i}
其中D_i为节假日i的日期集合，κ_i为对应效应大小
步骤5：贝叶斯推断
使用Stan进行哈密顿蒙特卡洛采样或最大后验估计，得到参数后验分布，进而得到预测区间
参数选择/优化：
1. 趋势类型：growth='linear'或'logistic'
2. 季节项周期和阶数：年季节yearly_seasonality，周季节weekly_seasonality，日季节daily_seasonality
3. 变化点：changepoints指定或自动检测
4. 节假日：holidays参数指定节假日数据框
5. 置信区间：interval_width控制预测区间宽度

精度：在多种时间序列预测竞赛中表现稳健，尤其适合具有强季节性的商业数据
误差：平均绝对误差（MAE）、均方根误差（RMSE）
强度：可解释性强，自动处理缺失值、异常点，支持不确定性估计

可加性时间序列模型、结构时间序列、傅里叶级数、贝叶斯统计

1. DAU/MAU预测：预测每日/每月活跃用户数趋势
2. 流量预测：预测网站/APP访问量、带宽需求
3. 内容互动预测：预测帖子点赞、评论、分享量的未来趋势
4. 广告收入预测：预测平台广告收入的时间序列
5. 服务器负载预测：预测CPU、内存、网络使用率，用于弹性伸缩
6. 用户增长预测：预测新增用户数，指导拉新策略
7. 话题热度预测：预测特定话题未来的热度走势
8. 异常检测：对比预测值与实际值，检测异常波动
9. 资源规划：基于预测结果进行人力资源和服务器资源规划
10. 财务预测：预测营收、成本等财务指标
特征：
- 趋势特征：长期增长/下降模式
- 季节特征：年、周、日级别的周期性
- 事件特征：节假日、促销活动等外部事件影响
- 回归特征：可选的外部回归变量

变量：
y_t：t时刻的观测值
g(t)：趋势项函数
s(t)：季节项函数
h(t)：节假日项函数
常量：
P：季节周期（如365.25, 7）
N：傅里叶级数阶数
参数：
增长率k，承载容量C，偏移m
傅里叶系数a_n, b_n
节假日效应κ_i
变化点位置、变化量δ, γ

集合特征：时间点集合、变化点集合、节假日集合
逻辑特征：节假日指示变量
概率与统计特征：参数后验分布、预测区间
随机性：贝叶斯推断中的采样随机性
不确定性：预测区间量化不确定性
数据规律和推断：时间序列的可加性分解规律
极限：当N→∞时傅里叶级数可逼近任意周期函数
连续性：趋势和季节项是连续函数（分段连续）
微分：逻辑增长函数的导数表示增长率
积分：季节项的傅里叶级数表示
级数：傅里叶级数展开
收敛性：优化算法和MCMC采样的收敛性
测度：时间作为连续测度
离散：观测时间点的离散性
排序：时间点的自然排序
组合：趋势、季节、节假日项的可加组合
构造：通过模型公式构造预测
优化：最大后验估计或MCMC采样
计算与算法特征：时间复杂度O(T log T)，T为历史数据点
稳定性：对缺失值和异常点稳健
对称性/非对称性：时间方向的不对称性（预测未来）
代数：傅里叶级数计算、矩阵运算
拓扑：时间序列的拓扑（顺序）
几何：时间序列在向量空间的几何
群：时间平移的不变性（对平稳序列）
组合数学特征：变化点、节假日的排列组合

主要用于数值时间序列预测
可结合文本特征作为外部回归项（需另处理）

时序流程：
1. 数据准备阶段：t₀
- 准备时间序列数据框，包含两列：ds (日期戳) 和 y (观测值)
- 可选：指定节假日数据框

2. 模型拟合阶段：t₁
- 构建设计矩阵：包括趋势基函数、傅里叶基函数、节假日指示变量
- 通过最大后验估计或MCMC采样求解模型参数：
argmax_{θ} p(θ|y) ∝ p(y|θ)p(θ)
- 得到参数的后验分布（或点估计）

3. 预测阶段：t₂
- 对未来时间点构建相同的设计矩阵
- 计算预测值：ŷ(t) = g(t;θ) + s(t;θ) + h(t;θ)
- 计算预测区间：从参数后验分布采样，生成多条预测路径，取分位数

4. 结果分析阶段：t₃
- 可视化趋势、季节性和节假日分量
- 分析预测区间和不确定性来源

服务器配置：
• 单机/容器化方案：Prophet计算轻量，单节点即可预测大量序列。建议配置：16-32核心CPU、64-128GB内存、1TB SSD。可容器化部署，按需水平伸缩实例数量。
• 分布式批处理方案：使用PySpark或Dask并行预测千万级时间序列（如每个用户/商品的DAU）。需50-100节点集群，每个节点8-16核心、32-64GB内存。
• 计算需求：单条序列预测计算开销小，10亿条序列的批处理预测需算力约10-50 TFLOPS，主要瓶颈在I/O和任务调度。
• 内存需求：主要存储历史序列和模型参数，10亿条序列（每条长度1000）约需4TB内存（float32）。
• 在线推理：支持低延迟在线预测，可部署为微服务。

1. NeuralProphet：结合神经网络，可建模更复杂的非线性关系
2. Prophet with External Regressors：支持加入外部回归变量
3. Multi-series Prophet：对相关序列进行联合建模
4. Prophet for Anomaly Detection：基于预测区间进行异常检测
5. Bayesian Structural Time Series (BSTS)：更灵活的贝叶斯结构时间序列模型
6. ARIMA/SARIMA：经典统计时间序列模型
7. Exponential Smoothing (ETS)：另一种经典可加性模型
8. DeepAR (GluonTS)：基于自回归RNN的概率预测模型
9. Temporal Fusion Transformer (TFT)：基于Transformer的时序预测
10. N-BEATS：纯深度学习架构，适用于大规模序列预测

E-L1-0015​

异常检测

基于隔离的集成方法

孤立森林 (Isolation Forest)

步骤1：隔离概念
异常点是“稀少且不同”的，因此容易被随机划分隔离。
步骤2：构建孤立树（iTree）
递归随机分割数据：
1. 随机选择一个特征q
2. 随机选择该特征的一个分割值p，介于当前节点数据中该特征的最小值和最大值之间
3. 将数据划分为两部分：左子节点（q < p）和右子节点（q ≥ p）
4. 递归分割，直到满足停止条件：树达到高度限制l，或节点只包含一个样本/所有样本相同
步骤3：异常评分
样本x的路径长度h(x)：从iTree的根节点到叶子节点经过的边数。
平均路径长度c(n)：给定样本数n的iTree中路径长度的平均值，用于归一化：c(n)=2H(n-1)-2(n-1)/n，其中H(i)为调和数。
样本x的异常分数：s(x,n)=2^{-E(h(x))/c(n)}
其中E(h(x))是样本x在多棵iTree中的平均路径长度。
s(x,n)越接近1，越可能是异常；越接近0，越可能是正常样本；≈0.5时无显著异常。
步骤4：集成
构建t棵iTree形成孤立森林，每棵树使用子采样样本ψ训练。
参数选择/优化：
1. 树的数量t：通常100-200
2. 子采样大小ψ：通常256，增大ψ适用于更多、更微弱的异常
3. 树的高度限制l：通常设为⌈log₂(ψ)⌉，与ψ相关
4. 异常分数阈值：通常设定为>0.5或>0.6

精度：在多个异常检测基准数据集上表现优异，尤其在高维数据上
密度：不直接建模密度，但异常点对应低密度区域
强度：计算高效，线性时间复杂度，适合大规模数据

异常点的“易隔离性”、随机划分、集成学习、平均路径长度作为异常度量

1. 金融欺诈检测：识别信用卡盗刷、洗钱交易
2. 网络入侵检测：识别异常网络流量、攻击行为
3. 工业缺陷检测：识别制造过程中的异常产品
4. 医疗异常诊断：识别异常病历、医疗影像
5. 社交媒体异常用户：识别机器人账号、水军、异常活跃用户
6. 传感器异常：识别IoT传感器中的故障或异常读数
7. 系统监控：识别服务器性能指标（CPU、内存）的异常
8. 日志异常检测：从系统/应用日志中发现异常模式
9. 生物信息学：识别基因表达数据中的异常样本
10. 时间序列异常点检测：结合滑动窗口用于时间序列
特征：
- 数值特征：直接输入，对量纲相对不敏感
- 类别特征：需编码，或使用扩展算法（如SCiForest）
- 特征组合：随机选择特征，自动隐式考虑特征间关系

变量：
X∈ℝ^{n×d}：输入数据集
h(x)：样本x在单棵iTree中的路径长度
E(h(x))：平均路径长度
s(x)：异常分数
常量：
t：iTree的数量
ψ：子采样大小
l：树的最大高度（与ψ相关）
参数：
树的数量n_estimators
子采样大小max_samples
随机种子random_state

集合特征：子采样集、特征子集
逻辑特征：二叉划分的决策逻辑
概率与统计特征：路径长度的分布、异常分数的概率解释
随机性：特征和分割点的随机选择
不确定性：异常分数的阈值选择带来不确定性
数据规律和推断：异常点路径短
极限：当ψ→n，t→∞时，异常分数收敛
连续性：路径长度和异常分数的连续性
微分：不直接涉及
积分：平均路径长度的期望计算
级数：调和数c(n)的计算
收敛性：集成平均的收敛性
测度：路径长度作为“隔离难度”的测度
离散：决策树结构的离散性
排序：按异常分数排序样本
组合：多棵iTree的集成
构造：随机二叉树的递归构造
优化：无显式优化，纯构建过程
计算与算法特征：时间复杂度O(t·ψ·log ψ)，接近线性
稳定性：对随机种子敏感，集成提高稳定性
对称性/非对称性：划分的随机对称性
代数：对数、指数运算
拓扑：特征空间的随机划分拓扑
几何：通过超矩形划分空间，异常点落在小体积单元中
群：对样本顺序的置换不变性
组合数学特征：特征和分割点的随机组合

主要用于数值特征
文本特征需转化为数值（如TF-IDF）后使用

时序流程：
1. 训练阶段：t₀-t₁
for i=1 to t:
a. 从X中随机子采样ψ个样本得到X_sub
b. 递归构建iTree：
function iTree(X_sub, e, l):
if e≥l or |X_sub|≤1:
return 外部节点{size: |X_sub|}
else:
随机选择特征q和分割值p
X_left = {x∈X_sub |x_q < p}
X_right = {x∈X_sub |x_q ≥ p}
return 内部节点{left: iTree(X_left, e+1, l), right: iTree(X_right, e+1, l), split_att: q, split_value: p}
l通常设为⌈log₂(ψ)⌉

2. 评分阶段：t₂-t₃
for each sample x in X:
for each iTree in forest:
计算路径长度h_i(x)
E(h(x)) = average(h_i(x))
s(x) = 2^{-E(h(x))/c(ψ)}

3. 决策阶段：t₄
- 根据阈值（如0.6）或排序top-k判断异常

服务器配置：
• 单机方案：Scikit-learn实现，处理10亿样本需单节点大内存（1-2TB）和高性能CPU（32-64核心）。利用多线程并行构建树木。
• 分布式方案：Spark MLlib Isolation Forest，需50-150节点Spark集群，每个节点16-32核心、64-128GB内存，总内存3-20TB。数据并行构建森林，合并结果。
• GPU加速方案：cuML Isolation Forest，需4-16张NVIDIA A100 GPU，利用GPU并行构建和评分，比CPU快5-20倍。
• 计算需求：10亿样本，ψ=256，t=100，计算量约2.5×10¹¹次比较，算力需求10-50 TFLOPS。
• 内存/存储：训练过程只需子采样数据，内存需求低。但全量数据评分需存储或流式读取。

1. Extended Isolation Forest：解决原算法对轴平行的偏见，产生任意方向的划分
2. SCiForest (Isolation Forest with Split-selection Criterion)：改进分割点选择，提高对局部异常和分类数据的检测能力
3. Massive Online Analysis (MOA) iForest：流式数据版本
4. Isolation Forest with Penalization：对高维数据中不相关特征进行惩罚
5. DIF (Density-based Isolation Forest)：结合密度估计
6. LODA (Lightweight Online Detector of Anomalies)：多个随机一维直方图的集成，更高效
7. RRCF (Robust Random Cut Forest)：处理流式数据，可动态更新
8. Feature Bagging for Anomaly Detection：集成多种基检测器
9. Isolation Forest for Time Series：结合滑动窗口或序列特征
10. Deep Isolation Forest：用神经网络学习数据的划分

E-L1-0016​

推荐系统

深度因子分解机

DeepFM

步骤1：模型架构
ŷ = sigmoid(y{FM} + y{DNN})
其中y{FM}为因子分解机部分，捕获低阶特征交互；y{DNN}为深度神经网络部分，捕获高阶特征交互。
步骤2：因子分解机（FM）部分
y{FM} = w₀ + ∑{i=1}^{n} w_i x_i + ∑{i=1}^{n}∑{j=i+1}^{n} ⟨v_i, v_j⟩ x_i x_j
其中w₀为全局偏置，w_i为一阶权重，v_i∈ℝ^k为特征i的隐向量，⟨·,·⟩为点积。
通过数学优化，计算复杂度可降至线性：∑∑⟨v_i,v_j⟩x_ix_j = (1/2)∑{f=1}^{k}[(∑{i=1}^{n} v{i,f}x_i)² - ∑{i=1}^{n} v{i,f}² x_i²]
步骤3：深度神经网络（DNN）部分
输入为所有特征的嵌入向量的拼接：a⁽⁰⁾ = [e₁, e₂, ..., e_n]，其中e_i = V{i}·x_i（若x_i为field i的one-hot向量，则e_i即为该field对应的特征嵌入）。
然后通过多层全连接网络：a⁽ˡ⁺¹⁾ = σ(W⁽ˡ⁾a⁽ˡ⁾ + b⁽ˡ⁾)
最终：y{DNN} = w{dnn}·a⁽ᴸ⁾ + b_{dnn}
步骤4：共享特征嵌入
FM中的隐向量v_i与DNN输入层的嵌入向量e_i共享。这使模型能同时从原始特征中学习低阶和高阶交互，且减少参数量。
步骤5：模型训练
使用二元交叉熵损失：ℒ = - (1/N) ∑ [y log ŷ + (1-y) log(1-ŷ)]
参数选择/优化：
1. 嵌入维度k：通常10-100
2. DNN隐藏层结构：层数2-4，每层神经元数200-1000
3. 激活函数：ReLU, tanh等
4. Dropout率：0.5-0.8防止过拟合
5. 优化器：Adam, 学习率0.001-0.01

精度：在Criteo、Avazu等广告点击率预测数据集上优于FM、Wide&Deep等模型
误差：LogLoss (二元交叉熵)，AUC也常用
强度：兼具记忆（低阶交互）和泛化（高阶交互）能力，端到端训练

因子分解机、深度神经网络、特征交互、共享表示学习、记忆与泛化结合

1. 广告点击率预估：精准预估用户点击广告的概率
2. 内容推荐：推荐新闻、视频、商品等
3. 应用商店推荐：推荐用户可能下载的APP
4. 好友推荐：推荐潜在的好友或关注对象
5. 搜索排序：基于用户查询和上下文对搜索结果排序
6. 个性化推送：决定向用户推送什么内容
7. 交叉销售：电商中推荐关联商品
8. 用户流失预警：预测用户流失概率，作为特征之一
9. 冷启动推荐：对新用户/物品进行初步推荐
10. 榜单个性化：生成个性化的热门榜单
特征：
- 用户特征：人口属性、历史行为
- 物品特征：类别、标签、流行度
- 上下文特征：时间、地点、设备
- 交叉特征：用户-物品组合特征

变量：
x∈ℝ^n：输入特征向量（通常为multi-field one-hot）
v_i∈ℝ^k：特征i的隐向量（嵌入）
a⁽ˡ⁾：DNN第l层的激活值
ŷ∈(0,1)：预测概率
常量：
n：特征数量（one-hot后维度极大）
k：嵌入维度
L：DNN层数
参数：
权重w₀, w_i, W⁽ˡ⁾
偏置b⁽ˡ⁾
嵌入矩阵V∈ℝ^{n×k}

集合特征：特征域集合、隐因子集合
逻辑特征：FM部分建模特征对交互
概率与统计特征：输出点击概率
随机性：权重初始化、Dropout
不确定性：预测概率的不确定性
数据规律和推断：特征交互的复杂模式
极限：当DNN层宽→∞时的表示能力
连续性：输出概率的连续性
微分：通过反向传播计算梯度
积分：FM部分的优化计算形式类似积分
级数：DNN的多层变换
收敛性：训练损失收敛性
测度：点积作为特征相似性测度
离散：输入特征的离散性（ID类）
排序：按预测概率排序物品
组合：低阶和高阶特征交互的组合
构造：FM和DNN的并行构造
优化：最小化交叉熵损失
计算与算法特征：时间复杂度O(nk + DNN参数量)
稳定性：共享嵌入使训练更稳定
对称性/非对称性：FM部分交互是对称的
代数：向量点积、矩阵乘法
拓扑：特征嵌入空间的拓扑
几何：隐向量在空间中的几何关系
群：特征排列的不变性（需处理）
组合数学特征：特征交互的组合枚举

处理大量的类别型ID特征
文本特征可通过嵌入接入

时序流程：
1. 输入编码：t₀
- 输入为multi-field特征，每个field是one-hot或multi-hot。
- 对每个field，通过嵌入层查找：e_i = V{field_i}·x{field_i}
- 得到嵌入向量列表[e₁, e₂, ..., e_m] (m为field数)

2. FM部分前向：t₁
- 一阶部分：∑ w_i x_i (实际中x_i常为1，w_i为对应特征的权重)
- 二阶部分：利用优化公式计算 ∑∑⟨v_i,v_j⟩x_i x_j
- 输出：y{FM} = w₀ + 一阶和 + 二阶和

3. DNN部分前向：t₂
- 拼接嵌入向量：a⁽⁰⁾ = concat(e₁, e₂, ..., e_m)
- 前向传播：a⁽ˡ⁺¹⁾ = ReLU(W⁽ˡ⁾a⁽ˡ⁾ + b⁽ˡ⁾)，可能加入Dropout
- 最终层：y{DNN} = sigmoid/linear(W⁽ᴸ⁾a⁽ᴸ⁾ + b⁽ᴸ⁾)

4. 输出与损失：t₃
- ŷ = sigmoid(y{FM} + y{DNN})
- ℒ = -[y log ŷ + (1-y) log(1-ŷ)]

5. 反向传播与更新：t₄
- 计算梯度，更新所有参数（包括共享嵌入矩阵V）

服务器配置：
• 大规模GPU训练集群：训练需处理十亿级样本、百万级特征，需50-200张NVIDIA A100/H100 GPU，通过参数服务器或AllReduce同步嵌入矩阵。CPU内存需500GB-2TB存储特征映射和优化器状态。
• 分布式推荐系统框架：集成于字节跳动ByteAir、阿里推荐等平台。采用CPU-GPU异构集群，CPU处理特征工程和样本拼接，GPU进行模型计算。
• 在线推理服务：使用TensorRT优化，单GPU可支持每秒数万次预测。10亿级并发需数千个推理实例，通过负载均衡和服务发现组成集群。
• 计算需求：训练复杂度高，需算力100-500 PFLOPS。
• 存储需求：嵌入矩阵可能达百GB到TB级，需高速参数存储。

1. xDeepFM：引入压缩交互网络(CIN)，显式地学习有界阶特征交互
2. NFM (Neural Factorization Machines)：在FM的二阶交互池化后加DNN
3. AFM (Attentional Factorization Machines)：在FM中加入注意力机制权衡特征交互的重要性
4. Deep & Cross Network (DCN)：用交叉网络显式学习高阶特征交互
5. AutoInt：使用自注意力机制学习特征交互
6. FiBiNET：结合Squeeze-Excitation网络动态学习特征重要性
7. FLEN：Field-wise Bi-Interaction，降低FM部分复杂度
8. DeepFM with Multi-task Learning：共享底层，同时优化CTR、CVR等多个目标
9. DeepFM for Sequential Recommendation：结合用户行为序列
10. TinyDeepFM：模型压缩版本，用于移动端部署

E-L1-0017​

多模态学习

对比语言-图像预训练

CLIP (Contrastive Language-Image Pretraining)

步骤1：双编码器架构
图像编码器（如ViT、ResNet）和文本编码器（如Transformer），分别将图像和文本映射到共享的d维向量空间。
步骤2：对比预训练目标
给定一个批次N个（图像，文本）对，计算相似度矩阵S∈ℝ^{N×N}，其中S{i,j} = 图像i·文本j / τ，τ为可学习的温度参数。
目标函数为对称的交叉熵损失：
ℒi = -log[exp(S{i,i}/τ) / ∑{j=1}^{N} exp(S{i,j}/τ)]
ℒt = -log[exp(S{i,i}/τ) / ∑{j=1}^{N} exp(S{j,i}/τ)]
总损失：ℒ = (1/2)(ℒi + ℒ_t)
步骤3：从自然语言监督中学习
使用网络上收集的海量（图像，描述文本）对进行训练，使模型学习到丰富的视觉概念和语义。
步骤4：零样本预测
对于分类任务，将类别名称构造成描述文本（如“一张{类别}的照片”），计算图像特征与所有类别文本特征的相似度，取最高者作为预测类别。
参数选择/优化：
1. 图像编码器：ViT-B/32, ViT-B/16, ViT-L/14等
2. 文本编码器：Transformer，宽度与图像编码器匹配
3. 温度参数τ：可学习或固定
4. 批次大小N：非常大，如32768，以利用大量负样本
5. 优化器：AdamW，余弦学习率衰减

精度：在多个图像分类、检索数据集上实现强大的零样本性能，无需下游数据训练
误差：对比损失（InfoNCE loss）
强度：打破传统分类范式，实现开放世界的视觉概念理解和零样本迁移

对比学习、多模态表示学习、自监督学习、双编码器架构、从自然语言监督中学习

1. 零样本图像分类：无需训练，直接对新类别图像分类
2. 图像-文本检索：用文本搜索图像，或用图像搜索文本
3. 内容安全过滤：识别违规、敏感图文内容
4. 自动标注：为图像生成描述性标签或标题
5. 视觉问答：结合VQA模型，回答关于图像的问题
6. 多模态推荐：结合用户图文历史进行推荐
7. 虚假信息检测：检测图文不一致的虚假内容
8. 创意内容生成：引导文生图模型（如DALL-E）
9. 无障碍技术：为视障用户描述图像内容
10. 电商搜索：用自然语言搜索商品图片
特征：
- 视觉特征：图像编码器提取的全局/局部特征
- 文本特征：文本编码器提取的语义特征
- 多模态对齐特征：图文在共享空间的对应关系

变量：
I_i：第i张图像
T_i：第i段文本
f_I(I_i)∈ℝ^d：图像编码向量
f_T(T_i)∈ℝ^d：文本编码向量
S：相似度矩阵
常量：
N：批次大小
d：共享嵌入空间的维度
参数：
图像编码器参数θ_I
文本编码器参数θ_T
温度参数τ

集合特征：图像集、文本集、（图像，文本）对集合
逻辑特征：正负样本对的逻辑关系
概率与统计特征：softmax计算的条件概率
随机性：数据增强、Dropout、批次采样
不确定性：零样本预测的置信度
数据规律和推断：图文对齐的统计规律
极限：当数据量→∞时的表示能力极限
连续性：编码空间的连续性
微分：对比损失的梯度计算
积分：softmax分母的求和（离散积分）
级数：损失函数中的求和
收敛性：预训练损失收敛性
测度：余弦相似度作为跨模态相似性测度
离散：批次的离散性
排序：按相似度排序图像或文本
组合：多模态信息的组合对齐
构造：通过对比学习构造对齐空间
优化：最小化对比损失
计算与算法特征：时间复杂度O(N²·d)，N很大
稳定性：大批次和温度参数对训练稳定性关键
对称性/非对称性：损失函数对称
代数：矩阵乘法、softmax运算
拓扑：共享嵌入空间的拓扑
几何：图像和文本特征在球面上的几何（归一化后）
群：对批次内样本的置换不变性
组合数学特征：批次内正负样本的组合

核心是多模态（视觉+语言）理解
文本编码器处理自然语言描述
强大的零样本语义泛化能力

时序流程（预训练）：
1. 数据加载：t₀
- 加载一个批次的N个（图像I_i，文本T_i）对。

2. 编码：t₁
- 图像编码：v_i = normalize(f_I(I_i))
- 文本编码：t_i = normalize(f_T(T_i))

3. 计算相似度矩阵：t₂
- S = [s{ij}]，其中s{ij} = v_i·t_j / τ

4. 计算对比损失：t₃
- 图像到文本损失：ℒi2t(i) = -log[exp(s{ii}) / ∑j exp(s{ij})]
- 文本到图像损失：ℒt2i(i) = -log[exp(s{ii}) / ∑j exp(s{ji})]
- 批次平均：ℒ = (1/(2N)) ∑{i=1}^{N} [ℒi2t(i) + ℒ_t2i(i)]

5. 反向传播与更新：t₄
- 计算梯度，更新θ_I, θ_T, τ。

零样本推理流程：
1. 准备类别文本提示，如{“一张狗的照片”， “一张猫的照片”， ...}，得到文本特征集T。
2. 编码待分类图像，得到图像特征v。
3. 计算v与T中每个文本特征的相似度。
4. 预测类别为相似度最高的文本提示对应的类别。

服务器配置：
• 超大规模多GPU/TPU集群：预训练需在数亿图文对上训练大型ViT/ResNet和Transformer，需256-1024张NVIDIA A100/H100或TPU v3/v4，通过高速互联。内存需存储数十亿参数和超大批次。
• 分布式训练框架：使用DeepSpeed、FairScale等，结合数据并行、模型并行（将编码器分层）和梯度累积。
• 推理服务集群：图像和文本编码可分离部署。单张A100 GPU编码一张图像约需10-50ms。10亿级图文检索/过滤需求，需数百至上千张GPU组成编码和检索集群，配合向量数据库（如Milvus）。
• 计算需求：预训练计算量巨大，需算力1-10 EFLOPS·天。
• 存储需求：训练数据（图文对）达数十TB级别。

1. ALIGN：使用更大量的噪声网络数据训练
2. LiT：锁定图像塔，仅微调文本塔，实现零样本迁移
3. BLIP/BLIP-2：统一的视觉-语言理解和生成模型
4. FLAVA：统一的多模态预训练模型，处理单模、多模任务
5. CoCa：对比学习与生成目标结合
6. DeCLIP：通过自蒸馏、跨模态蒸馏等提高数据效率
7. SLIP：结合CLIP和视觉自监督学习（SimCLR）
8. CyCLIP：通过循环一致性改进对齐
9. RegionCLIP：学习图像区域与文本短语的对齐
10. Chinese CLIP：针对中文优化的CLIP模型

E-L1-0018​

相似性搜索

近似最近邻搜索

可导航小世界图 (HNSW)

步骤1：层次化小世界图构造
从顶层（第L层）开始，逐层向下构建，每层都是一个近似德劳内图（Navigable Small World graph）。
插入新元素时，从顶层开始，贪婪搜索找到最近邻，然后进入下一层，直到最底层（第0层）。
步骤2：层分配
新元素被分配到层l = ⌊-ln(uniform(0,1)) * mL⌋，其中mL是层与层之间距离的归一化因子。这产生指数衰减的概率分布，高层元素少，底层元素多。
步骤3：搜索（贪婪+启发式）
从高层（元素少，长连接多）的入口点开始，贪婪地向查询点的最近邻移动，直到局部最优。然后进入下一层，以上一层的局部最优作为入口点，重复过程，直到最底层，得到精确的最近邻。
步骤4：插入
在每一层l，找到该层的M个最近邻（通过搜索），将新元素与这些邻居连接，并可能修剪邻居间的连接以保持图的性质（如最大出度）。
步骤5：图的性质
通过控制参数（如efConstruction, M）使图具有小世界性质：平均路径长度短，聚类系数高。
参数选择/优化：
1. M：每个节点在构建时的最大连接数（出度），影响图密度和搜索精度/速度。通常16-64。
2. efConstruction：构建时动态候选列表大小，影响构建质量和速度。通常100-400。
3. efSearch：搜索时动态候选列表大小，影响搜索精度和速度。通常50-400。
4. mL：层间距离归一化因子，影响层次结构。通常1/ln(M)。

精度：召回率（Recall@k），在高维数据上可达到>0.9的召回率，远超朴素方法
误差：与真实最近邻的距离误差
强度：查询速度快，尤其适合高维大数据集，支持增量插入

小世界网络理论、近似最近邻搜索、图遍历、多层图结构、启发式搜索

1. **向量数据库检索

E-L1-0018​

相似性搜索

近似最近邻搜索

可导航小世界图 (HNSW)

步骤1：层次化小世界图构造
从顶层（第L层）开始，逐层向下构建，每层都是一个近似德劳内图（Navigable Small World graph）。
插入新元素时，从顶层开始，贪婪搜索找到最近邻，然后进入下一层，直到最底层（第0层）。
步骤2：层分配
新元素被分配到层l = ⌊-ln(uniform(0,1)) * mL⌋，其中mL是层与层之间距离的归一化因子。这产生指数衰减的概率分布，高层元素少，底层元素多。
步骤3：搜索（贪婪+启发式）
从高层（元素少，长连接多）的入口点开始，贪婪地向查询点的最近邻移动，直到局部最优。然后进入下一层，以上一层的局部最优作为入口点，重复过程，直到最底层，得到精确的最近邻。
步骤4：插入
在每一层l，找到该层的M个最近邻（通过搜索），将新元素与这些邻居连接，并可能修剪邻居间的连接以保持图的性质（如最大出度）。
步骤5：图的性质
通过控制参数（如efConstruction, M）使图具有小世界性质：平均路径长度短，聚类系数高。
参数选择/优化：
1. M：每个节点在构建时的最大连接数（出度），影响图密度和搜索精度/速度。通常16-64。
2. efConstruction：构建时动态候选列表大小，影响构建质量和速度。通常100-400。
3. efSearch：搜索时动态候选列表大小，影响搜索精度和速度。通常50-400。
4. mL：层间距离归一化因子，影响层次结构。通常1/ln(M)。

精度：召回率（Recall@k），在高维数据上可达到>0.9的召回率，远超朴素方法
误差：与真实最近邻的距离误差
强度：查询速度快，尤其适合高维大数据集，支持增量插入

小世界网络理论、近似最近邻搜索、图遍历、多层图结构、启发式搜索

1. 向量数据库检索：快速检索用户、内容、商品等的嵌入向量
2. 内容去重：快速查找相似图片、视频、文本
3. 推荐系统召回：从亿级物品库中快速召回候选集
4. 人脸识别：快速比对海量人脸特征
5. 语义搜索：基于文本/图像嵌入的语义相似性搜索
6. 异常检测：查找与正常模式差异大的样本（近邻远）
7. 聚类加速：为聚类算法（如K-means）快速找近邻
8. 图神经网络采样：为大规模图节点采样邻居
9. 多模态检索：跨模态（如图文）向量检索
10. 流式数据检索：支持数据实时插入和检索
特征：
- 向量特征：高维稠密向量
- 图结构特征：节点的邻居连接关系
- 层次特征：不同粒度下的近邻关系

变量：
G=(V,E)：层次化小世界图，V是节点（向量）集合，E是边集合
q：查询向量
enterPoint：各层的入口点
常量：
L：最大层数
M：每层最大连接数
参数：
efConstruction
efSearch
mL (level multiplier)

集合特征：节点集V，边集E，层次{l}
逻辑特征：近邻关系的逻辑连接
概率与统计特征：层数的指数分布，搜索路径长度分布
随机性：层分配的随机性，构建时邻居选择的随机性
不确定性：近似搜索带来的结果不确定性
数据规律和推断：小世界网络的六度分隔规律
极限：当M→∞, L→∞时的极限行为
连续性：向量空间的连续性
微分：不直接涉及
积分：不直接涉及
级数：层次搜索构成级数过程
收敛性：贪婪搜索的局部收敛性
测度：向量距离作为测度
离散：图结构的离散性，节点的离散性
排序：按距离排序候选节点
组合：邻居连接的选择组合
构造：图的层次化构造过程
优化：参数优化以平衡精度和速度
计算与算法特征：构建复杂度O(n log n)，搜索复杂度O(log n)
稳定性：对数据分布和参数相对稳健
对称性/非对称性：距离度量的对称性，图边可能无向
代数：向量距离计算（如内积、L2）
拓扑：小世界图的拓扑结构
几何：向量空间的几何，图嵌入空间的几何
群：对节点索引的置换不变性
组合数学特征：图路径的枚举

主要用于数值向量检索
文本/图像需先转化为向量

时序流程（构建）：
1. 初始化：t₀
- 设置参数M, efConstruction, mL。
- 创建空图，设定最大层L。
- 初始化顶层入口点。

2. 插入元素：t₁ 对每个新元素vec
a. 分配层l = ⌊-ln(random(0,1)) * mL⌋
b. 从顶层入口点开始，currLayer = L
c. while currLayer > l:
在currLayer层搜索vec的最近邻（贪婪），更新入口点为该层找到的最近邻。
currLayer--
d. for layer = min(l, currLayer) down to 0:
在当前层搜索vec的efConstruction个近邻，得到候选集W。
从W中选择至多M个距离最近的节点作为邻居，连接vec与这些邻居。
对每个新邻居e，可能需修剪其原有连接，使其出度不超过M。

时序流程（搜索）：
1. 设定efSearch参数。
2. currEntryPoint = 顶层入口点，currLayer = L。
3. while currLayer >= 0:
在当前层，从currEntryPoint开始，贪婪搜索找到距离q最近的节点，作为该层的局部结果。
currEntryPoint = 该层结果节点。
currLayer--。
4. 在最底层（0层），以currEntryPoint为起点，执行更精细的搜索（使用efSearch控制候选队列大小），返回队列中距离最近的k个节点。

服务器配置：
• 单机大内存方案：FAISS-HNSW实现，处理10亿向量（128维）需约500GB内存。建议单节点配置2-4TB内存，64核心CPU，利用多线程并行搜索。可部署多副本应对高并发查询。
• 分布式向量数据库：Milvus, Weaviate等，将索引分片存储在多个节点。10亿向量需50-100节点集群，每个节点128-256GB内存，总内存6-25TB。通过负载均衡将查询路由到不同分片，合并结果。
• GPU加速方案：使用GPU实现近似距离计算，加速搜索。需8-32张NVIDIA A100 GPU，利用高带宽显存和并行计算能力。
• 计算需求：单次搜索复杂度O(log n)，10亿向量下约需数十次距离计算，QPS可达数千至数万（取决于efSearch）。10亿级并发需数千个搜索节点集群。
• 内存/存储：向量数据常驻内存，索引结构额外开销约是向量的1.5-2倍。

1. FAISS HNSW：Meta开源，CPU/GPU优化实现
2. hnswlib：轻量级C++库，单机高性能
3. NGT (Neighborhood Graph and Tree)：结合树和图，支持批量构建和搜索
4. NSG (Navigating Spreading-out Graph)：保证连通性，减少搜索路径长度
5. SSG (Satellite System Graphs)：针对超高维数据优化
6. HCNNG (Hierarchical Clustering Navigable Graph)：结合聚类层次
7. Vamana (DiskANN)：针对磁盘优化的图索引，减少内存占用
8. SPTAG (Space Partition Tree And Graph)：微软开源，结合树和图
9. Scalable HNSW：分布式HNSW实现
10. HNSW with Product Quantization (PQ)：量化压缩向量，减少内存和距离计算成本

E-L1-0019​

强化学习

基于策略梯度的演员-评论家算法

近端策略优化 (PPO)

步骤1：优势函数估计
使用广义优势估计（GAE）：
δ_t = r_t + γV(s{t+1}) - V(s_t)
Ât^{GAE(γ,λ)} = ∑{l=0}^{∞} (γλ)^l δ{t+l}
其中γ是折扣因子，λ∈[0,1]控制偏差-方差权衡。
步骤2：目标函数
原始策略梯度目标：L^{PG}(θ) = 𝔼t[log π_θ(a_t|s_t) Ât]
PPO提出 clipped surrogate objective：
L^{CLIP}(θ) = 𝔼t [min(r_t(θ)Ât, clip(r_t(θ), 1-ε, 1+ε)Ât)]
其中r_t(θ)=π_θ(a_t|s_t)/π{θ_old}(a_t|s_t)是新旧策略的概率比，ε是超参数（如0.2）。
步骤3：价值函数优化
同时优化价值函数V_φ(s)，最小化均方误差：
L^{VF}(φ) = 𝔼t[(V_φ(s_t) - V_t^{targ})²]
其中V_t^{targ}是回报的目标值。
步骤4：总损失与熵奖励
总损失结合策略、价值和熵奖励（鼓励探索）：
L_t^{total}(θ, φ) = 𝔼t[L_t^{CLIP}(θ) - c_1 L_t^{VF}(φ) + c_2 Sπ_θ]
其中c_1, c_2是系数，S是策略的熵。
步骤5：多步优化
使用旧策略π_{θ_old}收集一批经验，然后用小批量随机梯度下降对L^{total}优化多个epoch（如K=3~10），更新θ和φ。
参数选择/优化：
1. 折扣因子γ：通常0.99
2. GAE参数λ：通常0.95
3. clip参数ε：通常0.1~0.3
4. 学习率：策略网络和价值网络可不同，如3e-4
5. 优化epoch数K：通常3-10
6. 熵系数c_2：可随时间衰减

精度：在多种连续控制任务（如MuJoCo）和游戏（如Dota2, OpenAI Five）中达到SOTA或先进水平
误差：策略梯度的方差，价值函数的拟合误差
强度：训练稳定，样本效率相对较高，易于调参

策略梯度定理、演员-评论家架构、信任区域优化、重要性采样、优势函数

1. 游戏AI：训练智能体玩视频游戏、棋牌
2. 机器人控制：连续控制机器人运动、抓取
3. 自动驾驶：决策规划，在模拟环境中学习驾驶策略
4. 资源管理：动态分配计算、网络、电力资源
5. 推荐系统：将推荐序列化为MDP，学习长期用户engagement
6. 对话系统：学习多轮对话策略，优化对话目标
7. 金融交易：学习股票、加密货币的交易策略
8. 网络配置：优化网络路由、拥塞控制参数
9. 广告竞价：实时调整广告出价策略
10. 实验设计：自适应地选择实验方案
特征：
- 状态特征：环境观测的表示
- 动作特征：离散或连续动作空间
- 奖励特征：稀疏/稠密，短期/长期奖励设计

变量：
s_t：t时刻状态
a_t：t时刻动作
r_t：立即奖励
π_θ(a|s)：参数化策略
V_φ(s)：价值函数
Â_t：优势函数估计
常量：
γ：折扣因子
λ：GAE参数
参数：
策略网络参数θ
价值网络参数φ
clip参数ε
熵系数c_2

集合特征：状态空间S，动作空间A
逻辑特征：策略的条件概率分布
概率与统计特征：策略分布、回报的期望、方差
随机性：策略的随机性、环境随机性
不确定性：长期回报的不确定性、策略更新的不确定性
数据规律和推断：马尔可夫决策过程、贝尔曼方程
极限：当ε→0时PPO接近TRPO的近似
连续性：状态、动作、价值函数的连续性（通常）
微分：策略梯度，价值函数梯度
积分：期望回报的积分形式，GAE的无限求和
级数：GAE是δ_t的几何级数
收敛性：策略迭代的收敛性，优化过程的收敛性
测度：状态访问分布，策略差异的测度
离散：离散时间步，离散动作空间（可处理）
排序：按优势值排序动作
组合：策略和价值函数的组合优化
构造：通过交互数据构造目标函数
优化：带约束（clip）的随机梯度优化
计算与算法特征：时间复杂度取决于环境和网络大小，需大量交互样本
稳定性：clip机制显著提高训练稳定性
对称性/非对称性：时间方向的不对称性
代数：概率比、期望计算
拓扑：状态-动作空间的拓扑
几何：策略空间（概率单纯形）的几何
群：状态/动作的对称性（若存在）
组合数学特征：动作序列的组合

可处理文本状态（需编码）和离散文本动作（如对话生成）
奖励函数设计是关键

时序流程：
1. 初始化：t₀
- 初始化策略网络π_θ和价值网络V_φ。

2. 迭代训练：for iteration=1,2,...
a. 数据收集阶段：t₁
- 使用当前策略π_θ与环境交互，收集T个时间步的轨迹数据{(s_t, a_t, r_t, s{t+1})}。
- 用当前V_φ计算每个状态的价值估计。
b. 优势计算阶段：t₂
- 对每个时间步t，用GAE(γ,λ)公式计算优势估计Ât。
- 计算回报目标V_t^{targ} = Ât + V_φ(s_t)。
c. 优化阶段：t₃
- 将收集的数据视为一个数据集，旧策略固定为π{θ_old}。
- for epoch=1 to K:
从数据集中随机采样小批量。
对每个样本，计算概率比 r_t(θ) = π_θ(a_t|s_t) / π_{θ_old}(a_t|s_t)。
计算 clipped surrogate objective L_t^{CLIP}(θ)。
计算价值函数损失 L_t^{VF}(φ) = (V_φ(s_t) - V_t^{targ})²。
计算策略熵 Sπ_θ。
计算总损失 L_t^{total}，反向传播更新θ和φ。

3. 策略部署：t₄
- 使用训练好的策略π_θ与环境交互或提供服务。

服务器配置：
• 大规模分布式仿真集群：PPO需要大量环境交互。如OpenAI Five使用128,000个CPU核心和256个P100 GPU进行分布式采样和训练。10亿级状态-动作对采样需数万CPU核心的仿真集群。
• GPU训练集群：策略和价值网络训练需GPU加速。需16-64张NVIDIA A100/H100 GPU，采用同步或异步分布式PPO（如SEED RL, RLlib）。
• 参数服务器架构：中心化存储策略参数，众多采样器（actors）并行与环境交互，收集经验后推送至学习者（learner）更新。
• 计算需求：仿真步进计算密集，神经网络前向/反向传播需算力。总体算力需求在PFLOPS量级。
• 存储/通信：需存储大量经验样本，采样器与学习者间需高速通信同步参数和经验。

1. TRPO (Trust Region Policy Optimization)：PPO的前身，通过约束KL散度确保稳定性
2. ACKTR：使用Kronecker-factored近似曲率优化PPO
3. DPPO (Distributed PPO)：分布式版本，提高采样效率
4. PPO with LSTM：处理部分可观测MDP，引入循环网络
5. PPO with Exploration：结合内在好奇心、随机网络蒸馏等探索策略
6. Multi-agent PPO (MAPPO)：多智能体版本
7. Off-policy PPO：结合重要性采样，复用历史数据
8. PPO with Parameter Noise：参数空间噪声，增强探索
9. PPO for Discrete Actions：针对离散动作空间的变体
10. Phasic Policy Gradient：分离策略和价值训练阶段，提高稳定性

E-L1-0020​

自监督学习

对比学习，视觉表示

SimCLR (A Simple Framework for Contrastive Learning of Visual Representations)

步骤1：数据增强
对每个样本x，应用随机增强两次，得到两个相关视图x_i和x_j。增强组合包括：随机裁剪、颜色抖动、高斯模糊等。
步骤2：编码器
使用基础编码器f(·)（如ResNet）提取表示向量：h_i = f(x_i), h_j = f(x_j)。
步骤3：投影头
通过一个小型MLP投影头g(·)将表示映射到对比损失空间：z_i = g(h_i), z_j = g(h_j)。训练后，丢弃g，使用h进行下游任务。
步骤4：对比损失 (NT-Xent)
对于一个批次的N个样本，通过增强产生2N个视图。对于正样本对(i, j)，损失函数为：
ℓ{i,j} = -log[exp(sim(z_i, z_j)/τ) / (∑{k=1}^{2N} 𝟙{[k≠i]} exp(sim(z_i, z_k)/τ))]
其中sim(u,v)=uᵀv/|u||v|是余弦相似度，τ是温度参数。最终损失是所有正对的平均：ℒ = (1/2N)∑{k=1}^{N}[ℓ{2k-1,2k} + ℓ{2k,2k-1}]。
步骤5：训练
通过最小化对比损失，使同一样本的不同增强视图的表示相近，不同样本的表示相远。
参数选择/优化：
1. 批次大小N：越大越好，通常512~4096，利用大批次提供更多负样本
2. 温度τ：调节softmax的尖锐程度，通常0.1~0.5，需调参
3. 编码器f：ResNet-50常用
4. 投影头g：MLP，通常一层或两层，输出维度128~512
5. 优化器：LARS或AdamW，大学习率，余弦衰减

精度：在ImageNet线性评估（冻结特征训练线性分类器）上，SimCLR v2 (ResNet-152) 达到79.8% top-1，接近有监督
误差：对比损失（InfoNCE）
强度：学习到可转移的视觉表示，无需人工标注

对比学习、不变性原理、InfoNCE损失、数据增强不变性、表示学习

1. 图像分类：预训练编码器，用于下游图像分类任务
2. 目标检测：预训练骨干网络，提升检测性能
3. 图像分割：预训练编码器，用于语义/实例分割
4. 图像检索：学习图像的紧凑表示，用于相似性搜索
5. 异常检测：正常样本表示紧凑，异常样本表示远离
6. 多模态学习：可与文本结合进行跨模态对比学习
7. 医学影像分析：解决医疗数据标注稀缺问题
8. 视频理解：扩展到时序，学习视频片段表示
9. 自监督语音：应用于音频波形或谱图
10. 图表示学习：类比应用于图数据
特征：
- 视觉特征：颜色、纹理、形状等
- 不变性特征：对预设增强变换的不变性
- 区分性特征：不同样本间的可区分性

变量：
x：原始图像样本
x̃i, x̃j：增强后的视图
h：编码器输出表示
z：投影头输出表示
常量：
N：批次大小（原始样本数）
d：投影表示的维度
参数：
编码器参数θ_f
投影头参数θ_g
温度τ

集合特征：批次样本集，正负样本对集合
逻辑特征：正负样本对的逻辑区分
概率与统计特征：softmax计算的条件概率，InfoNCE与互信息下界的关系
随机性：数据增强的随机性，批次采样随机性
不确定性：表示学习的不确定性
数据规律和推断：通过数据增强定义不变性，学习不变表示
极限：当N→∞，τ→0时的极限行为
连续性：编码函数和相似度函数的连续性
微分：对比损失的梯度计算
积分：softmax分母的求和（离散积分）
级数：损失函数中对批次的求和
收敛性：训练损失收敛性
测度：余弦相似度作为表示相似性测度
离散：批次的离散性
排序：按相似度排序样本
组合：数据增强的组合，正负样本的组合
构造：通过对比学习构造表示空间
优化：最小化InfoNCE损失
计算与算法特征：时间复杂度O(N²·d)，N大时计算开销大
稳定性：大批次和温度参数对稳定性重要
对称性/非对称性：损失函数对称，增强可能不对称
代数：矩阵乘法、softmax运算、归一化
拓扑：表示空间的拓扑
几何：表示在超球面上的几何（L2归一化后）
群：对样本和增强的变换群（数据增强定义）
组合数学特征：批次内正负样本对的组合

核心是视觉表示学习
文本可类比应用于NLP（如SimCSE）

时序流程：
1. 数据加载与增强：t₀
- 加载一个批次N个原始图像{x_1,...,x_N}。
- 对每个x_k，应用两次独立的随机增强t∼T, t'∼T，得到x̃{2k-1}=t(x_k), x̃{2k}=t'(x_k)。形成2N个增强视图。

2. 编码与投影：t₁
- 用编码器f_θ计算表示：h_i = f_θ(x̃i)。
- 用投影头g_φ计算对比表示：z_i = g_φ(h_i)。
- 对z_i进行L2归一化。

3. 计算相似度矩阵：t₂
- 计算所有归一化z_i之间的余弦相似度矩阵S∈ℝ^{2N×2N}，其中s{ij}=z_iᵀz_j。

4. 计算对比损失：t₃
- 对每个正样本对(i, j)（即来自同一原始样本的两个视图），计算损失：
ℓ{i,j} = -log[ exp(s{ij}/τ) / (∑{k=1}^{2N} 𝟙{[k≠i]} exp(s{ik}/τ)) ]
- 总损失：ℒ = (1/(2N)) ∑{k=1}^{N} (ℓ{2k-1,2k} + ℓ{2k,2k-1})

5. 反向传播与更新：t₄
- 计算梯度∇θℒ, ∇φℒ，更新参数θ, φ。

服务器配置：
• 大规模TPU/GPU集群：SimCLR原文在TPU v3上训练，使用4096的批次大小。同等规模需128-512个TPU核心或128-256张NVIDIA A100 GPU，通过AllReduce同步梯度。内存需存储超大批次数据和模型。
• 分布式训练框架：使用PyTorch DDP、Horovod或JAX/Flax。需注意大批次下的梯度同步和数值稳定性。
• 计算需求：对比损失计算O(N²)是瓶颈。10亿图像预训练ResNet-50需算力约1-10 PFLOPS·天。
• 存储需求：ImageNet级别数据集约100GB。更大数据集需TB级存储。
• 优化：需梯度累积、混合精度训练、LARS优化器处理大批次。

1. MoCo (Momentum Contrast)：引入动量编码器和队列，解耦批次大小与负样本数量
2. BYOL (Bootstrap Your Own Latent)：无需负样本，通过预测目标网络进行学习
3. SwAV (Swapping Assignments between Views)：在线聚类，交换预测码
4. Barlow Twins：减少跨增强视图表示的相关性，无需负样本
5. DINO：自蒸馏，学生网络匹配教师网络的输出分布
6. VICReg (Variance-Invariance-Covariance Regularization)：对表示施加方差、协方差和不变性约束
7. SimSiam：简单的孪生网络，无需负样本、动量编码器、大批次
8. NNCLR：使用近邻作为正样本
9. ReSSL：重加权自监督对比学习
10. Masked Autoencoders (MAE)：掩码自编码，另一类自监督方法

E-L1-0021​

图表示学习

归纳式表示学习

GraphSAGE (SAmple and aggreGatE)

步骤1：邻居采样
对每个中心节点u，为每一层l采样固定大小的邻居集合N_l(u)。例如，对K层模型，每层采样S_k个邻居，则节点u的感受野为K跳内采样到的所有节点。
步骤2：信息聚合
从第K层（最外层）向第0层（中心节点）迭代聚合。对每个节点v，聚合其采样邻居的信息：
h{N(v)}^k = AGGREGATE_k({h_u^{k-1}, ∀u∈N(v)})
其中AGGREGATE可以是：均值、池化（如最大池化）、LSTM等。
步骤3：节点表示更新
将节点自身上一层的表示与聚合的邻居表示结合，并通过非线性变换：
h_v^k = σ(W^k · CONCAT(h_v^{k-1}, h{N(v)}^k))
其中h_v^0 = x_v（节点输入特征）。
步骤4：输出表示
经过K层后，得到每个节点的最终表示z_v = h_v^K。
步骤5：无监督损失
基于图的邻近性，使相邻节点表示相似：
ℒ(z_u) = -log(σ(z_uᵀz_v)) - Q·𝔼{v_n∼P_n(v)} log(σ(-z_uᵀz{v_n}))
其中v是u的随机游走邻居，v_n是负采样节点，P_n是负采样分布，Q是负样本数。
参数选择/优化：
1. 层数K：通常2~3
2. 每层采样数S_k：通常10~25
3. 聚合器类型：均值、GCN、池化、LSTM
4. 隐藏层维度：通常128~512
5. 负样本数Q：通常5~20

精度：在多个引文网络和Reddit帖子上，归纳式节点分类F1分数优于直推式方法和其他归纳式baseline
误差：无监督损失（类似负采样）或有监督交叉熵损失
强度：支持归纳学习，可泛化到未见节点，适合动态图和大规模图

消息传递神经网络、邻居采样、归纳学习、表示学习、随机游走

1. 新用户/内容表征：为新加入的用户或内容生成嵌入，无需重训全图
2. 动态社交网络：处理用户关系动态变化的图
3. 推荐系统：基于用户-物品二部图生成用户和物品嵌入
4. 社区检测：基于节点嵌入进行聚类
5. 网络攻击检测：为网络流量图中的新IP生成表示，检测异常
6. 知识图谱补全：为实体生成嵌入，预测新关系
7. 分子性质预测：为原子生成表示，预测分子性质
8. 地理空间分析：基于位置关系的图生成位置嵌入
9. 欺诈检测：在交易网络中为新交易生成表示
10. 蛋白质相互作用：预测蛋白质功能
特征：
- 结构特征：通过采样邻居捕获的局部拓扑
- 属性特征：节点自身特征
- 多跳特征：K层聚合捕获K跳邻域信息

变量：
h_v^k：节点v在第k层的隐藏状态
N(v)：节点v的邻居集合（采样后）
z_v：节点v的最终表示
常量：
K：聚合层数
S_k：第k层的采样邻居数
参数：
权重矩阵W^k
聚合函数参数（若可学，如LSTM）

集合特征：邻居集合N(v)，采样节点集
逻辑特征：邻居聚合的逻辑关系
概率与统计特征：随机游走共现概率，负采样分布
随机性：邻居采样随机性，随机游走随机性，负采样随机性
不确定性：采样带来的表示不确定性
数据规律和推断：网络同质性（相邻节点相似）
极限：当采样数S_k→∞时，收敛于全邻域聚合
连续性：节点表示的连续性
微分：通过反向传播计算梯度
积分：邻居信息的聚合（离散积分）
级数：K层迭代构成级数
收敛性：训练损失收敛性
测度：节点相似性测度（点积）
离散：图结构的离散性，采样的离散性
排序：按嵌入相似度排序节点
组合：邻居信息的组合（通过聚合器）
构造：通过多层聚合构造节点表示
优化：最小化对比损失或监督损失
计算与算法特征：时间复杂度O(∏_{i=1}^{K} S_i)，与图大小无关，适合大规模图
稳定性：采样引入方差，但训练后稳定
对称性/非对称性：聚合函数通常对称（除LSTM）
代数：向量拼接、矩阵乘法
拓扑：局部图拓扑
几何：节点在嵌入空间的几何关系
群：对邻居顺序的排列不变性（取决于聚合器）
组合数学特征：邻居采样的组合

可结合节点文本特征作为输入
学习到的嵌入可用于下游NLP任务

时序流程（小批量训练）：
1. 小批量生成：t₀
- 采样一批目标节点B。
- 对每个目标节点u∈B，通过邻居采样得到K层计算所需的子图。采样是从u向外逐层进行。

2. 前向传播（由外向内）：t₁
- 从第K层（最外层节点）开始，这些节点的表示为它们的输入特征h_v^0 = x_v。
- for k = K down to 1:
for each node v in the k-th layer:
a. 聚合其采样邻居（来自k-1层）的表示：h{N(v)}^k = AGGREGATE_k({h_u^{k-1}, u∈N(v)})
b. 将自身表示与聚合邻居表示结合并变换：h_v^k = σ(W^k·CONCAT(h_v^{k-1}, h{N(v)}^k))
- 得到目标节点u的最终表示z_u = h_u^K。

3. 损失计算与反向传播：t₂
- 计算损失（如无监督损失），反向传播更新所有参数W^k和聚合器参数。注意梯度只回传到采样到的节点和边。

推理流程（新节点）：
- 给定新节点及其特征和邻居，运行相同的前向传播过程（无需采样，使用实际邻居），即可得到其嵌入。

服务器配置：
• 分布式CPU/GPU集群：GraphSAGE适合分布式训练。可部署在Spark GraphFrames或DGL分布式框架上。需50-200节点，每个节点32-64核心、128-256GB内存，用于存储子图和进行计算。
• GPU加速方案：DGL或PyG支持GraphSAGE的GPU训练。对于十亿级节点图，需采用分区策略，将图分布到多GPU显存，采样和聚合在GPU并行。需16-64张NVIDIA A100 GPU。
• 在线推理服务：为新节点生成嵌入的计算量小，可部署在CPU服务器上，每秒可处理数千节点。10亿级新节点处理需数千CPU核心，批量处理。
• 计算需求：训练复杂度与总采样节点数成正比，可扩展性强。算力需求10-50 TFLOPS。
• 存储需求：存储图结构和节点特征，十亿节点千亿边需TB级存储。

1. FastGCN：通过重要性采样层采样，而非节点采样
2. Cluster-GCN：基于图聚类划分，在小批量内使用全邻居聚合
3. GraphSAINT：基于子图采样，在小批量内构建子图进行训练
4. PinSage：应用于Pinterest的工业级GraphSAGE，结合随机游走重要性采样
5. Heterogeneous GraphSAGE：处理异质图的变体
6. Inductive Representation Learning on Large Graphs (GraphSAGE原文)
7. SIGN (Scalable Inception Graph Networks)：简化多跳传播，无需采样
8. GraphSAGE with Attention：在聚合时引入注意力机制
9. Adaptive Sampling GNN：自适应决定采样邻居数量
10. GraphSAGE for Temporal Graphs：结合时间信息的扩展

E-L1-0022​

时间序列预测

自回归深度学习模型

DeepAR (Probabilistic Forecasting with Autoregressive Recurrent Networks)

步骤1：模型定义
DeepAR对每个时间序列建模为一个自回归模型，其中条件分布基于循环神经网络（如LSTM）的输出：
z{i,t} ~ p(· |θ(h{i,t}))
其中h{i,t}是RNN在t时刻的隐藏状态，θ是将h映射到分布参数的函数（如对于实数，p可以是负二项分布，θ输出均值和形状参数）。
步骤2：自回归输入
RNN在t时刻的输入包括：
1. 前一个时间步的目标值z{i,t-1}（训练时用真实值，预测时用采样值）
2. 已知协变量x{i,t}（如日期特征、促销标志）
3. 序列i的特征v_i（如产品类别、门店ID）
输入向量为：u{i,t} = [z{i,t-1}, x{i,t}, v_i]
步骤3：RNN状态更新
h{i,t} = RNN(h{i,t-1}, u{i,t})
步骤4：概率分布参数化
对于实值序列，常用Student's t分布或负二项分布（计数数据）。例如，对负二项分布：
μ{i,t} = softplus(w_μᵀh{i,t} + b_μ)
α{i,t} = softplus(w_αᵀh{i,t} + b_α) # 逆离散参数
则分布参数为均值μ，方差μ+μ²/α。
步骤5：训练与预测
训练时最大化对数似然：∑i ∑t log p(z{i,t} |θ(h_{i,t}))
预测时，从预测分布中采样多条路径，得到分位数预测和预测区间。
参数选择/优化：
1. RNN类型：LSTM或GRU
2. RNN层数和隐藏单元数：通常2-3层，40-100隐藏单元
3. 似然分布选择：高斯（实值）、负二项（计数）、学生t（抗异常）
4. 上下文长度：训练时用于条件化的历史长度，通常>=季节周期
5. 预测长度：预测未来时间步数
6. 学习率：通常0.001，Adam优化器

精度：在多个电商、能源、交通数据集上，在CRPS等概率评估指标上优于传统统计方法（如ETS）和点预测深度学习模型
误差：负对数似然（NLL），连续分级概率评分（CRPS）
强度：生成概率预测，量化不确定性，可处理大量相关时间序列

自回归模型、状态空间模型、深度循环神经网络、概率预测、条件分布建模

1. 需求预测：零售商品销量、电商订单量预测
2. 能源负荷预测：电力、天然气负荷的概率预测
3. 流量预测：网站流量、网络流量预测
4. 财务预测：股票波动率、交易量预测
5. 库存管理：基于概率预测优化安全库存
6. 异常检测：低似然概率的观测值可能为异常
7. 资源规划：基于预测分布规划服务器、人力
8. 动态定价：预测需求弹性，优化价格
9. 传感器数据预测：预测IoT传感器读数
10. 流行病预测：预测病例数，提供不确定性区间
特征：
- 时序特征：自相关性、趋势、季节性
- 协变量特征：日历特征、促销、天气
- 序列特征：序列ID的元信息
- 概率特征：预测分布的形状

变量：
z{i,t}：序列i在t时刻的目标值
h{i,t}：RNN隐藏状态
u{i,t}：RNN输入向量
θ{i,t}：分布参数（如μ, σ）
常量：
T：上下文长度（历史窗口）
τ：预测长度
参数：
RNN参数（权重、偏置）
似然函数参数映射权重w_μ, w_α等

集合特征：时间序列集合{i}，时间点集合{t}
逻辑特征：自回归的条件依赖关系
概率与统计特征：条件概率分布，对数似然，采样
随机性：分布的随机性，预测时的采样随机性
不确定性：预测分布量化不确定性
数据规律和推断：时间序列的自回归规律，多个序列间的共享模式（通过全局模型）
极限：当τ→∞时预测分布的极限（通常发散）
连续性：目标值和分布的连续性（对实值）
微分：通过BPTT计算梯度
积分：对数似然的求和，CRPS的计算涉及积分
级数：自回归的展开是级数形式
收敛性：训练损失收敛性
测度：概率分布测度，CRPS是一种概率测度
离散：时间点的离散性，计数数据的离散性
排序：按预测分位数排序可能值
组合：多个序列通过全局模型组合学习
构造：通过自回归RNN构造条件分布
优化：最大化对数似然
计算与算法特征：训练复杂度O(总序列数×总时间步×RNN复杂度)
稳定性：概率框架能处理噪声和异常
对称性/非对称性：时间方向的不对称性（因果）
代数：RNN计算，softplus变换
拓扑：时间序列的拓扑
几何：隐藏状态空间的几何
群：时间平移的不变性（对平稳部分）
组合数学特征：序列和时间的组合

主要用于数值序列预测
类别协变量需编码
序列ID可作为嵌入输入

时序流程（训练）：
1. 数据准备：t₀
- 准备多个时间序列数据集，每个序列i有历史值z{i,1:T_i}和协变量x{i,1:T_i+τ}，以及静态特征v_i。

2. 滑动窗口采样：t₁
- 对每个序列，在时间轴上创建训练样本。每个样本包括：
* 上下文窗口：长度为T的历史时刻[t-T, t-1]
* 目标窗口：长度为τ的未来时刻[t, t+τ-1]
- 样本的输入是上下文窗口内的目标值和协变量，以及静态特征；目标是目标窗口内的值。

3. 前向传播：t₂
- 初始化RNN状态（如零状态）。
- for t' in [t-T, t-1] (上下文):
输入u{i,t'} = [z{i,t'-1}, x{i,t'}, v_i]，更新RNN状态h{i,t'}。 (训练时z用真实值)
- for t' in [t, t+τ-1] (预测窗口):
输入u{i,t'} = [z{i,t'-1}, x{i,t'}, v_i]，更新RNN得到h{i,t'}，计算分布参数θ{i,t'}，评估目标值z{i,t'}在该分布下的对数似然。 (训练时z用真实值)

4. 损失计算与更新：t₃
- 损失 = -∑{t'=t}^{t+τ-1} log p(z{i,t'} |θ{i,t'})
- 反向传播，更新参数。

预测（采样）流程：
- 类似前向传播，但在预测窗口[t, t+τ-1]中，z{i,t'-1}使用从之前时间步预测分布中采样的值，从而递归生成多条样本路径。

服务器配置：
• GPU集群训练：DeepAR训练可批处理多个序列。对于百万级序列（如SKU-门店组合），需16-64张NVIDIA A100 GPU，利用数据并行。RNN计算受限于序列长度和隐藏层大小。
• 分布式框架：集成于GluonTS、PyTorch TS等库。可使用Ray等进行超参数调优。
• 在线推理服务：单次预测需运行RNN自回归生成τ步，计算量小。可部署在CPU服务器或轻型GPU上。10亿级序列的批量预测（如每日运行）需数百CPU核心并行处理。
• 计算需求：训练复杂度高，但可并行度高。算力需求10-100 TFLOPS。
• 存储需求：历史序列数据和模型参数存储。百万序列×长历史需TB级存储。

1. DeepVAR：多元时间序列的向量自回归深度模型
2. Deep Factors：结合全局因子和序列特定参数
3. WaveNet：使用扩张因果卷积的自回归模型
4. Transformer-based Autoregressive Models（如Temporal Fusion Transformer）
5. CNN-QR：分位数回归卷积网络，输出分位数
6. MQ-RNN：多分位数循环神经网络
7. Deep State Space Models：结合结构化状态空间模型和深度学习
8. Normalizing Flows for Time Series：用标准化流建模复杂条件分布
9. Causal DeepAR：结合因果推断，处理干预效应预测
10. Hierarchical DeepAR：处理具有层次结构的时间序列（如国家-地区-门店）

E-L1-0023​

自然语言处理

基于Transformer的双向编码器表示

BERT (Bidirectional Encoder Representations from Transformers)

步骤1：输入表示
输入序列的每个token由三部分嵌入求和：Token Embedding + Segment Embedding + Position Embedding。特殊token：[CLS]用于分类，[SEP]分隔句子。
步骤2：Transformer编码器
由L个相同的层堆叠，每层包含：
1. 多头自注意力：Attention(Q,K,V)=softmax(QKᵀ/√d_k)V，其中Q,K,V由输入线性投影得到，h个头并行计算后拼接并线性投影。
2. 前馈网络：FFN(x)=max(0, xW₁+b₁)W₂+b₂，通常中间维度扩大4倍。
3. 残差连接和层归一化：LayerNorm(x+Sublayer(x))。
步骤3：预训练任务
1. 掩码语言模型（MLM）：随机掩盖15%的token，其中80%替换为[MASK]，10%随机替换，10%不变。目标预测被掩盖的原始token，使用交叉熵损失。
2. 下一句预测（NSP）：二分类任务，判断句子B是否是句子A的下一句。
步骤4：微调
在特定任务数据上，用任务相关输出层替换预训练输出层，微调所有参数。
参数选择/优化：
1. 模型尺寸：Base (L=12, H=768, A=12, 参数110M), Large (L=24, H=1024, A=16, 参数340M)
2. 学习率：预训练通常1e-4，微调2e-5到5e-5
3. 批次大小：通常256或512序列
4. 掩盖比例：15%
5. 优化器：AdamW，线性学习率预热和衰减

精度：在GLUE基准上达到SOTA（当时），多项NLP任务上显著提升
误差：交叉熵损失（MLM和NSP）
强度：强大的上下文表示能力，支持多种下游任务

Transformer架构、自注意力机制、双向上下文建模、迁移学习、掩码语言模型

1. 文本分类：情感分析、新闻分类、意图识别
2. 命名实体识别：从文本中提取人名、地名、组织名等实体
3. 问答系统：从给定文本中抽取答案（如SQuAD）
4. 文本相似度：计算句子对语义相似度
5. 文本摘要：抽取式或生成式摘要
6. 机器翻译：作为编码器或初始化模型
7. 情感分析：分析用户评论、社交媒体情感倾向
8. 内容审核：识别违规、仇恨、垃圾文本
9. 信息检索：查询和文档的重排序
10. 对话系统：作为理解模块编码用户输入
特征：
- 上下文特征：每个token的表示融合了左右上下文
- 层次特征：不同层捕获不同粒度信息（底层语法，高层语义）
- 任务通用特征：通过微调适配各种任务

变量：
X：输入token序列
E：token嵌入矩阵
P：位置嵌入矩阵
H^l：第l层隐藏状态
常量：
L：Transformer层数
H：隐藏层维度
A：注意力头数
参数：
所有线性投影权重、前馈网络权重、层归一化参数

集合特征：词汇表集合，注意力头集合
逻辑特征：自注意力的权重分布逻辑
概率与统计特征：softmax输出概率分布，MLM的预测概率
随机性：MLM掩盖的随机性，Dropout随机性
不确定性：模型预测的不确定性
数据规律和推断：语言建模，双向上下文依赖
极限：当L→∞时的极限行为，注意力权重的极限
连续性：嵌入空间的连续性，注意力权重的连续性
微分：通过反向传播计算梯度
积分：注意力得分的加权和（离散积分）
级数：多层堆叠构成级数
收敛性：预训练和微调的损失收敛性
测度：注意力权重作为token重要性的测度
离散：token的离散性，词汇表的离散性
排序：按注意力得分排序上下文token
组合：多头注意力的组合，层堆叠的组合
构造：通过自注意力机制构造上下文表示
优化：最小化MLM和NSP损失
计算与算法特征：时间复杂度O(n²·d)，n为序列长度，d为隐藏维度
稳定性：层归一化和残差连接确保训练稳定
对称性/非对称性：自注意力本身对称，但位置嵌入引入顺序
代数：矩阵乘法，softmax，线性变换
拓扑：隐藏状态空间的拓扑
几何：嵌入空间的几何，注意力权重的几何解释
群：对token位置的置换群（被位置嵌入打破）
组合数学特征：token序列的组合，注意力头的组合

核心是自然语言理解
通过微调适配各种NLP任务
支持多语言版本

时序流程（预训练）：
1. 输入编码：t₀
- 给定一对句子A和B，添加[CLS]和[SEP] token，得到序列X。
- 查找Token Embedding E(X)，加上Segment Embedding和Position Embedding，得到输入嵌入E。

2. Transformer编码：t₁ 对每一层l=1 to L
a. 多头自注意力：
将输入H^{l-1}线性投影为Q,K,V（每个头）。
计算注意力得分：Attention(Q,K,V)=softmax(QKᵀ/√d_k)V。
拼接所有头的输出，线性投影得到多头注意力输出MHA。
b. 残差连接与层归一化：H^{l'} = LayerNorm(H^{l-1} + MHA)。
c. 前馈网络：FFN(H^{l'}) = max(0, H^{l'}W₁+b₁)W₂+b₂。
d. 残差连接与层归一化：H^l = LayerNorm(H^{l'} + FFN(H^{l'}))。

3. 输出与损失计算：t₂
- 取[CLS]位置的最终隐藏状态H^L_{[CLS]}用于NSP分类。
- 取被掩盖token位置的最终隐藏状态用于MLM预测。
- 计算MLM损失（交叉熵）和NSP损失（交叉熵），加权求和为总损失。

4. 反向传播与更新：t₃
- 反向传播，使用AdamW优化器更新参数。

微调流程：类似，但输出层替换为任务特定层（如分类层），损失为任务损失。

服务器配置：
• 大规模TPU/GPU集群预训练：BERT Large预训练需16-64个TPU v3或32-128个NVIDIA A100 GPU，训练数天到数周。数据并行、模型并行结合。
• 分布式微调：下游任务微调可在单机多卡或小型集群完成，需4-16个GPU。
• 在线推理服务：BERT Base单次推理延迟约10-50ms（CPU）或1-10ms（GPU）。10亿级日查询（QPS约12万）需数百个GPU实例（如NVIDIA T4）集群，配合模型压缩（如量化、蒸馏）和动态批处理。
• 计算需求：预训练算力约10²³ FLOPS。推理算力取决于序列长度和模型大小。
• 内存需求：BERT Large约1.2GB（FP32），量化后可大幅减少。

1. RoBERTa：移除NSP，动态掩码，更大批次，更长序列
2. ALBERT：参数共享，嵌入分解，减少参数
3. DistilBERT：知识蒸馏，模型压缩，加速推理
4. SpanBERT：掩盖连续片段，更好表示片段
5. ELECTRA：用替换token检测任务替代MLM，更高效
6. DeBERTa：解耦注意力，增强位置信息
7. BERT with Whole Word Masking：掩盖整个词而非子词
8. Multi-lingual BERT：多语言预训练
9. VideoBERT：扩展到多模态（视频）
10. BERT for Specific Domains：领域自适应预训练（如BioBERT, SciBERT）

E-L1-0024​

序列建模

基于自注意力的编码器-解码器架构

Transformer

步骤1：编码器
由N个相同层堆叠，每层包含：
1. 多头自注意力：MultiHead(Q,K,V)=Concat(head₁,...,head_h)W^O，其中head_i=Attention(QW_i^Q, KW_i^K, VW_i^V)。
2. 前馈网络：FFN(x)=max(0, xW₁+b₁)W₂+b₂。
3. 残差连接和层归一化：LayerNorm(x+Sublayer(x))。
步骤2：解码器
由N个相同层堆叠，每层包含：
1. 掩码多头自注意力：防止当前位置关注未来位置，通过掩码实现。
2. 编码器-解码器注意力：以解码器上一层的输出为Q，编码器输出为K,V。
3. 前馈网络和残差连接、层归一化。
步骤3：位置编码
使用正弦余弦函数：PE(pos,2i)=sin(pos/10000^{2i/d_model}), PE(pos,2i+1)=cos(pos/10000^{2i/d_model})，或可学习的位置嵌入。
步骤4：输出层
线性层+softmax，预测下一个token的概率分布。
步骤5：训练
使用教师强制，最小化交叉熵损失。
参数选择/优化：
1. 模型尺寸：d_model通常512或1024，d_ff通常2048或4096，h通常8或16，N通常6
2. 注意力缩放因子：1/√d_k
3. 优化器：Adam，β₁=0.9, β₂=0.98, ε=10⁻⁹，学习率随步数变化：lrate = d_model^{-0.5} · min(step_num^{-0.5}, step_num · warmup_steps^{-1.5})
4. 标签平滑：通常0.1
5. Dropout：通常0.1

精度：在机器翻译等序列到序列任务上达到SOTA，训练速度显著快于RNN
误差：交叉熵损失（带标签平滑）
强度：并行计算能力强，长距离依赖建模能力强

自注意力机制、编码器-解码器架构、位置编码、残差网络、层归一化

1. 机器翻译：序列到序列翻译
2. 文本摘要：生成式摘要
3. 语音识别：音频序列转文本
4. 代码生成：根据描述生成代码
5. 图像描述生成：编码图像，解码文本描述
6. 文本生成：对话生成、故事生成
7. 序列标注：如命名实体识别（仅用编码器）
8. 蛋白质结构预测：序列到结构
9. 时间序列预测：作为序列模型
10. 多模态任务：结合视觉和语言
特征：
- 全局依赖特征：自注意力捕获任意位置间依赖
- 层次特征：多层堆叠捕获不同抽象层次
- 并行特征：自注意力可并行计算，训练快

变量：
X：输入序列
Y：目标序列
PE：位置编码
常量：
N：编码器/解码器层数
d_model：模型维度
h：注意力头数
参数：
所有线性投影权重、前馈网络权重、层归一化参数、位置嵌入（若可学习）

集合特征：位置集合，注意力头集合
逻辑特征：注意力权重的逻辑关联
概率与统计特征：输出softmax概率分布
随机性：Dropout，训练时教师强制的随机性（若用采样）
不确定性：生成的不确定性
数据规律和推断：序列的联合概率建模，自回归生成
极限：当N→∞，d_model→∞时的极限行为
连续性：位置编码的连续性，注意力权重的连续性
微分：通过反向传播计算梯度
积分：注意力得分的加权和（离散积分）
级数：多层堆叠构成级数
收敛性：训练损失收敛性
测度：注意力权重作为位置重要性的测度
离散：token的离散性
排序：按注意力得分排序输入位置
组合：多头注意力的组合，层堆叠的组合
构造：通过自注意力构造序列表示
优化：最小化交叉熵损失
计算与算法特征：编码器复杂度O(n²·d)，解码器复杂度O(m²·d + m·n·d)，n,m为输入输出长度
稳定性：残差和层归一化确保训练稳定
对称性/非对称性：自注意力对称，但掩码和位置编码引入顺序
代数：矩阵乘法，softmax，线性变换
拓扑：序列空间的拓扑
几何：注意力权重的几何解释
群：对位置的置换群（被位置编码打破）
组合数学特征：序列的组合，注意力头的组合

核心是序列到序列建模
通过自注意力捕获长距离依赖
支持多种模态的序列数据

时序流程（训练）：
1. 输入编码：t₀
- 输入序列X经过嵌入层得到词嵌入，加上位置编码，得到编码器输入。

2. 编码器前向：t₁ 对每一层l=1 to N
a. 多头自注意力：计算自注意力，残差连接，层归一化。
b. 前馈网络：FFN，残差连接，层归一化。
得到编码器输出E。

3. 解码器前向（自回归）：t₂
- 目标序列Y（右移）经过嵌入和位置编码，输入解码器。
- 对每一层l=1 to N：
i. 掩码多头自注意力：对解码器输入做自注意力，使用上三角掩码防止信息泄露。
ii. 编码器-解码器注意力：以i的输出为Q，编码器输出E为K,V，计算注意力。
iii. 前馈网络：FFN，残差连接，层归一化。
得到解码器输出D。

4. 输出层：t₃
- 线性层将D投影到词汇表大小，softmax得到每个位置的下一个token概率分布。

5. 损失计算：t₄
- 计算预测分布与真实标签的交叉熵损失（带标签平滑）。

6. 反向传播与更新：t₅
- 反向传播，使用Adam优化器更新参数。

推理流程：自回归生成，每一步用当前已生成序列通过解码器预测下一个token，直到生成结束符。

服务器配置：
• 大规模TPU/GPU集群训练：原始Transformer训练需8个P100 GPU约12天。现代大型模型（如T5）需数百个TPU/GPU。需采用模型并行（层间并行、注意力头并行）和数据并行。
• 分布式训练框架：使用Mesh TensorFlow、DeepSpeed、Megatron-LM等。
• 在线推理服务：Transformer解码自回归，延迟随输出长度线性增长。10亿级日查询需数千个GPU实例，采用动态批处理、缓存（如KV缓存）、量化（如INT8）、蒸馏小模型。
• 计算需求：训练算力巨大，推理算力取决于模型大小和序列长度。
• 内存需求：大型模型参数达数百GB，需模型分片和优化内存管理。

1. Transformer-XL：引入循环机制，处理更长序列
2. Reformer：使用局部敏感哈希注意力，降低复杂度
3. Longformer：稀疏注意力，处理长文档
4. Performer：使用线性注意力，降低复杂度到O(n)
5. Linformer：低秩投影，降低注意力复杂度
6. Sparse Transformer：稀疏注意力模式
7. Adaptive Attention Span：自适应注意力范围
8. Universal Transformer：在深度上循环，权重共享
9. Transformer with Relative Position Encoding：相对位置编码
10. Efficient Transformers：各种效率优化变体

E-L1-0025​

计算机视觉

深度残差网络

ResNet (Residual Network)

步骤1：残差块
基本残差块：y = F(x, {W_i}) + x，其中F是残差函数（如两个3×3卷积），x是恒等映射（shortcut connection）。若输入输出维度不同，则使用投影shortcut：y = F(x, {W_i}) + W_s x。
步骤2：网络架构
堆叠多个残差块，分为多个阶段（stage），每个阶段的第一块可能进行下采样（步长2），同时增加通道数。常用ResNet-50（50层）结构：
1. 初始卷积层：7×7卷积，步长2，后接最大池化。
2. 阶段1：3个残差块，每个块3层，输出256维。
3. 阶段2：4个残差块，每个块3层，输出512维。
4. 阶段3：6个残差块，每个块3层，输出1024维。
5. 阶段4：3个残差块，每个块3层，输出2048维。
6. 全局平均池化，全连接分类层。
步骤3：批量归一化
每个卷积后接批量归一化（BN）和ReLU激活，即Conv→BN→ReLU顺序。
步骤4：训练
使用交叉熵损失，SGD with momentum，学习率衰减，权重衰减。
参数选择/优化：
1. 网络深度：18, 34, 50, 101, 152层等
2. 残差块设计：basic block（两个3×3卷积）或bottleneck block（1×1降维，3×3卷积，1×1升维）
3. 初始化：He初始化
4. 优化器：SGD with momentum=0.9，权重衰减=0.0001
5. 学习率：初始0.1，每30个epoch除以10
6. 数据增强：随机裁剪、水平翻转、颜色抖动

精度：在ImageNet分类任务上，ResNet-152达到3.57% top-5错误率，首次超越人类水平（5.1%）
误差：交叉熵损失
强度：解决了深度网络梯度消失/爆炸问题，可训练极深网络（1000+层）

残差学习、梯度反向传播、深度网络优化、恒等映射、批量归一化

1. 图像分类：物体识别、场景分类
2. 目标检测：作为骨干网络提取特征（如Faster R-CNN）
3. 图像分割：语义分割、实例分割（如Mask R-CNN）
4. 人脸识别：提取人脸特征
5. 图像生成：作为生成对抗网络的判别器或编码器
6. 视频分析：视频分类、动作识别（3D ResNet）
7. 医学影像分析：病灶检测、分类
8. 自动驾驶：道路、车辆、行人检测
9. 图像超分辨率：作为重建网络
10. 风格迁移：作为特征提取器
特征：
- 层次特征：浅层边缘纹理，中层部件，高层语义
- 残差特征：学习输入与输出的残差
- 多尺度特征：通过下采样获得不同尺度特征图

变量：
x：输入特征图
F(x)：残差函数
y：输出特征图
常量：
L：网络总层数
C：阶段数
参数：
卷积核权重、批量归一化参数、全连接层权重

集合特征：网络层集合，特征图通道集合
逻辑特征：残差连接的信息流动逻辑
概率与统计特征：批量归一化的统计量（均值、方差）
随机性：数据增强随机性，Dropout（若使用）
不确定性：模型预测的不确定性
数据规律和推断：通过多层非线性变换学习层次特征
极限：当深度→∞时的极限行为（理论上可训练）
连续性：特征图的连续性，激活函数的连续性
微分：通过反向传播计算梯度，残差连接缓解梯度消失
积分：网络可视为微分方程的离散化（ResNet与ODE联系）
级数：多个残差块堆叠构成级数
收敛性：训练损失收敛性，深度网络可收敛
测度：特征图的范数作为信息量的测度
离散：像素的离散性，网络层的离散性
排序：按特征响应排序区域
组合：残差块的组合，多尺度特征的组合
构造：通过残差学习构造深度特征表示
优化：最小化交叉熵损失，SGD with momentum
计算与算法特征：前向复杂度O(∑ l_i·c_i·k_i²·h_i·w_i)，l_i为层数，c_i为通道数，k_i为核大小，h_i,w_i为特征图大小
稳定性：残差连接和批量归一化确保训练稳定
对称性/非对称性：卷积的平移等变性，网络结构对称（残差块重复）
代数：卷积运算，矩阵乘法（全连接），加法（残差）
拓扑：特征图空间的拓扑
几何：特征空间的几何，流形学习视角
群：卷积的平移群等变性
组合数学特征：网络路径的组合（ResNet可视为路径集合）

主要用于视觉特征提取
文本需先转化为图像形式（如字符图像）
但通常不直接处理文本

时序流程（训练）：
1. 数据加载与增强：t₀
- 加载图像批次，应用随机裁剪、水平翻转等增强。

2. 前向传播：t₁
a. 初始层：7×7卷积，BN，ReLU，最大池化。
b. 阶段1-4：每个阶段包含多个残差块。
对于每个残差块：
输入x。
路径1（残差函数F）：卷积层序列（如Conv→BN→ReLU→Conv→BN），输出F(x)。
路径2（shortcut）：若维度匹配，直接使用x；否则使用1×1卷积投影，得到W_s x。
输出y = ReLU(F(x) + shortcut(x))。
c. 全局平均池化：对最终特征图每个通道取平均。
d. 全连接层：将池化后的向量投影到类别数，得到logits。
e. Softmax：计算类别概率分布。

3. 损失计算：t₂
- 计算预测分布与真实标签的交叉熵损失。

4. 反向传播：t₃
- 计算梯度，通过残差连接梯度可直通底层，缓解消失。

5. 参数更新：t₄
- 使用SGD with momentum更新所有权重和BN参数。

推理流程：类似前向，去掉数据增强和Dropout（若使用），取softmax前logits或后概率。

服务器配置：
• GPU集群训练：ImageNet训练ResNet-50需8个V100 GPU约1天。更大规模数据集和更深网络需更多GPU和更长时间。可采用数据并行（同步BN）和混合精度训练加速。
• 分布式训练框架：使用PyTorch DDP、Horovod等。
• 在线推理服务：ResNet-50单张图像推理时间约5-10ms（GPU）。10亿级日请求（QPS约12万）需数百个GPU实例（如T4），配合模型压缩（如TensorRT优化、INT8量化）、批处理、异步处理。
• 计算需求：训练算力约10¹⁸ FLOPS。推理算力取决于图像分辨率和批次大小。
• 内存需求：模型参数约100MB（ResNet-50），特征图内存占用较大，需优化。

1. ResNet Variants：ResNeXt（分组卷积）、ResNet-D（改进下采样）、ResNet with SE blocks（注意力）
2. Pre-activation ResNet：BN和ReLU放在卷积前，性能更优
3. Wide ResNet：增加宽度而非深度
4. Stochastic Depth ResNet：训练时随机丢弃一些层，正则化
5. ResNet with Attention：集成注意力机制（如CBAM）
6. ResNet for Detection：FPN（特征金字塔网络）结合ResNet
7. ResNet for Segmentation：DeepLab系列（空洞卷积）
8. 3D ResNet：视频处理的3D卷积版本
9. ResNet with Adversarial Training：提升鲁棒性
10. EfficientNet：复合缩放深度、宽度、分辨率，基于ResNet思想

E-L1-0026​

集成学习

梯度提升决策树

XGBoost (eXtreme Gradient Boosting)

步骤1：模型定义
集成K棵树：ŷi = ∑{k=1}^{K} f_k(x_i), f_k∈ℱ，其中ℱ是CART树空间。
步骤2：目标函数
Obj(θ) = ∑{i=1}^{n} L(y_i, ŷi) + ∑{k=1}^{K} Ω(f_k)，其中Ω(f)=γT + (1/2)λ‖w‖²，T是叶子节点数，w是叶子权重。
步骤3：加法训练
第t轮迭代，添加一棵树f_t来最小化：Obj^{(t)} = ∑{i=1}^{n} L(y_i, ŷi^{(t-1)} + f_t(x_i)) + Ω(f_t)。
步骤4：二阶泰勒展开
对损失函数进行二阶近似：Obj^{(t)} ≈ ∑{i=1}^{n} [g_i f_t(x_i) + (1/2)h_i f_t²(x_i)] + Ω(f_t)，其中g_i=∂{ŷ^{(t-1)}} L(y_i, ŷ^{(t-1)}), h_i=∂²{ŷ^{(t-1)}} L(y_i, ŷ^{(t-1)})。
步骤5：定义树结构
将样本按叶子节点分组，令I_j={i |q(x_i)=j}为属于叶子j的样本索引集。则目标函数改写为：Obj^{(t)} = ∑{j=1}^{T} [G_j w_j + (1/2)(H_j+λ)w_j²] + γT，其中G_j=∑{i∈I_j} g_i, H_j=∑{i∈I_j} h_i。
步骤6：最优叶子权重和结构得分
对于固定树结构q，最优叶子权重w_j* = -G_j/(H_j+λ)，代入得结构得分：Obj* = -(1/2)∑{j=1}^{T} G_j²/(H_j+λ) + γT。
步骤7：寻找最佳分裂
贪心算法：对每个特征，按特征值排序，遍历可能的分裂点，计算分裂后的增益：Gain = (1/2)[G_L²/(H_L+λ) + G_R²/(H_R+λ) - (G_L+G_R)²/(H_L+H_R+λ)] - γ，选择增益最大的分裂。
步骤8：剪枝
当增益小于阈值（如负值）或达到最大深度时停止分裂。
参数选择/优化：
1. 树的数量（n_estimators）：通常100-1000
2. 学习率（eta）：通常0.01-0.3
3. 树的最大深度（max_depth）：通常3-10
4. 正则化参数：γ（min_split_loss）通常0，λ（reg_lambda）通常1
5. 子采样比例（subsample）：通常0.5-1
6. 列采样比例（colsample_bytree）：通常0.5-1

精度：在众多表格数据竞赛（如Kaggle）中表现优异，常作为首选模型之一
误差：取决于损失函数（如回归用平方误差，分类用对数损失）
强度：处理异构特征、缺失值，可解释性较好，不易过拟合（带正则）

梯度提升、决策树、加法模型、泰勒展开、正则化

1. 点击率预测：广告点击、商品点击预测
2. 推荐系统：排序模型，预测用户对物品的偏好
3. 风控模型：信用评分、欺诈检测
4. 用户流失预测：预测用户流失概率
5. 销售预测：零售销量预测
6. 异常检测：识别异常交易或行为
7. 特征选择：通过特征重要性评估特征
8. 多分类问题：手写数字识别、图像分类（与CNN结合）
9. 时间序列预测：作为回归模型预测未来值
10. 医学诊断：疾病风险预测
特征：
- 非线性特征：树模型捕获非线性交互
- 特征重要性：基于增益或覆盖度评估特征重要性
- 鲁棒性：对异常值和缺失值不敏感

变量：
ŷ_i：样本i的预测值
f_k：第k棵树
g_i, h_i：损失函数的一阶和二阶梯度
w_j：叶子j的权重
常量：
n：样本数
K：树的数量
参数：
学习率η
最大深度max_depth
正则化参数γ, λ
子采样比例subsample

集合特征：树集合，叶子节点集合，样本索引集I_j
逻辑特征：决策树的逻辑分裂规则
概率与统计特征：预测值的概率解释（如逻辑回归输出概率）
随机性：子采样、列采样的随机性
不确定性：预测的不确定性（可通过类似MCMC dropout近似）
数据规律和推断：通过梯度提升逐步拟合残差
极限：当K→∞，η→0时的极限行为（与梯度流相关）
连续性：预测函数的分段连续性（树模型）
微分：损失函数的一阶和二阶梯度
积分：目标函数对样本的求和（离散积分）
级数：加法模型的级数展开
收敛性：梯度提升的收敛性
测度：特征重要性作为特征贡献的测度
离散：决策树的分裂点是离散的
排序：按特征值排序以寻找最佳分裂
组合：多棵树的组合预测
构造：通过贪心分裂构造树
优化：最小化带正则的目标函数
计算与算法特征：时间复杂度O(K·d·n log n)，d为特征数，n为样本数
稳定性：正则化和子采样提升稳定性，减少过拟合
对称性/非对称性：树模型不对称，对特征缩放不变
代数：梯度计算，权重更新
拓扑：特征空间的划分拓扑
几何：特征空间被划分为超矩形
群：对样本索引的置换不变性
组合数学特征：特征分裂点的组合，树结构的组合

可处理数值和类别特征（需编码）
文本特征需转化为数值（如TF-IDF）
模型本身不直接处理原始文本

时序流程（训练）：
1. 初始化：t₀
- 初始化预测值（如对于平方损失，初始化为均值）。

2. 迭代训练：for t=1 to K
a. 计算梯度：t₁
- 计算每个样本的一阶梯度g_i和二阶梯度h_i。
b. 构建一棵树：t₂
- 根据当前样本权重（或子采样）选择样本子集。
- 根据列采样选择特征子集。
- 从根节点开始，递归寻找最佳分裂：
for each feature in 特征子集:
将样本按该特征值排序。
遍历可能的分裂点，计算分裂后的增益Gain。
选择增益最大的（特征，分裂点）。
如果最大增益>γ，则分裂，否则成为叶子节点。
递归直到达到最大深度或无法分裂。
- 确定叶子节点权重：w_j* = -G_j/(H_j+λ)。
c. 更新模型：t₃
- 更新预测：ŷi = ŷi + η·f_t(x_i)。

3. 输出模型：t₄
- 得到K棵树的集合。

预测流程：
- 对于新样本x，遍历每棵树，根据分裂规则落到叶子节点，得到该树的输出w，将所有树的输出加权求和（乘以学习率η）得到最终预测。

服务器配置：
• 分布式CPU集群：XGBoost原生支持分布式训练（如Spark、Dask）。处理10亿样本、数百特征，需数百个CPU节点，每个节点32-64核心、128-256GB内存。通过数据分片和特征并行加速。
• GPU加速：XGBoost支持GPU训练，利用GPU并行计算梯度和寻找分裂点。需16-64张NVIDIA A100 GPU，内存需容纳数据和模型。
• 在线推理服务：树模型推理极快（微秒级）。10亿级QPS需数千个CPU实例，但可通过模型压缩（如剪枝）和缓存优化。通常部署在CPU服务器上，每个实例可处理数万QPS。
• 计算需求：训练复杂度与样本数、特征数、树深度和树数量成正比。大规模数据需TB级内存和数百TFLOPS算力。
• 内存需求：需存储样本数据和中间梯度。10亿样本100特征8字节 ≈ 800GB，加上索引和开销，需数TB内存。

1. LightGBM：基于直方图的算法，支持类别特征，更快更低内存
2. CatBoost：自动处理类别特征，减少过拟合
3. HistGradientBoosting (sklearn)：直方图梯度提升
4. XGBoost with Dart：引入Dropout，减少过拟合
5. XGBoost with Linear Booster：线性模型作为基学习器
6. XGBoost for Ranking：支持LambdaMART排序损失
7. XGBoost with GPU：GPU加速实现
8. XGBoost with Quantization：量化压缩模型
9. XGBoost with Monotonic Constraints：加入单调性约束
10. XGBoost for Time Series：结合时间特征和滞后变量

E-L1-0027​

集成学习

基于直方图的梯度提升框架

LightGBM (Light Gradient Boosting Machine)

步骤1：直方图算法
将连续特征离散化为k个桶（如255），构建直方图。在寻找分裂点时，遍历直方图桶而非原始数据，计算桶内梯度和（G, H）以评估分裂增益。
步骤2：梯度单边采样（GOSS）
在计算梯度时，保留梯度绝对值大的样本（top a%），随机采样梯度小的样本（b%），并对小梯度样本的梯度乘以常数(1-a)/b以补偿。
步骤3：互斥特征捆绑（EFB）
将互斥的特征（很少同时非零）捆绑为一个特征，减少特征维度。通过图着色算法寻找最小捆绑数。
**步骤4：树生长策略 - 叶子生长（

E-L1-0028​

深度异常检测

深度单类分类

Deep SVDD (Deep Support Vector Data Description)

步骤1：目标函数
最小化超球体积，将正常数据映射到球心c附近：
min{𝒲} (1/n)∑{i=1}^{n} ‖ϕ(x_i;𝒲)-c‖² + (λ/2)∑{l=1}^{L} ‖W^l‖F²
其中ϕ(·;𝒲)是神经网络映射，c是球心（可固定或学习），λ是权重衰减参数。
步骤2：网络架构
使用深度神经网络（如多层全连接或卷积网络）作为映射函数ϕ。
步骤3：球心初始化
通常c初始化为网络在初始批次数据上输出的均值，或在训练中保持固定。
步骤4：异常评分
样本x的异常分数为距球心的距离：s(x)=‖ϕ(x;𝒲)-c‖²，越大越异常。
步骤5：训练
使用正常数据训练，通过反向传播最小化目标函数。
参数选择/优化：
1. 网络结构：层数、隐藏单元数，根据数据复杂度选择
2. 球心c：固定为初始均值或作为可学习参数
3. 权重衰减λ：控制模型复杂度，防止过拟合
4. 优化器：Adam，学习率通常1e-3~1e-4
5. 批次大小：通常64~256

精度：在多个异常检测基准数据集上优于传统单类分类方法（如OC-SVM）
误差：重构误差或距离误差
强度：能够学习正常数据的复杂分布边界

单类分类、支持向量数据描述、深度表示学习、最小体积超球

1. 欺诈检测：识别异常金融交易
2. 网络入侵检测：发现异常网络流量
3. 工业异常检测：识别产品缺陷或机器故障
4. 医疗异常：检测罕见疾病或异常影像
5. 视频监控异常：发现异常行为事件
6. 社交机器人检测：识别异常用户行为模式
7. 虚假新闻检测：识别与正常新闻模式不符的内容
8. 系统日志异常：从日志中发现系统故障
9. 传感器异常：检测IoT传感器异常读数
10. 生物特征防伪：检测伪造指纹、人脸等
特征：
- 深度特征：通过网络学习的高层抽象特征
- 距离特征：样本到正常模式中心的距离
- 分布特征：正常数据的紧凑分布表示

变量：
x_i：输入样本
ϕ(x_i;𝒲)：网络映射输出
c：超球球心
s(x)：异常分数
常量：
n：训练样本数
L：网络层数
参数：
网络权重𝒲={W^l}
球心c（若可学）
权重衰减系数λ

集合特征：正常样本集，超球空间
逻辑特征：异常判定的逻辑（距离阈值）
概率与统计特征：距离的分布，可视为一种密度估计
随机性：权重初始化，批次采样
不确定性：异常阈值选择的不确定性
数据规律和推断：正常数据在表示空间中的聚类性
极限：当网络宽度→∞时的表示能力极限
连续性：网络映射的连续性，距离函数的连续性
微分：通过反向传播计算梯度
积分：目标函数对样本的求和（离散积分）
级数：网络的多层变换构成级数
收敛性：训练损失收敛性
测度：欧氏距离作为异常测度
离散：样本的离散性
排序：按异常分数排序样本
组合：网络各层的组合表示
构造：通过最小化体积构造正常区域
优化：最小化平均距离和权重衰减
计算与算法特征：时间复杂度O(n·网络前向计算成本)
稳定性：对正常数据分布敏感，需足够代表性数据
对称性/非对称性：距离度量的对称性
代数：向量范数，矩阵Frobenius范数
拓扑：表示空间的拓扑，超球的拓扑
几何：超球几何，样本在表示空间的几何分布
群：对样本顺序的置换不变性
组合数学特征：网络路径的组合

可处理文本、图像、序列等多种模态数据，需先转化为向量
异常检测任务本身不直接处理语言，但可应用于文本异常

时序流程：
1. 初始化：t₀
- 初始化网络权重𝒲（如Xavier初始化）。
- 用初始批次数据前向传播，计算输出均值，初始化为球心c。

2. 训练循环：for epoch=1 to max_epochs
a. 数据加载：t₁
- 加载一个批次的正常数据{x_i}。
b. 前向传播：t₂
- 计算网络映射：z_i = ϕ(x_i;𝒲)。
- 计算距离：d_i = ‖z_i - c‖²。
- 计算目标函数：L = (1/m)∑i d_i + (λ/2)∑l ‖W^l‖_F²。
c. 反向传播与更新：t₃
- 计算梯度∂L/∂𝒲，更新网络权重𝒲（若c可学，也更新c）。

3. 异常评分：t₄
- 对新样本x，计算s(x)=‖ϕ(x;𝒲)-c‖²。

交互流程：
- 网络将样本映射到表示空间，目标是使所有正常样本靠近球心c。

服务器配置：
• GPU训练集群：Deep SVDD训练需处理大量正常样本。对于十亿级样本，需16-64张NVIDIA A100 GPU，利用数据并行。网络通常不深，计算开销主要在前向传播和距离计算。
• 在线推理服务：单次推理包括一次网络前向和一次距离计算，延迟低（ms级）。10亿级日检测量（QPS约12万）需数百个GPU/CPU实例。模型较小，可轻松部署在边缘设备。
• 计算需求：训练复杂度取决于样本数和网络大小。十亿样本训练需算力约10-100 PFLOPS·天。
• 内存需求：需存储正常样本用于训练，以及模型参数。模型参数通常MB级别。

1. Deep One-Class Classification：结合自编码器重构误差和SVDD距离的变体
2. Anomaly Detection with Generative Adversarial Networks (GAN)：使用GAN的鉴别器分数或重构误差作为异常分数
3. Efficient Deep Anomaly Detection (EfficientAD)：结合教师-学生网络和自集成，提升效率
4. Self-Supervised Deep One-Class Classification：利用自监督任务学习更佳表示
5. Deep SVDD with Negative Samples：在有少量异常样本时使用
6. Robust Deep SVDD：对污染数据（含异常）的鲁棒版本
7. Deep SVDD for Time Series：结合循环或时间卷积网络
8. Multi-modal Deep SVDD：处理多模态数据（如图文）
9. Online Deep SVDD：支持流式数据，增量更新球心c和网络
10. Deep SVDD with Attention：引入注意力机制，聚焦关键特征

E-L1-0029​

自监督学习

视觉对比学习框架

SimCLR (A Simple Framework for Contrastive Learning)

步骤1：数据增强
对每个样本x，随机应用两次独立增强t~T, t'~T，得到两个相关视图x̃i, x̃j。增强包括：随机裁剪、颜色失真、高斯模糊等。
步骤2：编码器
使用基础编码器f(·)（如ResNet）提取表示向量：h_i = f(x̃i), h_j = f(x̃j)。
步骤3：投影头
通过小型MLP投影头g(·)映射到对比损失空间：z_i = g(h_i), z_j = g(h_j)，并对z进行L2归一化。
步骤4：对比损失（NT-Xent）
对于批次中N个样本产生的2N个增强视图，定义正样本对为来自同一原始样本的两个视图，负样本对为来自不同样本的视图。对于正样本对(i,j)，损失为：
ℓ{i,j} = -log[exp(sim(z_i, z_j)/τ) / ∑{k=1}^{2N} 𝟙{[k≠i]} exp(sim(z_i, z_k)/τ)]
其中sim(u,v)=uᵀv是余弦相似度，τ是温度参数。最终损失是所有正对的平均：ℒ = (1/2N)∑{k=1}^{N}[ℓ{2k-1,2k} + ℓ{2k,2k-1}]。
步骤5：下游任务
预训练后，丢弃投影头g，使用编码器f提取的特征进行线性评估或微调。
参数选择/优化：
1. 批次大小N：越大越好，通常512~4096，提供更多负样本
2. 温度τ：调节softmax的尖锐程度，通常0.1~0.5，需调参
3. 编码器f：常用ResNet-50
4. 投影头g：MLP，通常一层或两层，输出维度128~512
5. 优化器：LARS或AdamW，大学习率，余弦衰减
6. 增强组合：随机裁剪+颜色抖动+高斯模糊是关键

精度：在ImageNet线性评估上，SimCLR v2 (ResNet-152) 达到79.8% top-1，接近有监督监督学习性能
误差：对比损失（InfoNCE loss）
强度：学习到可转移的视觉表示，无需人工标注，对增强组合敏感

对比学习、不变性原理、InfoNCE损失、数据增强不变性、表示学习

1. 图像分类：预训练编码器，用于下游图像分类任务
2. 目标检测：预训练骨干网络，提升检测性能
3. 图像分割：预训练编码器，用于语义/实例分割
4. 图像检索：学习图像的紧凑表示，用于相似性搜索
5. 异常检测：正常样本表示紧凑，异常样本表示远离
6. 多模态学习：可与文本结合进行跨模态对比学习
7. 医学影像分析：解决医疗数据标注稀缺问题
8. 视频理解：扩展到时序，学习视频片段表示
9. 自监督语音：应用于音频波形或谱图
10. 图表示学习：类比应用于图数据
特征：
- 视觉特征：颜色、纹理、形状等
- 不变性特征：对预设增强变换的不变性
- 区分性特征：不同样本间的可区分性

变量：
x：原始图像样本
x̃i, x̃j：增强后的视图
h：编码器输出表示
z：投影头输出表示（归一化后）
常量：
N：批次大小（原始样本数）
d：投影表示的维度
参数：
编码器参数θ_f
投影头参数θ_g
温度参数τ

集合特征：批次样本集，正负样本对集合
逻辑特征：正负样本对的逻辑区分
概率与统计特征：softmax计算的条件概率，InfoNCE与互信息下界的关系
随机性：数据增强的随机性，批次采样随机性
不确定性：表示学习的不确定性
数据规律和推断：通过数据增强定义不变性，学习不变表示
极限：当N→∞，τ→0时的极限行为
连续性：编码函数和相似度函数的连续性
微分：对比损失的梯度计算
积分：softmax分母的求和（离散积分）
级数：损失函数中对批次的求和
收敛性：训练损失收敛性
测度：余弦相似度作为表示相似性测度
离散：批次的离散性
排序：按相似度排序样本
组合：数据增强的组合，正负样本的组合
构造：通过对比学习构造表示空间
优化：最小化InfoNCE损失
计算与算法特征：时间复杂度O(N²·d)，N大时计算开销大
稳定性：大批次和温度参数对稳定性重要
对称性/非对称性：损失函数对称，增强可能不对称
代数：矩阵乘法、softmax运算、归一化
拓扑：表示空间的拓扑
几何：表示在超球面上的几何（L2归一化后）
群：对样本和增强的变换群（数据增强定义）
组合数学特征：批次内正负样本对的组合

核心是视觉表示学习
文本可类比应用于NLP（如SimCSE）
不直接处理语言，但学习的表示可用于多模态任务

时序流程：
1. 数据加载与增强：t₀
- 加载一个批次N个原始图像{x_1,...,x_N}。
- 对每个x_k，应用两次独立的随机增强t∼T, t'∼T，得到x̃{2k-1}=t(x_k), x̃{2k}=t'(x_k)。形成2N个增强视图。

2. 编码与投影：t₁
- 用编码器f_θ计算表示：h_i = f_θ(x̃i)。
- 用投影头g_φ计算对比表示：z_i = g_φ(h_i)。
- 对z_i进行L2归一化。

3. 计算相似度矩阵：t₂
- 计算所有归一化z_i之间的余弦相似度矩阵S∈ℝ^{2N×2N}，其中s{ij}=z_iᵀz_j。

4. 计算对比损失：t₃
- 对每个正样本对(i, j)（即来自同一原始样本的两个视图），计算损失：
ℓ{i,j} = -log[ exp(s{ij}/τ) / (∑{k=1}^{2N} 𝟙{[k≠i]} exp(s{ik}/τ)) ]
- 总损失：ℒ = (1/(2N)) ∑{k=1}^{N} (ℓ{2k-1,2k} + ℓ{2k,2k-1})

5. 反向传播与更新：t₄
- 计算梯度∇θℒ, ∇φℒ，更新参数θ, φ。

下游任务使用：
- 丢弃投影头g，用编码器f提取特征，接一个线性分类器（线性评估）或微调整个网络。

服务器配置：
• 大规模TPU/GPU集群：SimCLR原文在TPU v3上训练，使用4096的批次大小。同等规模需128-512个TPU核心或128-256张NVIDIA A100 GPU，通过AllReduce同步梯度。内存需存储超大批次数据和模型。
• 分布式训练框架：使用PyTorch DDP、Horovod或JAX/Flax。需注意大批次下的梯度同步和数值稳定性。
• 在线推理服务：编码器推理与标准ResNet相同，单张图像约5-10ms（GPU）。下游任务部署时，10亿级日请求需数百个GPU实例。
• 计算需求：对比损失计算O(N²)是瓶颈。预训练ImageNet需算力约1-10 PFLOPS·天。
• 存储需求：ImageNet级别数据集约100GB。更大数据集需TB级存储。
• 优化：需梯度累积、混合精度训练、LARS优化器处理大批次。

1. MoCo (Momentum Contrast)：引入动量编码器和队列，解耦批次大小与负样本数量
2. BYOL (Bootstrap Your Own Latent)：无需负样本，通过预测目标网络进行学习
3. SwAV (Swapping Assignments between Views)：在线聚类，交换预测码
4. Barlow Twins：减少跨增强视图表示的相关性，无需负样本
5. DINO：自蒸馏，学生网络匹配教师网络的输出分布
6. VICReg (Variance-Invariance-Covariance Regularization)：对表示施加方差、协方差和不变性约束
7. SimSiam：简单的孪生网络，无需负样本、动量编码器、大批次
8. NNCLR：使用近邻作为正样本
9. ReSSL：重加权自监督对比学习
10. Masked Autoencoders (MAE)：掩码自编码，另一类自监督方法

E-L1-0030​

多模态学习

对比语言-图像预训练

CLIP (Contrastive Language-Image Pre-training)

步骤1：双编码器架构
图像编码器（如ViT、ResNet）和文本编码器（如Transformer），分别将图像I和文本T映射到共享的d维向量空间：v_I = f_I(I), v_T = f_T(T)。对特征进行L2归一化。
步骤2：对比预训练目标
给定一个批次N个（图像，文本）对，计算相似度矩阵S∈ℝ^{N×N}，其中S{i,j} = v_I_i · v_T_j / τ，τ为可学习的温度参数。
目标函数为对称的交叉熵损失：
ℒI = (1/N)∑{i=1}^{N} -log[exp(S{i,i}/τ) / ∑{j=1}^{N} exp(S{i,j}/τ)]
ℒT = (1/N)∑{j=1}^{N} -log[exp(S{j,j}/τ) / ∑{i=1}^{N} exp(S{i,j}/τ)]
总损失：ℒ = (ℒI + ℒ_T)/2
步骤3：从自然语言监督中学习
使用网络上收集的海量（图像，描述文本）对进行训练，使模型学习到丰富的视觉概念和语义。
步骤4：零样本预测
对于分类任务，将类别名称构造成描述文本（如“一张{类别}的照片”），计算图像特征与所有类别文本特征的相似度，取最高者作为预测类别。
参数选择/优化：
1. 图像编码器：ViT-B/32, ViT-B/16, ViT-L/14等
2. 文本编码器：Transformer，宽度与图像编码器匹配
3. 温度参数τ：可学习或固定
4. 批次大小N：非常大，如32768，以利用大量负样本
5. 优化器：AdamW，余弦学习率衰减

精度：在多个图像分类、检索数据集上实现强大的零样本性能，无需下游数据训练
误差：对比损失（InfoNCE loss）
强度：打破传统分类范式，实现开放世界的视觉概念理解和零样本迁移

对比学习、多模态表示学习、自监督学习、双编码器架构、从自然语言监督中学习

1. 零样本图像分类：无需训练，直接对新类别图像分类
2. 图像-文本检索：用文本搜索图像，或用图像搜索文本
3. 内容安全过滤：识别违规、敏感图文内容
4. 自动标注：为图像生成描述性标签或标题
5. 视觉问答：结合VQA模型，回答关于图像的问题
6. 多模态推荐：结合用户图文历史进行推荐
7. 虚假信息检测：检测图文不一致的虚假内容
8. 创意内容生成：引导文生图模型（如DALL-E）
9. 无障碍技术：为视障用户描述图像内容
10. 电商搜索：用自然语言搜索商品图片
特征：
- 视觉特征：图像编码器提取的全局/局部特征
- 文本特征：文本编码器提取的语义特征
- 多模态对齐特征：图文在共享空间的对应关系

变量：
I_i：第i张图像
T_i：第i段文本
v_I_i：图像特征向量（归一化）
v_T_i：文本特征向量（归一化）
S：相似度矩阵
常量：
N：批次大小
d：共享嵌入空间的维度
参数：
图像编码器参数θ_I
文本编码器参数θ_T
温度参数τ

集合特征：图像集、文本集、（图像，文本）对集合
逻辑特征：正负样本对的逻辑关系
概率与统计特征：softmax计算的条件概率
随机性：数据采样随机性，Dropout
不确定性：零样本预测的置信度
数据规律和推断：图文对齐的统计规律
极限：当数据量→∞时的表示能力极限
连续性：编码空间的连续性
微分：对比损失的梯度计算
积分：softmax分母的求和（离散积分）
级数：损失函数中的求和
收敛性：预训练损失收敛性
测度：余弦相似度作为跨模态相似性测度
离散：批次的离散性
排序：按相似度排序图像或文本
组合：多模态信息的组合对齐
构造：通过对比学习构造对齐空间
优化：最小化对比损失
计算与算法特征：时间复杂度O(N²·d)，N很大
稳定性：大批次和温度参数对训练稳定性关键
对称性/非对称性：损失函数对称
代数：矩阵乘法、softmax运算
拓扑：共享嵌入空间的拓扑
几何：图像和文本特征在球面上的几何（归一化后）
群：对批次内样本的置换不变性
组合数学特征：批次内正负样本的组合

核心是多模态（视觉+语言）理解
文本编码器处理自然语言描述
强大的零样本语义泛化能力

时序流程（预训练）：
1. 数据加载：t₀
- 加载一个批次的N个（图像I_i，文本T_i）对。

2. 编码：t₁
- 图像编码：v_I_i = normalize(f_I(I_i))
- 文本编码：v_T_i = normalize(f_T(T_i))

3. 计算相似度矩阵：t₂
- S = [s{ij}]，其中s{ij} = v_I_i · v_T_j / τ

4. 计算对比损失：t₃
- 图像到文本损失：ℒi2t(i) = -log[exp(s{ii}) / ∑j exp(s{ij})]
- 文本到图像损失：ℒt2i(i) = -log[exp(s{ii}) / ∑j exp(s{ji})]
- 批次平均：ℒ = (1/(2N)) ∑{i=1}^{N} [ℒi2t(i) + ℒ_t2i(i)]

5. 反向传播与更新：t₄
- 计算梯度，更新θ_I, θ_T, τ。

零样本推理流程：
1. 准备类别文本提示，如{“一张狗的照片”， “一张猫的照片”， ...}，得到文本特征集T。
2. 编码待分类图像，得到图像特征v_I。
3. 计算v_I与T中每个文本特征的相似度。
4. 预测类别为相似度最高的文本提示对应的类别。

服务器配置：
• 超大规模多GPU/TPU集群：预训练需在数亿图文对上训练大型ViT/ResNet和Transformer，需256-1024张NVIDIA A100/H100或TPU v3/v4，通过高速互联。内存需存储数十亿参数和超大批次。
• 分布式训练框架：使用DeepSpeed、FairScale等，结合数据并行、模型并行（将编码器分层）和梯度累积。
• 推理服务集群：图像和文本编码可分离部署。单张A100 GPU编码一张图像约需10-50ms。10亿级图文检索/过滤需求，需数百至上千张GPU组成编码和检索集群，配合向量数据库（如Milvus）。
• 计算需求：预训练计算量巨大，需算力1-10 EFLOPS·天。
• 存储需求：训练数据（图文对）达数十TB级别。

1. ALIGN：使用更大量的噪声网络数据训练
2. LiT：锁定图像塔，仅微调文本塔，实现零样本迁移
3. BLIP/BLIP-2：统一的视觉-语言理解和生成模型
4. FLAVA：统一的多模态预训练模型，处理单模、多模任务
5. CoCa：对比学习与生成目标结合
6. DeCLIP：通过自蒸馏、跨模态蒸馏等提高数据效率
7. SLIP：结合CLIP和视觉自监督学习（SimCLR）
8. CyCLIP：通过循环一致性改进对齐
9. RegionCLIP：学习图像区域与文本短语的对齐
10. Chinese CLIP：针对中文优化的CLIP模型

E-L1-0031​

可解释性AI

局部可解释模型-无关解释

LIME (Local Interpretable Model-agnostic Explanations)

步骤1：样本扰动
对于要解释的样本x（如一个文本或图像），在其周围生成一组扰动样本{z_1, z_2, ..., z_m}。对于文本，可通过随机移除单词；对于图像，通过随机屏蔽超像素。
步骤2：预测
使用待解释的复杂模型f（黑盒）对这些扰动样本进行预测，得到预测值f(z_i)。
步骤3：样本加权
根据扰动样本z_i与原始样本x的相似度计算权重π_x(z_i)，通常使用指数核：π_x(z) = exp(-D(x,z)²/σ²)，其中D是距离度量（如L2距离或文本的余弦距离），σ是宽度参数。
步骤4：拟合可解释模型
在扰动样本集上，拟合一个简单的可解释模型g（如线性回归、决策树），目标是最小化加权损失：
argmin{g∈G} ∑{i=1}^{m} π_x(z_i) (f(z_i) - g(z_i))² + Ω(g)
其中Ω(g)是模型复杂度正则项（如线性模型的L2正则，决策树的深度限制），G是可解释模型族。
步骤5：解释
通过可解释模型g的系数或规则来解释原始样本x的预测。对于线性模型，特征系数大小和符号表示特征对预测的贡献方向和强度。
参数选择/优化：
1. 扰动数量m：通常1000~10000，越多解释越稳定
2. 相似度核宽度σ：控制局部性，需调参
3. 距离度量D：根据数据类型选择（L2、余弦等）
4. 可解释模型g：常用线性回归或决策树，需简单
5. 正则化强度：控制可解释模型的复杂度

精度：通过局部拟合的忠实度（fidelity）衡量，即g在局部近似f的好坏
误差：加权均方误差
强度：模型无关，适用于任何黑盒模型，提供局部可解释性

局部近似、可解释性、扰动分析、加权限回归、模型诊断

1. 信用评分解释：解释为何拒绝某人的贷款申请
2. 医疗诊断解释：解释模型为何预测某患者有疾病
3. 推荐系统解释：解释为何推荐某个商品给用户
4. 自动驾驶决策解释：解释为何车辆做出特定决策
5. 内容审核解释：解释为何将某帖子标记为违规
6. 欺诈检测解释：解释为何将某交易标记为欺诈
7. 图像分类解释：突出对分类重要的图像区域
8. 文本分类解释：突出对分类重要的词汇
9. 模型调试：识别模型依赖的虚假特征
10. 合规与审计：满足监管对AI决策解释的要求
特征：
- 局部特征：关注单个预测周围的局部区域
- 特征重要性：通过可解释模型的系数量化特征贡献
- 模型无关性：不依赖于黑盒模型内部结构

变量：
x：待解释的样本
z_i：扰动样本
f(z_i)：黑盒模型对z_i的预测
g：可解释模型
π_x(z_i)：样本权重
常量：
m：扰动样本数
σ：核宽度
参数：
可解释模型g的参数（如线性系数）
正则化参数

集合特征：扰动样本集，特征集
逻辑特征：可解释模型（如决策树）的逻辑规则
概率与统计特征：加权回归，系数估计的统计显著性
随机性：扰动生成的随机性
不确定性：解释的稳定性（不同扰动集可能导致不同解释）
数据规律和推断：黑盒模型在局部可能近似线性
极限：当m→∞，σ→0时，g在x处收敛于f的局部线性近似
连续性：预测函数f的连续性（假设）
微分：可视为对f的数值微分近似
积分：加权损失的求和（离散积分）
级数：扰动样本的求和
收敛性：加权回归的收敛性
测度：相似度权重作为局部性的测度
离散：扰动样本的离散性，特征的离散性
排序：按特征重要性（系数绝对值）排序特征
组合：多个扰动样本的组合信息
构造：通过加权回归构造局部近似
优化：最小化加权损失加正则化
计算与算法特征：时间复杂度O(m·(黑盒预测成本 + 拟合g的成本))
稳定性：解释可能对扰动敏感，需多次运行取平均
对称性/非对称性：依赖于距离度量D的对称性
代数：加权最小二乘求解，距离计算
拓扑：样本空间的局部拓扑
几何：在黑盒函数f的图像上的局部切平面近似
群：对特征顺序的置换（若使用袋模型）
组合数学特征：特征子集的组合（对于稀疏线性模型）

可直接处理文本，通过扰动词袋表示
为文本分类提供词汇级解释
支持多语言文本

时序流程：
1. 输入：t₀
- 待解释样本x，黑盒模型f。

2. 生成扰动样本：t₁
- 在x周围生成m个扰动样本{z_i}。对于文本，通过随机将某些词置为零（删除）；对于图像，通过随机将某些超像素置为平均色。

3. 获取黑盒预测：t₂
- 对每个z_i，计算f(z_i)。（可能需要调用黑盒API）

4. 计算相似度权重：t₃
- 对每个z_i，计算与x的距离D(x, z_i)，进而计算权重π_x(z_i)=exp(-D²/σ²)。

5. 拟合可解释模型：t₄
- 将扰动样本表示转换为可解释特征（如文本的词袋，图像的超像素存在指示向量）。
- 在数据集{(可解释特征(z_i), f(z_i))}上，以π_x(z_i)为权重，拟合可解释模型g（如线性回归）。
- 求解：β* = argmin_β ∑_i π_x(z_i) (f(z_i) - β·z_i')² + λ‖β‖²，其中z_i'是可解释特征。

6. 解释：t₅
- 对于线性模型，特征j的系数β_j表示该特征对预测f(x)的贡献。可视化前k个最重要特征。

交互流程：
- 用户提供样本x，LIME通过扰动和拟合，返回一个局部近似模型g及其系数作为解释。

服务器配置：
• 分布式计算集群：LIME需要生成大量扰动样本并调用黑盒模型预测，计算密集。对于10亿级用户请求解释，需采用分布式任务队列（如Celery+Redis）和数百个CPU/GPU工作节点。每个解释请求独立，可水平扩展。
• 黑盒模型服务化：黑盒模型f需部署为高性能推理服务（如TensorFlow Serving）。LIME工作节点通过RPC调用获取f(z_i)。需确保低延迟和高吞吐。
• 缓存优化：相似的解释请求可缓存结果。扰动样本生成可预计算或复用。
• 计算需求：单个解释需m次黑盒预测和一次加权回归拟合。m通常1000-10000。10亿QPS不可能，但实际解释需求远低于预测需求。假设每日1000万次解释请求，需约1000个CPU节点并行处理。
• 内存需求：需存储扰动样本和中间预测值，内存需求适中。

1. SHAP (SHapley Additive exPlanations)：基于博弈论Shapley值，提供一致的特征归因
2. Anchors：生成if-then规则解释，保证高精度
3. LIME for Time Series：针对时间序列数据的变体
4. Bayesian LIME：提供解释的不确定性估计
5. LIME with Submodular Pick：选取一组有代表性的解释
6. LIME for Graph Data：解释图神经网络的预测
7. LIME with Counterfactuals：生成反事实解释
8. LIME with Stability Selection：提高解释的稳定性
9. LIME for Reinforcement Learning：解释RL策略
10. Integrated Gradients：另一种基于梯度的特征归因方法，适用于深度学习

E-L1-0032​

强化学习

异步优势演员-评论家

A3C (Asynchronous Advantage Actor-Critic)

步骤1：网络架构
共享的神经网络，输出两个头：
1. 策略头π(a|s;θ)：输出动作概率分布（离散）或参数（连续）。
2. 价值头V(s;θ)：输出状态价值估计。
步骤2：异步并行
多个actor-learner线程并行运行，每个线程有自己的环境副本和网络参数副本。线程间异步更新全局共享的网络参数。
步骤3：前进步骤
每个线程运行策略π，在环境中执行最多t_max步，收集经验轨迹(s_t, a_t, r_t, s{t+1})。
步骤4：计算优势
对于轨迹中每个状态s_t，计算n步回报：R_t = ∑{k=0}^{n-1} γ^k r{t+k} + γ^n V(s{t+n};θ)，其中n≤t_max，若s{t+n}是终止状态，则最后一项为0。
优势估计：A(s_t, a_t) = R_t - V(s_t;θ)。
步骤5：损失函数
1. 策略损失（带熵正则）：ℒπ = -∑t log π(a_t|s_t;θ) A(s_t, a_t) - β∑t H(π(·|s_t;θ))，其中H是熵，β是熵系数。
2. 价值损失：ℒV = ∑t (R_t - V(s_t;θ))²。
总损失：ℒ = ℒπ + αℒV，α是价值损失系数。
步骤6：异步更新
每个线程计算损失梯度，异步更新全局共享参数θ（无锁）。然后线程用新全局参数更新自己的本地参数，继续收集经验。
参数选择/优化：
1. 线程数：通常16~32
2. t_max（前进步数）：通常5~20
3. 折扣因子γ：通常0.99
4. 熵系数β：鼓励探索，可随时间衰减
5. 价值损失系数α：通常0.5~1
6. 优化器：共享的RMSProp或Adam，学习率通常1e-4~7e-4

精度：在多种Atari游戏和连续控制任务上达到或超越DQN、A2C等算法，样本效率高
误差：策略梯度的方差，价值函数的时序差分误差
强度：无需经验回放，支持在线学习，可并行加速

策略梯度定理、优势函数、演员-评论家架构、异步并行优化、n步回报

1. 游戏AI：训练智能体玩Atari游戏、棋牌游戏
2. 机器人控制：连续控制机器人运动、操作
3. 自动驾驶：在模拟环境中学习驾驶策略
4. 资源管理：动态分配计算、网络资源
5. 推荐系统：学习长期用户参与度的推荐策略
6. 对话系统：学习多轮对话策略
7. 金融交易：学习股票、加密货币交易策略
8. 网络配置：优化网络路由、拥塞控制
9. 广告竞价：实时调整广告出价策略
10. 实验设计：自适应选择实验方案
特征：
- 状态特征：环境观测的表示（图像、向量）
- 动作特征：离散或连续动作空间
- 时序特征：n步回报捕获多步奖励

变量：
s_t：状态
a_t：动作
r_t：奖励
π(a|s;θ)：参数化策略
V(s;θ)：价值函数
A(s,a)：优势函数
常量：
γ：折扣因子
t_max：前进步数
参数：
全局共享网络参数θ
熵系数β
价值损失系数α

集合特征：状态空间，动作空间，线程集合
逻辑特征：策略的条件概率分布
概率与统计特征：策略分布，回报的期望，优势的估计
随机性：策略的随机性，环境随机性，线程异步的随机性
不确定性：长期回报的不确定性
数据规律和推断：马尔可夫决策过程，策略梯度，价值函数贝尔曼方程
极限：当线程数→∞时的收敛行为
连续性：状态、动作、价值的连续性（通常）
微分：策略梯度，价值函数梯度
积分：期望回报的积分形式，n步回报的求和
级数：n步回报是奖励的级数
收敛性：异步随机梯度下降的收敛性
测度：状态访问分布，策略差异的测度
离散：离散时间步，离散动作空间（可处理）
排序：按优势值排序动作
组合：策略和价值函数的组合优化
构造：通过多线程交互构造经验并更新
优化：异步随机梯度下降
计算与算法特征：时间复杂度取决于环境和网络，可线性加速（线程数）
稳定性：异步更新可能带来稳定性问题，但实践中表现良好
对称性/非对称性：时间方向的不对称性
代数：期望计算，梯度计算
拓扑：状态-动作空间的拓扑
几何：策略空间（概率单纯形）的几何
群：状态/动作的对称性（若存在）
组合数学特征：动作序列的组合

可处理文本状态（需编码）和离散文本动作（如对话生成）
奖励函数设计是关键

时序流程（单个线程）：
1. 初始化：t₀
- 线程本地网络参数θ' ← 全局共享参数θ。
- 重置环境，得到初始状态s_0。
- t=0。

2. 前进阶段：while t < t_max and not terminal
a. 根据策略π(a|s_t;θ')选择动作a_t。
b. 执行a_t，收到奖励r_t，新状态s{t+1}。
c. t = t+1。
得到轨迹：s_0, a_0, r_0, s_1, a_1, r_1, ..., s_t。

3. 计算回报与优势：
- 如果s_t是终止状态，则R{t-1} = r{t-1}，否则R{t-1} = r{t-1} + γV(s_t;θ')。
- 对于i = t-2 down to 0: R_i = r_i + γR{i+1}。
- 对于i = 0 to t-1: A_i = R_i - V(s_i;θ')。

4. 计算损失梯度：
- 策略损失梯度：∇θ' ℒπ = -∑i ∇θ' log π(a_i|s_i;θ') A_i - β∑i ∇θ' H(π(·|s_i;θ'))
- 价值损失梯度：∇θ' ℒV = ∑i 2(V(s_i;θ') - R_i) ∇θ' V(s_i;θ')
- 总梯度：∇θ' ℒ = ∇θ' ℒπ + α∇θ' ℒV

5. 异步更新全局参数：
- 将∇θ' ℒ加到全局共享参数θ的梯度累积器中（无锁）。
- 使用共享的RMSProp/Adam更新θ（由某个线程触发）。
- 线程本地参数θ'更新为新的θ。

6. 重复步骤2-5。

服务器配置：
• 多CPU核心集群：A3C设计用于多核CPU。每个actor-learner线程运行在一个CPU核心上，配有独立的环境实例。对于大规模训练，需数百至数千个CPU核心。每个核心搭配一个轻量级GPU用于网络前向/反向（可选）。
• 参数服务器：全局共享网络参数可存储在参数服务器（PS）或通过AllReduce同步。PS架构适合大量actors。
• 在线推理服务：训练好的策略网络部署为服务，单次推理延迟低。10亿级决策请求（如实时竞价）需数千个CPU/GPU实例。
• 计算需求：训练时仿真环境步进是主要开销。算力需求与环境和线程数成正比。大规模训练需TFLOPS级算力。
• 内存需求：每个线程需存储本地网络参数和经验轨迹，内存需求适中。全局模型参数存储较小。

1. A2C (Synchronous Advantage Actor-Critic)：同步版本，等待所有workers完成后再更新，更稳定
2. GA3C (GPU-A3C)：利用GPU加速神经网络计算
3. IMPALA：更高效的分布式架构，使用V-trace离策略校正
4. APE-X：分布式深度Q网络，结合优先经验回放
5. SEED RL：高度可扩展的架构，将推理与训练分离
6. R2D2：循环分布式重放记忆体
7. Reactors：样本高效的actor-critic架构
8. A3C with LSTM：处理部分可观测MDP
9. A3C for Continuous Action Spaces：输出动作分布参数（如高斯均值方差）
10. A3C with Parameter Noise：参数空间噪声探索

E-L1-0033​

图神经网络

基于注意力机制的图神经网络

图注意力网络 (GAT)

步骤1：注意力系数计算
对于节点i及其邻居j∈N(i)，计算注意力系数：e{ij} = a(W h_i, W h_j)，其中W∈ℝ^{d'×d}是共享的线性变换权重矩阵，a: ℝ^{d'}×ℝ^{d'}→ℝ是注意力机制，通常实现为单层前馈神经网络：a(Wh_i, Wh_j)=LeakyReLU(a^T [Wh_i ‖ Wh_j])，a∈ℝ^{2d'}是权重向量。
步骤2：归一化注意力系数
使用softmax对邻居的注意力系数进行归一化：α{ij} = softmax_j(e{ij}) = exp(LeakyReLU(e{ij})) / ∑{k∈N(i)} exp(LeakyReLU(e{ik}))。
步骤3：节点特征聚合
对节点i，其新的特征表示是邻居特征的加权和，再经过非线性激活：h_i' = σ(∑{j∈N(i)} α{ij} W h_j)。
步骤4：多头注意力
使用K个独立的注意力头，将它们的输出拼接（中间层）或平均（最后一层）：
h_i' = ‖{k=1}^{K} σ(∑{j∈N(i)} α{ij}^k W^k h_j) （拼接）
或 h_i' = σ( (1/K) ∑{k=1}^{K} ∑{j∈N(i)} α{ij}^k W^k h_j ) （平均）
步骤5：图注意力层堆叠
堆叠多个图注意力层，以捕获高阶邻域信息。
参数选择/优化：
1. 注意力头数K：通常4~8
2. 输出维度d'：通常8~64 per head
3. 激活函数σ：ELU或ReLU
4. 负斜率（LeakyReLU）：通常0.2
5. Dropout：应用于注意力系数和特征，如0.6
6. 优化器：Adam，学习率通常0.005

精度：在Cora、Citeseer、Pubmed等引文网络节点分类任务上达到SOTA（当时）
误差：交叉熵损失
强度：为不同邻居分配不同重要性，适用于同质和异质图

注意力机制、图神经网络、消息传递、邻居聚合、多头注意力

1. 社交网络节点分类：用户兴趣、社区分类
2. 推荐系统：用户-物品二部图上的协同过滤
3. 知识图谱补全：实体和关系预测
4. 分子性质预测：原子和键的图表示
5. 交通预测：路网节点（传感器）流量预测
6. 虚假账号检测：基于社交关系的注意力模式识别异常
7. 文本分类：将文档视为词图，应用GAT
8. 视觉问答：将图像场景表示为图，应用GAT
9. 蛋白质相互作用预测：蛋白质结构图
10. 影响力最大化：识别社交网络中有影响力的节点
特征：
- 结构特征：图的拓扑结构
- 节点特征：节点自身的属性
- 注意力特征：节点对之间动态计算的重要性权重

变量：
h_i∈ℝ^d：节点i的特征向量
W∈ℝ^{d'×d}：线性变换权重矩阵
e{ij}：原始注意力系数
α{ij}∈[0,1]：归一化注意力系数
常量：
K：注意力头数
d'：每个头的输出维度
参数：
注意力机制权重向量a
线性变换权重W^k (k=1..K)
LeakyReLU负斜率
Dropout率

集合特征：节点集合V，邻居集合N(i)，注意力头集合
逻辑特征：注意力权重的逻辑分布
概率与统计特征：softmax输出的概率分布
随机性：Dropout随机性，权重初始化
不确定性：注意力权重的不确定性（可扩展为贝叶斯GAT）
数据规律和推断：图中节点间的影响力差异
极限：当注意力头数K→∞时的极限行为
连续性：注意力函数和特征变换的连续性
微分：通过反向传播计算梯度
积分：邻居特征的加权和（离散积分）
级数：多头注意力的拼接或平均
收敛性：训练损失收敛性
测度：注意力权重作为邻居重要性的测度
离散：图结构的离散性
排序：按注意力权重排序邻居
组合：多头注意力的组合，邻居特征的组合
构造：通过注意力机制构造节点表示
优化：最小化节点分类交叉熵损失
计算与算法特征：时间复杂度O(|V|dd' + |E|d')，与GCN相当
稳定性：对特征缩放不敏感，训练稳定
对称性/非对称性：注意力系数通常不对称（α{ij}≠α{ji})
代数：矩阵乘法，softmax，拼接，平均
拓扑：图拓扑，注意力图（有权）
几何：节点在特征空间的几何，注意力权重的几何解释
群：对邻居顺序的置换不变性（注意力机制满足）
组合数学特征：邻居节点的组合，注意力头的组合

可处理带有文本特征的节点（如词嵌入）
注意力权重可解释为节点间语义关联强度

时序流程（单层，多头拼接）：
1. 线性变换：t₀
- 对每个节点i，计算Wh_i（每个注意力头有独立的W^k）。

2. 计算注意力系数：t₁
- 对每条边(i,j)，计算e{ij}^k = LeakyReLU(a^k^T [W^k h_i ‖ W^k h_j])。
- 对每个节点i，对其邻居j∈N(i)，计算归一化注意力系数：α{ij}^k = softmax_j(e{ij}^k) = exp(e{ij}^k) / ∑{l∈N(i)} exp(e{il}^k)。
- （可选）对α{ij}^k应用Dropout。

3. 特征聚合：t₂
- 对每个节点i，计算每个头的输出：h_i'^k = σ(∑{j∈N(i)} α{ij}^k W^k h_j)。
- （可选）对h_i'^k应用Dropout。

4. 多头聚合：t₃
- 拼接所有头的输出：h_i' = ‖{k=1}^{K} h_i'^k。

5. 输出：t₄
- 得到本层所有节点的输出特征{h_i'}。

多层GAT：将上一层的输出h_i'作为下一层的输入，重复上述过程。

训练流程：在最后一层后接分类层，计算交叉熵损失，反向传播更新所有参数（W^k, a^k等）。

服务器配置：
• GPU集群训练：GAT训练需要计算所有边的注意力系数，内存复杂度O(|E|)。对于十亿级边的图，需采用多GPU分布式训练，如图分区和模型并行。需16-64张NVIDIA A100 GPU，每卡80GB显存。
• 分布式图学习框架：使用DGL或PyG的分布式版本，将图分区存储在不同GPU/节点，通过消息传递计算注意力。需注意跨分区的边通信开销。
• 在线推理服务：GAT推理同样需要聚合邻居信息。对于新节点，需实时获取其邻居特征。可部署在GPU服务器上，配合图数据库（如Neo4j）存储图和特征。10亿级节点推理（如用户嵌入更新）可批量进行。
• 计算需求：训练复杂度与边数成正比。十亿边图训练需算力10-100 PFLOPS。
• 内存需求：需存储图结构、节点特征、注意力权重和梯度。十亿节点百维特征需数百GB，十亿边需数GB（稀疏格式），但注意力计算中间变量内存消耗大。

1. GATv2：修正注意力计算顺序，使其更具表达力
2. Hard Attention：稀疏化注意力权重，减少计算
3. Hierarchical Attention：层次化注意力，用于图分类等任务
4. Directional Attention：考虑边的方向性
5. Temporal GAT：结合时间信息的图注意力
6. Heterogeneous GAT (HAN)：处理异质图的注意力网络
7. Graph Attention with Reinforcement Learning：用RL学习注意力结构
8. Bayesian GAT：提供不确定性估计
9. GAT with Edge Features：在注意力计算中结合边特征
10. Simplified GAT：简化计算，提高效率

E-L1-0034​

时间序列预测

基于Transformer的长序列预测模型

Informer

步骤1：ProbSparse自注意力
改进传统自注意力，降低复杂度。定义查询稀疏性度量：M(q_i, K) = ln∑{j=1}^{L_K} e^{q_i k_j^T/√d} - (1/L_K)∑{j=1}^{L_K} (q_i k_j^T/√d)。只选取稀疏性度量最大的u个查询（u = c·ln L_Q）进行注意力计算，复杂度从O(L²)降至O(L ln L)。
步骤2：自注意力蒸馏
在编码器层间进行下采样，使用卷积和最大池化压缩序列长度，突出重要信息，减少内存使用和网络深度。第j层输入为X^j，输出为X^{j+1} = MaxPool(ELU(Conv1d([X^j]{AB})))，其中[·]{AB}表示注意力块输出。
步骤3：生成式解码器
使用标准解码器结构，但采用生成式推理。输入为：1) 起始token：来自编码器输出的后部片段；2) 占位token（0填充）。通过一次前向传播直接预测整个输出序列，而非自回归一步生成，大大加快长序列预测速度。
步骤4：损失函数
使用MSE损失，预测序列与真实序列的均方误差。
步骤5：模型架构
编码器：堆叠多个注意力蒸馏层，每层包含ProbSparse自注意力和卷积前馈网络。解码器：堆叠两个多头自注意力层（掩码自注意力+编码器-解码器注意力）和卷积前馈网络。
参数选择/优化：
1. 序列长度：输入序列长度L_seq，输出序列长度L_pred（可长达720）
2. 采样因子c：控制ProbSparse注意力中选取的查询数，通常5
3. 编码器层数：通常2~3层
4. 解码器层数：通常1层
5. 注意力头数：通常8
6. 模型维度d_model：通常512
7. 优化器：Adam，学习率1e-4，余弦衰减

精度：在多个长序列时间序列预测基准（如ETT、Electricity）上，在准确性和效率上优于传统Transformer、LSTM等模型
误差：均方误差（MSE）、平均绝对误差（MAE）
强度：可高效处理极长序列预测（输出长度720+），推理速度快

Transformer架构、ProbSparse注意力、自注意力蒸馏、生成式解码、长序列依赖建模

1. 电力负荷预测：长期电力消耗预测
2. 交通流量预测：长期道路流量预测
3. 气象预测：温度、湿度等气象指标预测
4. 股票价格预测：多步股价预测
5. 经济指标预测：GDP、通货膨胀率等预测
6. 服务器负载预测：长期CPU、内存使用率预测
7. 销售额预测：长期商品销量预测
8. 能源产量预测：太阳能、风能发电量预测
9. 网络流量预测：长期网络带宽需求预测
10. 流行病预测：病例数长期趋势预测
特征：
- 长期依赖特征：捕获序列中的长期模式
- 多尺度特征：通过蒸馏捕获不同时间尺度的信息
- 稀疏特征：注意力集中在关键时间点

变量：
X：输入序列矩阵 (L_seq × d_model)
Q, K, V：查询、键、值矩阵
Y：输出序列矩阵 (L_pred × d_out)
常量：
L_seq：输入序列长度
L_pred：预测序列长度
d_model：模型维度
参数：
所有线性投影权重、卷积核权重、位置编码

集合特征：时间点集合，注意力头集合，编码器层集合
逻辑特征：稀疏注意力选择的逻辑
概率与统计特征：注意力权重分布
随机性：Dropout，权重初始化
不确定性：预测的不确定性（模型本身不直接提供）
数据规律和推断：时间序列的自相关性和季节性
极限：当序列长度L→∞时的计算复杂度极限
连续性：时间序列的连续性（假设）
微分：通过反向传播计算梯度
积分：注意力得分的加权和（离散积分）
级数：编码器层的堆叠构成级数
收敛性：训练损失收敛性
测度：稀疏性度量M(q_i,K)作为查询重要性的测度
离散：时间点的离散性
排序：按稀疏性度量排序查询
组合：多注意力头的组合，编码器-解码器的组合
构造：通过ProbSparse注意力和蒸馏构造序列表示
优化：最小化MSE损失
计算与算法特征：编码器复杂度O(L ln L)，解码器复杂度O(L_pred (L_seq + L_pred))
稳定性：蒸馏操作有助于稳定训练
对称性/非对称性：时间方向的不对称性（因果）
代数：矩阵乘法，softmax，卷积，池化
拓扑：时间序列的拓扑
几何：序列在隐空间的几何表示
群：时间平移的不变性（对平稳序列）
组合数学特征：时间点组合的注意力模式

主要用于数值时间序列预测
可结合文本特征作为外部协变量（需编码）
不直接处理文本序列

时序流程（训练）：
1. 输入编码：t₀
- 输入序列X（历史值）和协变量（如时间戳），经过嵌入层和位置编码，得到编码器输入X_enc。

2. 编码器前向：t₁
- 对每一编码器层：
a. ProbSparse自注意力：计算Q,K,V，计算每个查询q_i的稀疏性度量M(q_i,K)，选取top-u个查询，只计算这些查询的注意力输出。
b. 卷积前馈网络：1D卷积+激活。
c. 注意力蒸馏（除最后一层）：对注意力输出进行卷积和最大池化，压缩序列长度。
得到编码器输出记忆向量M。

3. 解码器前向：t₂
- 解码器输入构造：起始部分取自编码器输入的后部（提供上下文），后续部分用0填充，长度L_pred。
- 对解码器层：
a. 掩码自注意力：防止信息泄露。
b. 编码器-解码器注意力：以解码器输出为Q，编码器记忆M为K,V。
c. 卷积前馈网络。
得到解码器输出。

4. 输出层：t₃
- 线性层将解码器输出投影到预测维度（通常单变量）。

5. 损失计算：t₄
- 计算预测序列与真实未来序列的MSE损失。

推理流程：类似，一次前向得到整个预测序列。

服务器配置：
• GPU训练集群：Informer处理长序列，需要大显存。对于大规模多变量时间序列（如数万个序列），需采用数据并行，在多个GPU上训练。需8-32张NVIDIA A100 GPU（每卡80GB）。
• 分布式训练框架：使用PyTorch DDP。注意序列长度导致的内存消耗，可能需梯度累积。
• 在线推理服务：生成式解码一次前向产出整个预测序列，延迟可控。单次预测约10-100ms（GPU）。10亿级序列的批量预测（如每日电力负荷预测）需数百个CPU/GPU核心并行处理。
• 计算需求：ProbSparse注意力降低计算量，但整体仍较高。训练复杂度与序列长度和序列数量成正比。大规模训练需10-100 PFLOPS·天。
• 内存需求：需存储长序列数据和模型参数。模型参数量中等，但中间激活值内存消耗大，尤其是注意力矩阵。

1. Autoformer：引入自相关机制，更好地捕捉季节性
2. FEDformer：使用傅里叶或小波变换增强注意力，提升效率和效果
3. Pyraformer：金字塔式注意力，多尺度建模
4. LogTrans：使用LogSparse注意力，另一种稀疏模式
5. Reformer：使用局部敏感哈希注意力，降低复杂度
6. Longformer：稀疏注意力，处理长文档，可借鉴
7. Temporal Fusion Transformer (TFT)：结合时间特征和静态特征，输出分位数预测
8. N-BEATS：纯前馈网络，适用于长序列预测
9. DeepAR：概率自回归模型，可处理大量序列
10. Informer for Multivariate Time Series：多变量扩展

E-L1-0035​

深度聚类

深度嵌入聚类

DEC (Deep Embedded Clustering)

步骤1：自动编码器预训练
使用去噪自动编码器（DAE）预训练一个深度神经网络，学习数据初始表示。目标是最小化重构损失：ℒ{rec} = |x - \hat{x}|²。
步骤2：嵌入空间初始化
移除解码器，使用编码器f_θ将数据映射到嵌入空间z_i = f_θ(x_i)。在嵌入空间上运行k-means聚类，得到初始簇中心{μ_j}{j=1}^{K}。
步骤3：计算软分配分布
使用学生t分布作为核来衡量嵌入点z_i与簇中心μ_j的相似度：
q{ij} = (1 + |z_i - μ_j|²/α)^{-(α+1)/2} / ∑{j'} (1 + |z_i - μ{j'}|²/α)^{-(α+1)/2}
其中α是自由度，通常设为1。q{ij}可解释为将样本i分配给簇j的概率。
步骤4：目标分布计算
通过提高预测置信度来锐化软分配，得到目标分布p：
p{ij} = q{ij}² / ∑{i'} q{i'j} / ∑{j'} (q{ij'}² / ∑{i'} q{i'j'})
目标分布p使分配更“坚定”，即更接近one-hot形式。
步骤5：优化KL散度
通过最小化软分配

E-L1-0036​

自监督学习

掩码自编码器

MAE (Masked Autoencoder)

步骤1：随机掩码
对输入图像块序列，以高比例（如75%）随机掩码，仅保留少量可见块。
步骤2：编码器
仅对可见块进行编码，使用标准ViT编码器。由于掩码率高，编码器仅处理少量块，计算量大幅减少。
步骤3：解码器
将编码后的可见块特征与掩码token（可学习的共享向量）拼接，送入轻量级Transformer解码器。解码器为每个位置（包括掩码位置）输出特征。
步骤4：重建目标
解码器输出后接线性投影，预测每个掩码块的像素值（归一化后）。损失函数为掩码块上的均方误差（MSE）：ℒ = (1/

M

)∑_{i∈M} ‖p_i - t_i‖²，其中M是掩码块集合，p_i是预测像素向量，t_i是真实像素向量。
步骤5：非对称设计
编码器仅处理可见块，解码器处理全部块但较浅，实现高效预训练。
参数选择/优化：
1. 掩码比例：通常75%，是关键超参数
2. 编码器：ViT-Base/Large/Huge
3. 解码器：通常更窄更浅，如层数8，维度512
4. 块大小：通常16×16像素
5. 优化器：AdamW，学习率1.5e-4，余弦衰减
6. 批次大小：4096（需大量GPU）

精度：在ImageNet-1K上，ViT-Huge微调达到87.8% top-1，优于有监督预训练
误差：掩码块上的MSE重建误差
强度：高效（仅编码可见块），可扩展至极大模型，学习高质量视觉表示

自编码器、掩码语言模型思想、ViT架构、非对称编码-解码、重建任务

1. 图像分类：预训练编码器用于下游分类
2. 目标检测：预训练骨干网络用于检测器（如Mask R-CNN）
3. 语义分割：预训练编码器用于分割模型
4. 图像生成：可作为生成模型的基础
5. 图像补全：直接应用进行图像修复
6. 视频理解：扩展为视频MAE，预训练视频模型
7. 多模态学习：与文本结合进行跨模态预训练
8. 医学影像分析：处理标注稀缺的医疗图像
9. 自监督表征学习：学习可迁移的通用视觉特征
10. 数据增强：生成掩码样本用于增强
特征：
- 局部特征：模型必须理解局部patch以重建
- 全局上下文特征：需要整合可见patch信息以推断掩码部分
- 鲁棒特征：对遮挡和缺失不敏感

变量：
x：输入图像（划分成patch序列）
m：掩码指示向量（0/1）
z_v：可见patch的编码特征
z_m：掩码token（可学习）
ŷ：重建图像patch
常量：
r：掩码比例（如0.75）
N：总patch数
参数：
编码器参数θ_e
解码器参数θ_d
掩码token e_[M]

集合特征：可见patch集合，掩码patch集合
逻辑特征：掩码位置的逻辑指示
概率与统计特征：重建误差的分布
随机性：掩码模式的随机性
不确定性：重建的不确定性
数据规律和推断：图像patch间的空间和语义相关性
极限：当掩码比例→1时的极限行为
连续性：像素值的连续性，编码的连续性
微分：通过反向传播计算梯度
积分：MSE损失对掩码patch的求和（离散积分）
级数：Transformer层的堆叠
收敛性：训练损失收敛性
测度：重建误差作为patch可预测性的测度
离散：patch的离散性，掩码的离散性
排序：按重建误差排序patch（难度）
组合：可见与掩码信息的组合推断
构造：通过掩码重建任务构造表示
优化：最小化MSE损失
计算与算法特征：编码器复杂度O((1-r)N·d²)，解码器O(N·d'²)，d'<d，整体高效
稳定性：高掩码比例起到强正则化，训练稳定
对称性/非对称性：非对称编码-解码，掩码过程对称（随机）
代数：矩阵乘法，MSE计算
拓扑：图像patch空间的拓扑
几何：patch在隐空间的几何关系
群：对patch位置的置换不变性（被位置编码打破）
组合数学特征：掩码模式组合

核心是视觉表示学习
不直接处理语言，但可扩展为多模态（如M3AE）
重建目标基于像素

时序流程：
1. 图像分块与掩码：t₀
- 输入图像分割为N个patch。
- 随机采样比例为r的patch进行掩码（替换为共享的掩码token [M]），其余保留。

2. 编码：t₁
- 仅将可见patch（及位置编码）输入编码器（ViT），得到可见patch的特征表示{z_v}。

3. 解码：t₂
- 将全部N个位置的特征准备：可见位置用编码特征z_v，掩码位置用可学习的掩码token e_[M]。加上位置编码。
- 输入解码器（轻量Transformer），得到每个位置（包括掩码位置）的输出特征。

4. 重建：t₃
- 对每个掩码位置，用线性层将解码器输出特征投影为patch的像素向量预测。
- 计算预测像素与原始像素的MSE损失（仅对掩码位置）。

5. 反向传播：t₄
- 反向传播更新编码器、解码器及掩码token参数。

下游使用：丢弃解码器，用编码器提取特征，用于各种任务。

E-L1-0037​

目标检测

基于Transformer的端到端检测

DETR (DEtection TRansformer)

步骤1：图像特征提取
使用CNN骨干网络（如ResNet）提取2D特征图，然后用1×1卷积降低通道数，得到特征图f∈ℝ^{H×W×d}。
步骤2：位置编码
将2D位置编码（正弦）加到特征图上，然后展平为序列f'∈ℝ^{HW×d}。
步骤3：Transformer编码器-解码器
编码器：对特征序列f'进行自注意力，增强上下文信息。
解码器：输入N个可学习的对象查询（object queries），通过多头自注意力和编码器-解码器注意力，输出N个嵌入向量。每个查询对应一个潜在的物体预测。
步骤4：预测前馈网络
每个解码器输出嵌入通过共享的FFN预测：1) 边界框坐标（中心x,y，宽，高），2) 类别标签（包括“无对象”类）。FFN通常为3层感知机，ReLU激活。
步骤5：二分图匹配损失
使用匈牙利算法在N个预测和真实目标间进行一对一匹配，寻找最小代价匹配：
σ̂ = argmin_σ ∑{i=1}^{N} ℒmatch(y_i, ŷ{σ(i)})
其中ℒmatch = -𝟙{c_i≠∅} p{σ(i)}(c_i) + 𝟙{c_i≠∅} ℒbox(b_i, b̂{σ(i)})，p是类别概率，ℒbox是L1损失和GIoU损失的加权和。
匹配后计算匈牙利损失：ℒHungarian = ∑{i=1}^{N} [-log p{σ̂(i)}(c_i) + 𝟙{c_i≠∅} ℒbox(b_i, b̂{σ̂(i)})]。
参数选择/优化：
1. 对象查询数N：通常100，大于图中典型物体数
2. 骨干网络：ResNet-50/101
3. Transformer层数：编码器6，解码器6
4. 隐藏维度d：通常256
5. 损失权重：边界框损失权重5，GIoU权重2，类别权重1
6. 优化器：AdamW，学习率1e-4，骨干网络学习率1e-5

精度：在COCO数据集上，DETR与Faster R-CNN基准相当，但在大物体检测上更优。训练时间较长。
误差：匈牙利损失（分类交叉熵+框回归L1+GIoU）
强度：端到端，无需NMS等后处理，设计简洁

Transformer架构、二分图匹配、集合预测、端到端学习、注意力机制

1. 通用目标检测：图像中物体的定位与分类
2. 实例分割：扩展为Mask DETR，预测物体掩码
3. 全景分割：统一语义和实例分割
4. 人脸检测：检测图像中的人脸
5. 文本检测：检测图像中的文字区域
6. 视频目标检测：扩展到时序检测
7. 自动驾驶感知：车辆、行人、交通标志检测
8. 工业缺陷检测：定位产品缺陷
9. 医学图像分析：检测病灶、器官
10. 遥感图像解译：检测建筑物、车辆等
特征：
- 全局上下文特征：自注意力捕获图像全局关系
- 集合预测特征：直接预测物体集合，无需锚框
- 位置特征：显式的位置编码

变量：
I：输入图像
f：骨干网络特征图
q：可学习对象查询（N个）
ŷ_i：第i个预测（类别概率，边界框）
y_i：真实目标（类别，边界框）
常量：
N：预测数量（查询数）
d：隐藏维度
参数：
骨干网络参数θ_b
Transformer参数θ_t
预测FFN参数θ_f

集合特征：真实目标集合，预测集合，查询集合
逻辑特征：二分图匹配的一一对应逻辑
概率与统计特征：类别概率分布，匈牙利匹配的概率解释
随机性：权重初始化，数据增强
不确定性：预测的不确定性（可扩展）
数据规律和推断：图像中物体的空间分布和类别共现
极限：当N→∞时的行为，Transformer深度→∞的极限
连续性：边界框坐标的连续性
微分：通过反向传播计算梯度，包括匈牙利匹配（可微）
积分：损失函数对预测的求和（离散积分）
级数：Transformer层的堆叠
收敛性：训练损失收敛慢，需长训练
测度：GIoU作为框重叠的测度
离散：物体类别的离散性，查询索引的离散性
排序：匈牙利算法中的排序（代价最小）
组合：对象查询的组合学习
构造：通过Transformer和集合预测构造检测结果
优化：最小化匈牙利损失
计算与算法特征：时间复杂度O(HW d + N d²)，其中自注意力O((HW)² d)是瓶颈
稳定性：训练需要小心调参，收敛慢
对称性/非对称性：对象查询顺序不影响结果（置换不变）
代数：矩阵乘法，softmax，匈牙利算法（组合优化）
拓扑：图像空间和边界框空间的拓扑
几何：边界框的几何关系（IoU）
群：对预测顺序的置换不变性（匈牙利损失保证）
组合数学特征：二分图匹配的组合

不直接处理文本，但可扩展用于图像描述（检测+描述）
类别标签是文本，但模型内部处理为ID

时序流程：
1. 特征提取：t₀
- 图像I通过CNN骨干网络，得到特征图f。
- 1×1卷积降维，加2D位置编码，展平为序列f' (HW×d)。

2. 编码器：t₁
- f'输入Transformer编码器（多层），每层包含自注意力和FFN，得到编码特征e。

3. 解码器：t₂
- 初始化N个可学习对象查询q∈ℝ^{N×d}。
- 解码器逐层处理：自注意力（查询间），编码器-解码器注意力（查询与e），FFN。
- 输出解码特征d∈ℝ^{N×d}。

4. 预测：t₃
- 每个解码特征d_i通过FFN预测：类别概率分布p_i（softmax）和边界框坐标b_i（sigmoid缩放）。

5. 损失计算：t₄
- 使用匈牙利算法在预测集{ŷ_i}和真实集{y_i}（填充“无对象”至N）间进行最优一对一匹配。
- 计算匹配后的分类损失（交叉熵）和框回归损失（L1+GIoU）。

6. 反向传播：t₅
- 反向传播更新所有参数。

推理流程：前向得到N个预测，过滤掉“无对象”类，得分阈值过滤，无需NMS。

服务器配置：
• 多GPU训练集群：DETR训练计算密集，尤其编码器自注意力O((HW)²)。需8-32张NVIDIA A100 GPU，采用数据并行和混合精度。使用更大骨干网络（如ResNet-101）和更多层数需更多显存。
• 分布式训练框架：PyTorch DDP。可考虑使用Deformable DETR等改进版本降低计算复杂度。
• 在线推理服务：DETR推理是单次前向，但Transformer计算开销大。单张图像推理时间约50-100ms（GPU）。实时检测场景（如视频流）需高性能GPU（如A100）。10亿级日检测请求（如内容审核）需数千个GPU实例，但通常检测是批量处理。
• 计算需求：训练COCO数据集需算力约100-200 GPU·天。更大数据集需按比例增加。
• 内存需求：模型参数约40M（不含骨干），但注意力矩阵内存消耗大。

1. Deformable DETR：引入可变形注意力，降低计算复杂度，加速收敛
2. Conditional DETR：改进解码器交叉注意力，加速训练
3. DAB-DETR：将查询显式表示为动态锚框，提升性能
4. DN-DETR：引入去噪训练，解决二分图匹配不稳定性，加速收敛
5. DINO：基于DAB-DETR和DN-DETR，加入对比去噪，达到SOTA
6. Mask DETR：扩展为实例分割
7. UP-DETR：用于自监督预训练
8. SMCA DETR：空间调制协同注意力，加速收敛
9. Anchor DETR：引入锚点框到查询
10. Efficient DETR：各种效率优化变体

E-L1-0038​

文本生成

自回归语言模型

GPT-2 (Generative Pre-trained Transformer 2)

步骤1：模型架构
使用Transformer解码器堆叠，每个层包含：
1. 掩码多头自注意力：防止当前位置关注未来位置，通过上三角掩码矩阵实现。
2. 前馈网络：FFN(x)=max(0, xW₁+b₁)W₂+b₂。
3. 层归一化和残差连接。
步骤2：位置编码
使用可学习的位置嵌入，与词嵌入相加。
步骤3：训练目标
标准语言建模目标，最大化序列的似然：L = ∑_i log P(x_i

x_{<i}; θ)，使用交叉熵损失。
步骤4：自回归生成
给定上下文，迭代地预测下一个token：从模型输出的概率分布中采样（或贪婪取argmax），将生成的token追加到上下文，重复直到生成结束符或达到长度限制。
步骤5：模型规模
GPT-2有多个尺寸：117M, 345M, 762M, 1.5B参数。更大的模型展示了更强的零样本学习能力。
参数选择/优化：
1. 模型尺寸：层数、隐藏维度、注意力头数随版本增加
2. 词汇表大小：50257个BPE子词
3. 上下文长度：1024个token
4. 优化器：Adam，学习率根据 warmup 和 decay 调整
5. 训练数据：WebText，800万网页，40GB文本

精度：在多种语言建模和生成任务上表现优异，展示了强大的零样本学习能力
误差：交叉熵损失（困惑度）
强度：强大的生成能力，可完成多种任务而无需微调（零样本）

Transformer解码器、自回归语言模型、下一个词预测、大规模预训练、零样本学习

1. 文本生成：故事、新闻、诗歌创作
2. 对话系统：生成对话回复
3. 文本摘要：生成文章摘要
4. 机器翻译：零样本翻译
5. 问答：根据上下文生成答案
6. 代码生成：生成代码片段
7. 内容创作辅助：协助写作、头脑风暴
8. 文本填充：给定开头，续写文本
9. 语义搜索：生成查询的扩展或重写
10. 语言理解：作为特征提取器用于分类等任务（需微调）
特征：
- 上下文特征：捕获左侧所有上文信息
- 生成特征：可生成连贯、多样的文本
- 零样本特征：通过任务描述提示执行任务

变量：
x_{1:T}：输入token序列
E：词嵌入矩阵
P：位置嵌入矩阵
H^l：第l层隐藏状态
常量：
n_layer：层数（如GPT-2 1.5B有48层）
n_embd：隐藏维度（如1600）
n_head：注意力头数（如25）
参数：
所有线性投影权重、前馈网络权重、层归一化参数、位置嵌入

集合特征：词汇表集合，位置集合，注意力头集合
逻辑特征：自回归的因果逻辑
概率与统计特征：下一个词的条件概率分布
随机性：采样生成的随机性，Dropout
不确定性：生成的不确定性（采样温度控制）
数据规律和推断：语言的统计规律，自回归建模
极限：当模型尺寸→∞时的语言建模能力极限（Scaling Laws）
连续性：嵌入空间的连续性，注意力权重的连续性
微分：通过反向传播计算梯度
积分：序列似然是条件概率的乘积（对数求和）
级数：多层Transformer堆叠
收敛性：预训练损失收敛性
测度：困惑度作为语言建模质量的测度
离散：token的离散性
排序：按生成概率排序候选词
组合：多层表示的组合，自注意力头的组合
构造：通过自回归Transformer构造序列概率
优化：最小化交叉熵损失（最大化似然）
计算与算法特征：训练复杂度O(T·d²)，生成复杂度O(T²·d)（自回归）
稳定性：训练稳定，但需小心初始化
对称性/非对称性：时间因果性，非对称（仅左侧上下文）
代数：矩阵乘法，softmax，线性变换
拓扑：序列空间的拓扑
几何：词嵌入空间的几何，注意力头空间的几何
群：对左侧上下文的置换不变性？不，顺序重要（位置编码）
组合数学特征：词序列的组合，注意力模式组合

核心是自然语言生成
通过提示（prompt）进行零样本学习
强大的上下文学习能力

时序流程（训练）：
1. 输入表示：t₀
- 给定文本序列x{1:T}，查找词嵌入，加上位置嵌入，得到输入嵌入E。

2. Transformer解码器前向：t₁ 对每一层l=1 to L
a. 掩码多头自注意力：
计算Q,K,V，应用上三角掩码（使得位置i只能看到≤i的位置），计算注意力输出。
残差连接，层归一化。
b. 前馈网络：FFN，残差连接，层归一化。
得到最后一层隐藏状态H^L。

3. 输出层：t₂
- 线性层将H^L投影到词汇表大小V，得到logits。
- 对每个位置t，计算条件概率分布：P(x{t+1}

x{≤t}) = softmax(logits_t)。

4. 损失计算：t₃
- 计算交叉熵损失：L = -∑{t=1}^{T-1} log P(x_{t+1}

E-L1-0039​

图像分割

全卷积网络

FCN (Fully Convolutional Network)

步骤1：全卷积化
将传统CNN（如VGG、ResNet）中的全连接层转换为卷积层。例如，将4096维全连接层转换为1×1卷积，输出通道4096。这使得网络可接受任意尺寸输入，输出热图（heatmap）。
步骤2：上采样
通过转置卷积（反卷积）对低分辨率特征图进行上采样，恢复到输入图像尺寸。可逐级上采样，或结合跳跃连接（skip connection）融合浅层细节信息。
步骤3：跳跃连接融合
将深层、低分辨率、语义强的特征与浅层、高分辨率、细节丰富的特征融合。例如，将pool5层的预测上采样2倍，与pool4层的特征相加，再上采样2倍，与pool3特征相加，以此类推。最终输出与输入尺寸相同的密集预测。
步骤4：逐像素预测
对每个空间位置，通过1×1卷积将通道数映射为类别数K，然后应用softmax得到每个像素的类别概率分布。
步骤5：损失函数
逐像素交叉熵损失：ℒ = -∑{i=1}^{W}∑{j=1}^{H} ∑{k=1}^{K} y{ijk} log ŷ_{ijk}，其中y是one-hot真实标签，ŷ是预测概率。
参数选择/优化：
1. 骨干网络：VGG-16, ResNet-101等
2. 上采样方法：双线性插值初始化转置卷积
3. 跳跃连接策略：FCN-32s（无跳跃），FCN-16s（融合pool5和pool4），FCN-8s（再融合pool3）
4. 优化器：SGD with momentum，学习率衰减
5. 数据增强：随机缩放、翻转、裁剪

精度：在PASCAL VOC语义分割数据集上，FCN-8s达到62.2% mean IoU（当时SOTA）
误差：逐像素交叉熵损失
强度：可处理任意尺寸输入，输出密集预测，效率高

全卷积网络、上采样、跳跃连接、编码器-解码器结构、语义分割

1. 语义分割：为图像每个像素分配语义类别
2. 实例分割：作为基础网络，结合其他方法区分实例
3. 医学图像分割：分割器官、肿瘤等
4. 自动驾驶场景解析：分割道路、车辆、行人等
5. 遥感图像分割：土地覆盖分类
6. 视频分割：逐帧分割
7. 图像编辑：基于分割的编辑、背景替换
8. 增强现实：现实场景理解与叠加
9. 服装解析：分割服装部件
10. 工业检测：分割缺陷区域
特征：
- 多尺度特征：通过跳跃连接融合不同层特征
- 位置特征：保留空间位置信息（与全连接不同）
- 语义特征：深层特征提供高级语义

变量：
I：输入图像（H×W×3）
F_l：第l层特征图
Ŷ：输出概率图（H×W×K）
常量：
K：类别数
L：网络层数
参数：
卷积核权重、偏置，转置卷积核权重

集合特征：像素位置集合，类别集合，特征图层集合
逻辑特征：逐像素分类的逻辑
概率与统计特征：每个像素的类别概率分布
随机性：数据增强随机性，Dropout（若使用）
不确定性：像素分类的不确定性
数据规律和推断：图像局部相似性，上下文信息
极限：当网络深度→∞时的分割精度极限
连续性：特征图的连续性，像素预测的连续性（空间）
微分：通过反向传播计算梯度，转置卷积也有梯度
积分：损失函数对像素的求和（离散积分）
级数：网络层的堆叠构成级数
收敛性：训练损失收敛性
测度：IoU作为分割质量的测度
离散：像素位置的离散性，类别的离散性
排序：按像素分类置信度排序
组合：多层特征的组合（跳跃连接）
构造：通过全卷积和上采样构造密集输出
优化：最小化逐像素交叉熵损失
计算与算法特征：前向复杂度O(∑ l_i·c_i·k_i²·h_i·w_i)，与输入尺寸相关，但全卷积高效
稳定性：训练稳定，跳跃连接帮助梯度流动
对称性/非对称性：卷积的平移等变性
代数：卷积运算，转置卷积，逐元素加法
拓扑：图像空间的拓扑，特征图空间的拓扑
几何：特征图和分割图的几何结构
群：卷积的平移群等变性
组合数学特征：网络路径的组合

不直接处理文本，但分割结果可用于图像描述（区域特征）
类别标签是文本

时序流程（FCN-8s为例）：
1. 前向传播（编码）：t₀
- 输入图像经过VGG-16的卷积和池化层，得到不同尺度的特征图：conv1_2, conv2_2, conv3_3, conv4_3, conv5_3（及pool5）。

2. 1×1卷积降维：t₁
- 对pool5、conv4_3、conv3_3分别应用1×1卷积，将通道数减少为类别数K，得到score maps。

3. 上采样与融合（解码）：t₂
a. 对pool5的score map进行2倍上采样（转置卷积），得到与conv4_3尺寸相同的map。
b. 将上采样结果与conv4_3的score map逐元素相加。
c. 对融合后的map进行2倍上采样，得到与conv3_3尺寸相同的map。
d. 与conv3_3的score map逐元素相加。
e. 对最终融合map进行8倍上采样，恢复到输入图像尺寸，得到最终score map（H×W×K）。

4. Softmax与损失：t₃
- 对每个空间位置应用softmax，得到类别概率图Ŷ。
- 计算逐像素交叉熵损失。

5. 反向传播：t₄
- 更新所有参数（包括转置卷积核）。

推理流程：输入图像，前向得到概率图，每个像素取argmax得到分割图。

服务器配置：
• GPU训练集群：FCN训练在单个GPU上可行（如P100/V100）。对于大规模数据集（如Cityscapes），可采用数据并行在多GPU上加速。需4-8张GPU。
• 在线推理服务：FCN推理是单次前向，效率高。输入尺寸影响计算量。对于实时视频分割（30fps），需高性能GPU（如T4, A100）。10亿级日分割请求（如云相册自动标记）可批量处理，需数百个GPU实例。
• 计算需求：训练复杂度取决于骨干网络和图像尺寸。ResNet-101为骨干训练Cityscapes需数十GPU·小时。
• 内存需求：需存储特征图用于跳跃连接，内存消耗与图像尺寸和网络深度成正比。大图像（如4K）需大显存或切片处理。

1. U-Net：对称编码器-解码器，跳跃连接更密集，用于医学图像
2. SegNet：记录池化索引用于上采样，减少参数
3. DeepLab系列（v1, v2, v3, v3+）：引入空洞卷积、ASPP、编码器-解码器
4. PSPNet：金字塔场景解析网络，多尺度池化
5. RefineNet：多路径精炼网络，用于实时分割
6. ICNet：图像级联网络，实时语义分割
7. BiSeNet：双边分割网络，平衡速度与精度
8. Fast-SCNN：轻量级实时分割
9. Mask R-CNN：实例分割，基于Faster R-CNN和FCN
10. HRNet：高分辨率网络，保持高分辨率特征

E-L1-0040​

深度聚类

深度嵌入聚类

DEC (Deep Embedded Clustering)

步骤1：自动编码器预训练
使用去噪自动编码器（DAE）预训练一个深度神经网络，学习数据初始表示。目标是最小化重构损失：ℒ{rec} = |x - \hat{x}|²。
步骤2：嵌入空间初始化
移除解码器，使用编码器f_θ将数据映射到嵌入空间z_i = f_θ(x_i)。在嵌入空间上运行k-means聚类，得到初始簇中心{μ_j}{j=1}^{K}。
步骤3：计算软分配分布
使用学生t分布作为核来衡量嵌入点z_i与簇中心μ_j的相似度：
q{ij} = (1 + |z_i - μ_j|²/α)^{-(α+1)/2} / ∑{j'} (1 + |z_i - μ{j'}|²/α)^{-(α+1)/2}
其中α是自由度，通常设为1。q{ij}可解释为将样本i分配给簇j的概率。
步骤4：目标分布计算
通过提高预测置信度来锐化软分配，得到目标分布p：
p{ij} = q{ij}² / ∑{i'} q{i'j} / ∑{j'} (q{ij'}² / ∑{i'} q{i'j'})
目标分布p使分配更“坚定”，即更接近one-hot形式。
步骤5：优化KL散度
通过最小化软分配分布q与目标分布p之间的KL散度，同时优化聚类中心μ_j和编码器参数θ：
ℒ = KL(P |Q) = ∑i ∑j p{ij} log(p{ij} / q_{ij})
步骤6：迭代优化
重复步骤3-5，每轮迭代后根据当前嵌入重新计算目标分布p，直到收敛。
参数选择/优化：
1. 聚类数K：预先指定，或通过其他方法估计
2. 自由度α：通常1
3. 编码器结构：多层感知机，根据数据维度设计
4. 预训练epochs：足够使自动编码器学到有用特征
5. 聚类优化epochs：通常较多，直至分配稳定
6. 优化器：Adam，学习率通常1e-3

精度：在多个图像和文本数据集上，聚类精度（如ACC，NMI）优于k-means和传统谱聚类
误差：KL散度损失
强度：将表示学习和聚类统一，学习适合聚类的嵌入

深度表示学习、软分配、学生t分布、目标分布锐化、KL散度最小化

1. 图像聚类：无监督图像分类、图像检索
2. 文档聚类：新闻、论文主题发现
3. 用户分群：基于行为数据的用户细分
4. 社交网络社区发现：基于节点嵌入的图聚类
5. 异常检测：将小簇或低概率样本视为异常
6. 数据可视化：通过嵌入降维可视化聚类结构
7. 特征学习：作为自监督任务预训练特征提取器
8. 推荐系统：聚类用户或物品，用于协同过滤
9. 基因表达分析：聚类基因或样本
10. 市场细分：客户聚类分析
特征：
- 深度特征：通过神经网络学习的高层语义特征
- 软分配特征：样本属于各簇的概率分布
- 聚类友好特征：嵌入空间被优化为易于聚类

变量：
x_i：输入样本
z_i：嵌入向量
μ_j：簇中心向量
q{ij}：软分配概率
p{ij}：目标分布概率
常量：
K：簇数量
α：t分布自由度（通常1）
参数：
编码器参数θ
簇中心{μ_j}（可视为参数）

集合特征：样本集，簇中心集合
逻辑特征：软分配的概率逻辑
概率与统计特征：学生t分布，KL散度，目标分布计算涉及二次归一化
随机性：初始化随机性，预训练随机性
不确定性：软分配提供簇成员的不确定性
数据规律和推断：假设数据在嵌入空间中围绕几个原型分布
极限：当α→∞时，t分布趋近高斯；当α→0时？
连续性：嵌入空间的连续性，分配函数的连续性
微分：通过反向传播计算梯度（包括对μ_j和θ）
积分：KL散度的求和（离散积分）
级数：神经网络的多层变换
收敛性：迭代优化通常收敛，但可能陷入局部最优
测度：KL散度作为分布差异的测度
离散：簇标签的离散性（但软分配连续）
排序：按软分配概率排序样本对簇的归属
组合：样本与簇中心的组合关系
构造：通过最小化KL散度构造聚类友好的嵌入空间
优化：最小化KL散度ℒ
计算与算法特征：时间复杂度O(nKd) per iteration，n样本数，d嵌入维度
稳定性：对初始化和超参数敏感，预训练帮助稳定
对称性/非对称性：目标分布计算不对称（平方、归一化）
代数：向量距离，指数运算，归一化
拓扑：嵌入空间的拓扑，簇中心的拓扑分布
几何：学生t分布基于距离的几何，簇中心几何
群：对样本顺序的置换不变性，对簇标签的置换对称性（需处理）
组合数学特征：样本分配到簇的组合（软）

可处理文本数据，通过自动编码器学习文本表示（如句向量）
软分配可解释为文本属于各主题的概率

时序流程：
1. 预训练阶段：t₀-t₁
- 在数据集上训练去噪自动编码器，最小化重构损失。
- 保存编码器部分。

2. 初始化：t₂
- 用预训练编码器提取所有样本的嵌入{z_i}。
- 在{z_i}上运行k-means，得到初始簇中心{μ_j}。

3. 聚类优化循环：for iter=1 to max_iters
a. 计算软分配：t₃
- 计算所有样本对所有簇的软分配q{ij}（使用学生t分布公式）。
b. 计算目标分布：t₄
- 根据当前q{ij}计算目标分布p{ij}（锐化）。
c. 优化损失：t₅
- 计算KL散度损失ℒ = ∑i ∑j p{ij} log(p{ij} / q{ij})。
- 反向传播，更新编码器参数θ和簇中心{μ_j}（将μ_j视为可训练参数）。
d. 检查收敛：t₆
- 如果簇分配变化小于阈值，则停止。

4. 输出：t₇
- 最终嵌入{z_i}和软分配{q_i}，或硬分配argmax_j q_{ij}。

服务器配置：
• 单机/多GPU训练：DEC训练包括预训练和聚类优化。预训练自动编码器可在单GPU上完成。聚类优化阶段需计算所有样本对簇中心的软分配，内存复杂度O(nK)。对于十亿级样本，需分布式计算或采样。建议使用多GPU，每GPU处理一个数据分片，同步更新中心。
• 分布式聚类框架：可借鉴分布式k-means，将样本分片，在多个节点上计算局部梯度和分配，然后聚合更新中心和编码器参数。需数十个节点，每个节点配备GPU和足够内存存储分片数据。
• 在线推理服务：对新样本，通过编码器得到嵌入，计算与簇中心的软分配。编码器推理快，软分配计算O(Kd)。10亿级样本的聚类分配更新可批量进行。
• 计算需求：预训练复杂度取决于自动编码器大小。聚类优化每轮需计算所有样本的嵌入和软分配，计算量较大。十亿样本千维嵌入K=1000，每轮约10¹⁵次运算，需TFLOPS级算力。
• 内存需求：需存储所有样本的嵌入（n×d）和软分配（n×K），内存消耗大。十亿样本d=100，K=1000，需约4.4TB（float32）。需外存或分布式存储。

1. IDEC (Improved DEC)：在聚类损失中加入重构损失，防止嵌入空间扭曲
2. SDEC (Structural DEC)：结合数据的内在结构（如图）
3. VaDE (Variational Deep Embedding)：基于变分自编码器的生成式深度聚类
4. DCN (Deep Clustering Network)：联合优化重构和k-means损失
5. JULE (Joint Unsupervised LEarning)：层次化深度聚类
6. DBC (Deep Balanced Clustering)：处理类别不平衡
7. DCCM (Deep Comprehensive Correlation Mining)：挖掘更丰富的相关性
8. DEC for Multi-view Data：多视图深度聚类
9. Online Deep Clustering：流式数据的深度聚类
10. Self-supervised Deep Clustering：结合自监督任务的深度聚类