Dy-L1-0001​

调度优化

Minimize C_max = max{C_j}， 约束于：工序顺序、资源容量、时间窗口。

混合整数规划 (MIP) 用于柔性作业车间调度 (FJSP)

1. 问题定义：确定工件集J，机器集M，每个工件的工序链及可选机器。2. 决策变量：设二进制变量xijm​表示工序O_ij是否在机器m上加工，连续变量sij​和cij​表示开始和完成时间。3. 目标函数：最小化最大完工时间：Minimize C_max。4. 约束建模：
• 工序顺序：c_{ij} ≤ s_{i(j+1)}。
• 机器唯一性：∑_m x_{ijm} = 1。
• 资源约束：对同一机器m，任意两个工序不能重叠：(s_{ij} - c_{kl}) * (1 - y_{ijkl}) ≥ 0引入排序变量y。
• 完工时间关联：c_{ij} = s_{ij} + ∑_m (p_{ijm} * x_{ijm})，其中p为加工时间。
5. 求解：使用分支定界法（Branch and Bound）求解器（如CPLEX, Gurobi）进行优化。
参数选择：求解器参数如MIPGap（相对容差）设为1e-4，时间限制设为3600秒。启发式策略如强调可行性或最优性。

C_max：最大完工时间（越小越好）。
MIPGap：最优性间隙，通常<1%。
求解时间：受问题规模影响。

NP-hard问题理论：FJSP是强NP难问题。
线性规划与整数规划理论：松弛后的线性规划提供下界。
约束传播：在分支定界中剪枝。

1. 动态订单调度：新订单插入实时重调度。
2. 多项目并行生产：共享资源的高效分配。
3. 带模具更换的批处理调度：考虑准备时间。
4. 混流装配线排序：最小化车型切换成本。
5. 热处理车间调度：考虑温度升降的能耗约束。
6. 半导体晶圆制造：复杂重入流。
7. 3D打印农场任务分配：多机并行打印。
8. 纺织染整排产：颜色顺序约束。
9. 食品加工线：保质期与清洁顺序约束。
10. 飞机移动生产线站位调度：节拍平衡与资源冲突。

变量：x_{ijm}(二进制)， s_{ij}, c_{ij}(连续)， C_max(连续)， y_{ijkl}(二进制)。
常量/参数：p_{ijm}(加工时间)， J(工件数)， M(机器数)。
优化参数：MIPGap， TimeLimit。

集合：工件集J， 机器集M。
逻辑：与/或约束， 二进制变量。
优化：线性目标， 线性与整数约束。
代数：线性方程组与不等式。
组合数学：排列组合， 资源分配。

声明式语言：通过等式和不等式描述问题。
求解器指令：Minimize， Subject To。

1. 初始化：加载订单数据、工艺路线、资源日历。
2. 建模：根据模板生成MIP模型的所有约束和目标函数（数学式同上）。
3. 求解：调用求解器，进入分支定界循环：求解线性松弛->选择分支变量->创建子问题->剪枝->直到满足终止条件。while (gap > MIPGap && time < TimeLimit) { Branch(); SolveLP(); UpdateBound(); }
4. 输出：返回最优解（x*， s*， C_max*），生成调度甘特图。

Dy-L1-0002​

路径规划

U(q) = U_att(q) + U_rep(q)， 其中斥力场在障碍物处无穷大。

人工势场法 (APF)

1. 构建势场：目标点产生引力场U_att(q) = 0.5 * ξ * ρ^2(q, q_goal)， 其中ξ为引力增益，ρ为距离。障碍物产生斥力场U_rep(q) = 0.5 * η * (1/ρ(q, q_obs) - 1/ρ0)^2（若ρ<ρ0），否则为0，η为斥力增益，ρ0为影响半径。
2. 计算合力：合力F(q) = -∇U(q) = F_att + F_rep。F_att = -ξ * (q - q_goal)。F_rep由斥力场负梯度求得。
3. 运动控制：AGV/机器人的运动由合力驱动，v = k * F(q)， 或q_{next} = q_{current} + Δt * v。
4. 局部最优处理：检测到振荡或合力接近零时，引入随机扰动或虚拟目标点。
参数优化：ξ和η通过网格搜索或试错法调整，以平衡平滑性与避障响应速度。ρ0根据机器人半径和安全距离设定。

路径长度：从起点到目标的欧氏或曼哈顿距离。
平滑度：路径曲率变化率。
安全性：与障碍物的最小距离。

势能场理论：物理中保守力场的类比。
梯度下降法：沿负梯度方向移动以找到最小值点（目标点）。
向量叠加原理：力的独立性与叠加。

1. AGV仓库拣货路径：动态避让其他AGV和人员。
2. 机械臂避障抓取：在杂乱工作台中规划关节空间或笛卡尔空间路径。
3. 无人机车间巡检：绕过悬挂设备和结构。
4. 移动装配机器人：在生产线间移动并避让固定设施。
5. 料箱穿梭车调度：在高密度立体库中规划提升与平移路径。
6. 喷涂机器人轨迹规划：避开工件非喷涂区。
7. 复合材料铺丝头路径：避开模具曲率突变区。
8. 医院物流机器人：在动态走廊中导航。
9. 港口集装箱转运车：在集装箱缝隙中穿行。
10. 光伏板清洁机器人：在阵列边缘规划避免掉落。

变量：q(位置向量)， U(势能标量)， F(力向量)， v(速度向量)。
常量/参数：q_goal(目标)， q_obs(障碍物)， ξ(引力增益)， η(斥力增益)， ρ0(斥力影响半径)， k(控制增益)。

向量分析：梯度(∇)， 向量场。
微分：势能函数的偏导。
优化：寻找势能函数的最小值点。
几何：欧氏距离， 空间位置关系。

向量指令：“向目标移动”，“远离障碍物”。
控制指令：“施加力F”。

1. 感知：激光雷达/视觉获取障碍物位置{q_obs}。
2. 场计算：实时计算当前位置q的总势能U(q)和合力F(q)（公式同上）。
3. 决策：判断是否陷入局部最小（`

Dy-L1-0003​

机器学习/预测

ŷ = f(X) = Σ_{i=1}^{n} α_i y_i K(x_i, X) + b

支持向量回归 (SVR) 用于刀具磨损预测

1. 问题转化：将刀具磨损量（连续值）预测视为回归问题。特征X包括：切削力(Fx, Fy, Fz)、振动信号(频域能量)、声发射(RMS)、加工时间、材料硬度。
2. 核技巧：将低维非线性特征映射到高维特征空间，使用径向基函数(RBF)核：`K(x_i, x_j) = exp(-γ *

x_i - x_j

^2)。<br>**3. 优化目标**：最小化结构风险，Minimize 1/2

w

Dy-L1-0004​

控制理论

u(t) = K_p e(t) + K_i ∫_0^t e(τ)dτ + K_d (de(t)/dt)

数字PID控制器（增量式）用于温度控制

1. 误差计算：e(k) = r(k) - y(k)， 其中r为设定温度， y为实测温度。
2. 增量式PID算法：为避免积分饱和和手动/自动无扰切换，采用增量式：
Δu(k) = K_p [e(k)-e(k-1)] + K_i * T_s * e(k) + K_d / T_s * [e(k)-2e(k-1)+e(k-2)]
其中T_s为采样周期。
3. 控制输出：u(k) = u(k-1) + Δu(k)， 输出u(k)经限幅后（如0-100%占空比）驱动加热器。
4. 抗积分饱和：当输出饱和时，停止积分项累加（积分分离）。
5. 不完全微分：在微分项中加入一阶低通滤波T_f s + 1， 抑制测量噪声。
参数整定：采用齐格勒-尼科尔斯(Z-N)法或科恩-库恩(Cohen-Coon)法初步整定，再根据响应曲线微调。例如Z-N法：先置K_i=K_d=0，增大K_p至等幅振荡，记录临界增益K_u和振荡周期T_u，则K_p=0.6K_u, K_i=2K_p/T_u, K_d=K_p*T_u/8。

稳态误差：趋于零。
超调量：<5%。
调节时间：达到并保持在设定值±2%范围内的时间。
鲁棒性：对模型参数小范围变化不敏感。

经典控制理论：基于系统传递函数的频域设计。
采样定理：数字实现需满足香农定理f_s > 2f_max。
稳定性判据：劳斯-赫尔维茨判据， Nyquist判据。

1. 挤出机/注塑机料筒温度控制：多温区独立PID。
2. 热处理炉温控：升降温曲线跟踪。
3. 恒张力卷绕控制：PID控制磁粉离合器电流。
4. 液位控制：反应釜、水箱液位。
5. 流量控制：化工原料配比。
6. 压力控制：液压系统保压。
7. 速度控制：传送带、电机转速。
8. 位置控制：作为伺服系统内环。
9. pH值控制：废水处理。
10. 湿度控制：洁净室、仓库环境。

变量：e(k)(误差)， u(k)(控制输出)， y(k)(过程变量)， r(k)(设定值)。
参数：K_p(比例)， K_i(积分)， K_d(微分)， T_s(采样时间)， T_f(微分滤波器时间常数)。
限幅参数：u_min, u_max。

微分方程：连续域的拉普拉斯变换描述。
差分方程：离散域的Z变换描述。
积分：误差的累积。
微分：误差的变化率。
极限：当时间趋于无穷，稳态误差趋于零（有积分时）。
稳定性：闭环极点位于左半平面/单位圆内。

调节语言：“调大/调小”。
响应描述：“过冲”、“振荡”、“收敛”。
参数整定口诀：“先比例，后积分，再微分”。

1. 初始化：设置K_p, K_i, K_d, T_s， 清空e(k-1), e(k-2), u(k-1)。
2. 采样循环 (每T_s秒)：
a. 读取过程变量y(k)（如温度传感器ADC值）。
b. 计算误差e(k) = r(k) - y(k)。
c. 计算控制增量Δu(k)（公式同上）。
d. 计算当前输出u(k) = u(k-1) + Δu(k)。
e. 输出限幅：u(k) = max(min(u(k), u_max), u_min)。
f. 输出u(k)（如PWM占空比）到执行器。
g. 更新历史误差：e(k-2)=e(k-1); e(k-1)=e(k); u(k-1)=u(k)。
h. 等待下一个采样周期。

Dy-L1-0005​

运筹学/库存

TC(Q) = (D/Q)*S + (Q/2)*H + D*C， 对Q求导令为零得Q* = √(2DS/H)

经济订货批量 (EOQ) 与 (s, S) 策略

1. 基本EOQ模型：在确定需求率D，固定订货成本S，单位持有成本H下，使总成本TC最小的订货批量Q* = √(2DS/H)。再订货点ROP = d * L，其中d为日平均需求，L为固定提前期。
2. 扩展到(s, S)策略：s为再订货点，S为最大库存水平。当库存水平降至s时，发起订货使库存升至S。
3. 需求随机性：假设提前期L内需求服从正态分布N(μ_L, σ_L^2)。则s = μ_L + z * σ_L，其中z为安全因子，与服务水平（不缺货概率）相关。S = s + Q*（或优化计算）。
4. 计算总成本：TC = 订货成本 + 持有成本 + 缺货成本。缺货成本可通过服务水平间接体现。
5. 参数优化：通过搜索或梯度法优化(s, S)，最小化长期平均总成本。可使用(s, S)马尔可夫决策过程建模。
参数选择：服务水平通常设为95%-99%，对应z值1.65-2.33。H根据资金占用、仓储、损耗估算。S通过历史数据或预测得到。

服务水平：周期内不缺货概率，如95%。
平均库存水平：(Q/2) + 安全库存。
库存周转率：年销售成本 / 平均库存。
总成本TC：货币单位。

微积分优化：对连续可微的总成本函数求导找极值点。
概率论：需求随机性的正态分布假设。
新闻vendor模型：单周期随机库存决策的基础。
马尔可夫决策过程 (MDP)：用于多周期随机库存优化。

1. 原材料采购：确定标准件、通用件的订货批量和时点。
2. 备品备件管理：保证设备维修，降低闲置成本。
3. 成品仓库管理：面向分销网络的库存配置。
4. 零售自动化补货：商超货架商品补货。
5. 电商履约中心库存：SKU级别的库存控制。
6. 药品与冷链库存：考虑有效期的库存策略。
7. 航空航材库存：高价值、低需求备件。
8. 汽车零部件中心库：服务4S店的库存管理。
9. 服装季节性库存：应对流行变化和季末清仓。
10. 食品饮料库存：考虑保质期和新鲜度。

变量：Q(订货量)， TC(总成本)， s(再订货点)， S(最大库存水平)， I(库存水平)。
常量/参数：D(年需求)， S_cost(订货成本)， H(单位年持有成本)， L(提前期)， μ_L, σ_L(提前期需求均值和标准差)， z(安全因子)， C(单位采购成本)。

微积分：求导寻找函数最小值。
概率与统计：正态分布， 期望成本计算。
优化：无约束优化(EOQ)， 动态规划((s,S)策略)。
随机过程：库存水平的随机游走。

库存指令：“订购Q单位”，“当库存低于s时，补货至S”。
成本描述：“持有成本”，“订货成本”，“缺货成本”。

1. 数据输入：获取需求预测D， 成本参数S_cost, H， 提前期L， 目标服务水平。
2. 计算经济批量：Q* = √(2*D*S_cost / H)。
3. 计算安全库存：SS = z * σ_L， 其中σ_L = σ_d * √L(若日需求独立同分布)。
4. 计算策略参数：再订货点 s = D*L/365 + SS， 最大库存水平 S = s + Q*。
5. 监控与触发：持续监控实时库存水平I(t)。当I(t) ≤ s时，生成采购单，采购量为S - I(t)。
6. 更新：定期（如每季度）根据实际需求数据重新估计D, σ_d， 并重新计算s, S。

Dy-L1-0006​

机器学习/分类

`P(Y=k

X=x) = (e^{w_k^T x + b_k}) / (Σ_{j=1}^{K} e^{w_j^T x + b_j})`

多分类逻辑回归用于产品表面缺陷识别

1. 特征工程：从产品表面图像中提取特征：灰度共生矩阵(GLCM)的对比度、相关性；局部二值模式(LBP)直方图；HOG特征；颜色矩。
2. 模型假设：给定特征向量x，属于类别k（如：划痕、凹坑、污渍、正常）的概率由Softmax函数给出。
3. 参数估计：通过最大化对数似然函数（即最小化交叉熵损失）来估计权重矩阵W和偏置向量b。
损失函数：`J(W,b) = -1/m Σ{i=1}^{m} Σ{k=1}^{K} 1{y_i=k} log(P(Y_i=k

X_i; W,b))。<br>**4. 优化求解**：使用梯度下降法及其变体（如Adam）更新参数：<br>W := W - α * ∂J/∂W，b := b - α * ∂J/∂b。<br>其中梯度∂J/∂w_k = 1/m Σ_{i=1}^{m} (x_i (1{Pred=k} - 1{True=k}))。<br>**5. 正则化**：加入L2正则化项(λ/2)

W

_F^2`防止过拟合。
参数优化：学习率α通过学习率衰减调整；正则化参数λ通过交叉验证选择；使用早停法。

准确率：正确分类样本比例。
精确率/召回率/F1-score：针对每个缺陷类别的性能，特别是对于不平衡数据。
混淆矩阵：可视化分类错误类型。
AUC-ROC：对于二分类问题。

Dy-L1-0007​

优化/启发式

1. 初始化种群；2. 评估适应度；3. 选择；4. 交叉；5. 变异；6. 迭代。

遗传算法 (GA) 用于装配线平衡

1. 编码：将工位分配方案编码为染色体。例如，整数编码，基因位表示任务序号，基因值表示分配的工位号。
2. 初始化：随机生成N个染色体作为初始种群。
3. 适应度评估：计算每个染色体的适应度。目标为最小化节拍时间(CT)和工位数，适应度函数可设计为Fitness = 1 / (w1*CT + w2*M)，其中M为工位数，w1, w2为权重。
4. 选择：采用轮盘赌选择法，个体i被选中的概率P_i = Fitness_i / Σ Fitness。或使用锦标赛选择。
5. 交叉：对选出的父代染色体进行交叉操作，如两点交叉，交换部分基因段，产生子代。
6. 变异：以较小概率P_m随机改变子代某个基因的值（工位号），维持种群多样性。
7. 精英保留：将当代最优个体直接保留到下一代，防止最优解丢失。
8. 终止：达到最大迭代次数或适应度平台期。
参数调优：种群大小N通常50-200，交叉率P_c 0.6-0.9，变异率P_m 0.01-0.1。通过参数实验确定。

节拍时间：生产线瓶颈工位时间。
平衡率：(Σ任务时间) / (M * CT)， 越接近1越好。
平滑性指数：SI = √[Σ(CT - t_i)^2]， 衡量工位时间均衡度。

自然选择与遗传学：适者生存、基因交叉、突变。
随机搜索：在解空间中进行概率性全局搜索。
建筑块假说：好的解由好的基因片段（建筑块）组合而成。

1. U型/直线型装配线平衡：分配任务到工位。
2. 车间布局优化：设备位置编码， 最小化物料搬运成本。
3. 机器人任务序列规划：优化焊接/涂胶顺序。
4. 组批调度：将订单组合成批以降低准备时间。
5. 供应链网络设计：选址-路径问题。
6. 参数优化：用于PID、神经网络等模型超参数调优。
7. 图像分割阈值选取：最大化类间方差。
8. 物流配送路径规划：车辆路径问题(VRP)。
9. 滤波器设计：优化数字滤波器系数。
10. 规则挖掘：用于生成生产调度启发式规则。

变量：染色体(解向量)， 适应度值。
参数：N(种群大小)， P_c(交叉概率)， P_m(变异概率)， MaxGen(最大代数)， w1, w2(权重)。
常量：任务时间， 优先关系矩阵。

集合：种群是个体的集合。
概率：选择、交叉、变异的概率操作。
随机性：初始种群、选择、变异引入随机性。
组合优化：在巨大的解空间中搜索。
离散：编码通常是离散的。

进化语言：“种群”、“染色体”、“基因”、“交叉”、“变异”、“适应度”。
优化目标：“最小化节拍”、“最大化平衡率”。

1. 初始化：Gen=0， 随机生成初始种群Pop(0)。
2. 评估：计算Pop(Gen)中每个个体的适应度。
3. While (Gen < MaxGen 且 未收敛)：
a. 选择：从Pop(Gen)中选择父代Parents（基于适应度比例）。
b. 交叉：对Parents以概率P_c进行交叉，生成子代Offspring_c。
c. 变异：对Offspring_c以概率P_m进行变异，生成Offspring_m。
d. 精英选择：从Pop(Gen)中选择最优个体Elite。
e. 生成新种群：Pop(Gen+1) = Offspring_m + Elite。
f. Gen = Gen + 1。
g. 评估Pop(Gen)的适应度。
4. 输出：返回历代最优染色体及其解码后的装配线平衡方案。

Dy-L1-0008​

控制理论/先进控制

状态空间模型：x_{k+1} = A x_k + B u_k + w_k；y_k = C x_k + v_k。代价函数：J = Σ_{i=0}^{N-1} (x_i^T Q x_i + u_i^T R u_i) + x_N^T P x_N

模型预测控制 (MPC) 用于多变量过程控制

1. 模型预测：基于过程动态模型（如状态空间、传递函数、阶跃响应模型），在每个采样时刻k，根据当前状态x_k和未来控制序列`u_{k

k}, ..., u_{k+Nc-1

k}，预测未来Np步的输出轨迹y_{k+1

k}, ..., y_{k+Np

k}。<br>**2. 滚动优化**：求解一个有限时域开环最优控制问题：<br>min{U} J = Σ{i=0}^{Np-1} (

y_{k+i

k} - r_{k+i}

Dy-L1-0009​

机器学习/深度学习

a^{(l)} = g(W^{(l)} a^{(l-1)} + b^{(l)})， 其中g为激活函数。

卷积神经网络 (CNN) 用于视觉质量检测

1. 前向传播：输入图像（如224x224x3）。
• 卷积层：使用多个滤波器进行卷积操作，提取局部特征。Z^{[l]} = W^{[l]} * A^{[l-1]} + b^{[l]}， 然后通过激活函数A^{[l]} = ReLU(Z^{[l]})。
• 池化层：下采样，常用最大池化A^{[l]}(i,j) = max(A^{[l-1]}(i:i+f, j:j+f))， 减少参数和计算量。
• 全连接层：将特征图展平后输入传统神经网络，最后通过Softmax输出分类概率。
2. 损失计算：使用交叉熵损失L = -Σ y_i log(ŷ_i)。
3. 反向传播：通过链式法则计算损失对每一层参数的梯度。
• 卷积层梯度：dW = dZ * A_prev， db = sum(dZ)， dA_prev = W * dZ（表示卷积或相关运算）。
4. 参数更新：使用优化器（如Adam）更新权重和偏置：W := W - α * dW。
参数优化*：使用预训练模型（如ResNet）进行迁移学习。优化超参数：学习率（余弦退火）、批大小、正则化（Dropout, L2）、数据增强（旋转、裁剪、翻转）。

分类准确率/召回率。
平均精度 (mAP)：用于目标检测。
交并比 (IoU)：用于分割任务。
推理速度 (FPS)：满足生产线节拍要求。

神经科学：受到生物视觉皮层感受野启发。
稀疏连接与权值共享：大幅减少参数，提高效率并具有平移不变性。
层次化特征学习：浅层学习边缘、颜色，深层学习语义、物体部件。
反向传播算法：基于链式法则的高效梯度计算。

1. 高精度外观缺陷分类：微小划痕、斑点检测。
2. 字符识别 (OCR)：读取产品序列号、生产日期。
3. 目标检测与定位：检测装配线上零件的存在、位置和类型（如YOLO, Faster R-CNN）。
4. 姿态估计：评估装配工位操作员的人体工程学姿势。
5. 三维点云分割：用于机器人随机抓取（如PointNet）。
6. 视频行为分析：监测安全生产规范（如是否戴安全帽）。
7. 显微图像分析：材料金相组织分类、晶粒尺寸测量。
8. X光/CT图像检测：内部气泡、裂纹检测。
9. 热成像分析：设备过热预警、焊接质量评估。
10. 自动驾驶导航：AGV在工厂环境中的语义分割与定位。

变量：W(卷积核权重)， b(偏置)， Z(线性输出)， A(激活输出)， ŷ(预测概率)。
参数：滤波器数量/大小、步长、填充、池化大小、学习率、批大小、Dropout率、epoch数。
输入：图像张量(H, W, C)。
输出：类别概率或边界框。

线性代数：张量运算， 卷积（本质是相关运算）。
微分：链式法则用于反向传播。
优化：随机梯度下降及其变体。
概率：Softmax输出概率分布。
拓扑：网络结构是有向无环图(DAG)。

特征提取语言：“卷积核”、“特征图”、“感受野”。
网络结构语言：“VGG16”、“ResNet50”、“U-Net”。
训练语言：“epoch”、“batch”、“loss下降”、“过拟合”。

1. 离线训练：
a. 数据准备：收集并标注图像数据集， 划分训练/验证/测试集， 应用数据增强。
b. 前向传播：输入一个batch的图像， 逐层计算卷积、激活、池化，得到预测ŷ。
c. 计算损失：L = CrossEntropy(y, ŷ)。
d. 反向传播：从输出层到输入层，计算损失对每个参数的梯度(dW, db)。
e. 参数更新：使用优化器（如Adam: m = β1*m + (1-β1)*dW， v = β2*v + (1-β2)*(dW^2)， W = W - α * m/(sqrt(v)+ε)）更新参数。
f. 重复b-e直至模型在验证集上收敛。
2. 在线推理：
a. 图像预处理：缩放、归一化。
b. 前向传播：输入训练好的CNN网络，得到输出ŷ。
c. 后处理：根据ŷ判断缺陷类别和位置，触发相应I/O信号。

Dy-L1-0010​

决策理论

`V*(s) = max{a∈A(s)} Σ{s', r} p(s', r

s, a) [r + γ V*(s')]<br>Q(s, a) = Σ_{s', r} p(s', r

s, a) [r + γ max_{a'} Q(s', a')]`

Q-Learning 用于AGV动态路径规划与调度

1. 建模为MDP：状态s：AGV位置、当前任务、周围动态障碍物分布。动作a：前进、左转、右转、等待、前往充电桩。奖励r：到达目标+100，碰撞-100，每一步消耗-1，空闲太久-5。转移概率p：由于环境不确定性（如其他AGV行为），结果不确定。折扣因子γ(0.9-0.99)。
2. Q-Learning算法：学习动作价值函数Q(s,a)。
• 初始化Q表（状态-动作对的值）为0或随机小值。
• 在每一个episode/每一步：
a. 根据当前状态s， 使用ε-greedy策略选择动作a（以ε概率探索，随机选；以1-ε概率利用，选argmax_a Q(s,a)）。
b. 执行动作a， 观测奖励r和新状态s‘。
c. 更新Q值：Q(s,a) ← Q(s,a) + α [r + γ max_{a'} Q(s', a') - Q(s,a)]， 其中α是学习率。
d. s ← s'。
3. 收敛：随着探索-利用的进行，Q值收敛到最优Q。
参数选择：学习率α（如0.1）， 折扣因子γ（如0.9）， 探索率ε（初始0.5， 随时间衰减，如ε=0.99ε）。

累计奖励：一个episode的总奖励，衡量策略优劣。
成功率：AGV成功无碰撞完成任务的比例。
学习收敛步数：Q表稳定所需的训练episode数。

马尔可夫决策过程 (MDP)：序列决策的经典框架。
贝尔曼最优方程：最优价值函数满足的自洽方程。
时序差分学习 (TD Learning)：结合蒙特卡洛和动态规划的思想，在无模型情况下通过采样学习。
探索-利用权衡：ε-greedy策略平衡学习新知识与利用现有知识。

1. 多AGV动态调度：在共享地图上无冲突路径规划。
2. 机器人抓取顺序学习：学习从料箱中抓取杂乱零件的最优顺序。
3. 缓存策略优化：预测性维护中学习何时更换刀具。
4. 游戏AI：学习玩经典游戏（如Flappy Bird），模拟简单决策。
5. 网络拥塞控制：学习路由决策。
6. 广告投放策略：学习最大化点击率。
7. 能源管理：学习控制智能电网的储能设备充放电。
8. 自动驾驶决策：在模拟器中学习超车、并道。
9. 对话策略学习：任务型聊天机器人学习最优提问策略。
10. 个性化推荐：将用户状态和推荐物品作为MDP。

变量：Q(s,a)(动作价值函数)， s(状态)， a(动作)， r(即时奖励)。
参数：α(学习率， 0<α≤1)， γ(折扣因子， 0≤γ<1)， ε(探索率， 0≤ε≤1)。
常量：奖励函数设定值。

概率：转移概率`p(s'

Dy-L1-0011​

模糊逻辑

μ_C(z) = max_{x,y} min[μ_A(x), μ_B(y)]， 其中z = f(x,y)

模糊推理系统 (FIS) 用于窑炉温度模糊控制

1. 模糊化：将精确的输入变量（如温度误差e和误差变化率ec）转化为模糊语言值。定义模糊集：负大(NB)，负中(NM)，负小(NS)，零(ZO)，正小(PS)，正中(PM)，正大(PB)。为每个模糊集设定隶属函数（如三角形、梯形）。计算输入值对各模糊集的隶属度μ(e), μ(ec)。
2. 规则库：基于专家经验制定模糊规则，形式为“If e is A and ec is B then u is C”。例如：
Rule1: If e is NB and ec is NB then u is PB
Rule2: If e is NB and ec is NM then u is PM
...
3. 推理：对每条规则，其触发强度α_i = min(μ_{A_i}(e), μ_{B_i}(ec))（Mamdani型，采用min作为“与”运算）。规则结论的模糊集被“切割”到高度α_i。
4. 去模糊化：聚合所有被“切割”后的结论模糊集，通过重心法(Centroid)计算精确的输出控制量u：
u = (∫ μ_C(z) * z dz) / (∫ μ_C(z) dz)， 积分在整个输出论域上进行。
参数调整：通过试凑或自学习（如结合神经网络）调整隶属函数的形状、位置和规则权重。

稳态误差：通常比传统PID稍大，但无超调。
鲁棒性：对非线性和模型不确定性有较好适应性。
响应速度：取决于规则设计和隶属函数。

模糊集合论：元素对集合的隶属度在[0,1]区间连续变化，而非非0即1。
语言变量：用自然语言的语言值描述变量。
近似推理：基于模糊规则的插值推理机制。

1. 复杂过程控制：水泥窑、玻璃熔炉等大滞后、非线性温度控制。
2. 家电控制：洗衣机水位、模糊逻辑空调、微波炉功率。
3. 汽车控制系统：ABS防抱死、自动变速、发动机空燃比。
4. 电梯群控调度：根据客流模糊判断派梯策略。
5. 经济型机器人控制：无需精确模型的点位控制。
6. 医疗诊断辅助：症状与疾病的模糊关联。
7. 图像边缘检测：像素灰度变化的模糊处理。
8. 决策支持系统：风险评估、信用评级。
9. 交通信号控制：根据车流密度模糊调节绿灯时间。
10. 消费者产品：数码相机自动对焦、防抖。

变量：e, ec(精确输入)， u(精确输出)， μ(隶属度)。
参数：输入/输出模糊集的隶属函数参数（如三角形函数的左中右顶点）， 规则库（if-then规则）， 推理方法(min, prod)， 去模糊化方法(重心法、平均最大隶属度法)。

集合论：模糊集合， 隶属度函数。
逻辑：模糊逻辑运算（min为与，max为或）。
积分：重心法去模糊化需要计算积分。
插值：模糊推理本质是一种插值器。

语言描述：“如果温度偏低且正在快速下降，那么就大幅加热”。
模糊概念：“偏高”、“有点冷”、“很快”。
规则形式：“If ... then ...”。

1. 每控制周期执行：
a. 读取输入：采样得到精确温度误差e(k)=r(k)-y(k)和误差变化ec(k)=e(k)-e(k-1)。
b. 模糊化：计算e(k)对{NB, NM, NS, ZO, PS, PM, PB}的隶属度μ_e， 同理计算μ_ec。
c. 规则评估：对规则库中每条规则i，计算其触发强度α_i = min(μ_{A_i}(e), μ_{B_i}(ec))。
d. 结论聚合：对每条规则，将其结论模糊集C_i的隶属函数“切割”到高度α_i，得到μ_{C_i}'(z)=min(α_i, μ_{C_i}(z))。然后聚合所有规则的输出模糊集：μ_{agg}(z)=max_i(μ_{C_i}'(z))。
e. 去模糊化：用重心法计算聚合模糊集的重心，得到精确控制量u(k)。
f. 输出：将u(k)（如加热功率百分比）发送给执行器。
g. 更新历史误差：e(k-1)=e(k)。

Dy-L1-0012​

信号处理

X(ω) = ∫_{-∞}^{∞} x(t) e^{-jωt} dt
x[n] = Σ_{k=0}^{N-1} X[k] e^{j(2π/N)kn}

快速傅里叶变换 (FFT) 用于旋转机械故障诊断

1. 信号采集：通过加速度传感器采集设备（如电机、齿轮箱、轴承）的振动信号x(t)，采样频率f_s需满足奈奎斯特定理（>2倍最高分析频率）。
2. 数据预处理：对离散信号x[n]（n=0,1,...,N-1）进行去趋势、加窗（如汉宁窗）以减少频谱泄漏。
3. FFT计算：将时域信号x[n]转换为频域表示X[k]。使用Cooley-Tukey算法，将N点DFT分解为较小点数的DFT组合，复杂度从O(N^2)降为O(N log N)。
X[k] = Σ_{n=0}^{N-1} x[n] * W_N^{kn}， 其中W_N = e^{-j2π/N}。
4. 频谱分析：计算幅度谱`

X[k]

或功率谱密度PSD =

X[k]

^2 / (N * f_s)。分析频谱中的峰值，对应故障特征频率（如轴承的通过频率）。<br>**5. 故障诊断**：将实测频谱与健康状态频谱或故障特征频率库进行比对，识别异常频率成分及其谐波。<br>**参数选择**：采样点数N（通常是2的幂，如2048, 4096），决定频率分辨率Δf = f_s / N。采样频率f_s根据所需分析的最高频率f_max决定，f_s > 2 * f_max`。

频率分辨率：Δf = f_s / NHz。
信噪比 (SNR)：故障特征频率幅值与噪声基底幅值之比。
总谐波失真 (THD)：评估信号中谐波含量。
峰值检测精度：频率和幅值的估计误差。

傅里叶分析：任何周期函数可表示为正弦和余弦函数的和。
采样定理 (Nyquist-Shannon)：无损采样的最低频率要求。
卷积定理：时域卷积对应频域相乘，是滤波的理论基础。
Parseval定理：时域和频域的能量守恒。

1. 轴承故障诊断：检测内圈、外圈、滚珠故障特征频率。
2. 齿轮箱故障诊断：啮合频率及其边频分析。
3. 电机故障诊断：转子条通过频率、偏心频率。
4. 泵与风机不平衡/不对中分析：工频及其倍频。
5. 声学故障检测：通过声音频谱识别异常。
6. 电源质量分析：电网谐波分析。
7. 振动模态分析：结构固有频率识别。
8. 通信信号处理：调制解调、频谱感知。
9. 音频处理：均衡器、音高检测。
10. 图像滤波：在频域进行图像增强、去噪。

Dy-L1-0013​

统计学/过程控制

UCL = μ + 3σ/√n， CL = μ， LCL = μ - 3σ/√n

统计过程控制 (SPC) - Xbar-R 控制图

1. 数据收集：在过程稳定时，收集至少20-25组子组数据。每组子组包含n个样本（通常n=4或5），在短时间间隔内抽取以减少组内变异。
2. 计算中心线与控制限：
• 对于每个子组i，计算均值Xbar_i = (Σ x_{ij})/n和极差R_i = max(x_i) - min(x_i)。
• 计算总平均Xbarbar = (Σ Xbar_i)/k和平均极差Rbar = (Σ R_i)/k，其中k为子组数。
• Xbar图控制限：UCL_X = Xbarbar + A2 * Rbar， CL_X = Xbarbar， LCL_X = Xbarbar - A2 * Rbar。
• R图控制限：UCL_R = D4 * Rbar， CL_R = Rbar， LCL_R = D3 * Rbar。
其中A2, D3, D4是依赖于子组容量n的常数（查表可得）。
3. 监控过程：将新子组的Xbar和R点绘在各自控制图上。
4. 判异准则：根据Western Electric规则等判断过程是否失控，例如：1) 点超出控制限；2) 连续9点在同侧；3) 连续6点递增或递减等。
参数选择：子组大小n通常4-5，子组频率应能探测到过程偏移。控制限系数基于正态分布假设（±3σ）。

过程能力指数：Cp = (USL-LSL)/(6σ)， Cpk = min[(USL-μ)/(3σ), (μ-LSL)/(3σ)]， 通常要求≥1.33。
控制图灵敏度：平均运行长度(ARL)，即发出错误警报前的平均样本数。

中心极限定理：无论总体分布如何，样本均值的分布近似正态分布。
统计假设检验：控制图是一种假设检验工具（H0: 过程受控）。
变差理论：过程总变差=组内变差+组间变差。R图监控组内，Xbar图监控组间。

1. 机加工尺寸控制：监控零件直径、长度等关键尺寸。
2. 注塑工艺参数控制：监控注射压力、保压时间。
3. 化工过程质量控制：监控产品纯度、浓度。
4. 食品灌装重量控制：监控每瓶/每袋净含量。
5. 电子元件参数测试：监控电阻、电容值。
6. 药品有效成分含量：监控每批含量均匀性。
7. 呼叫中心服务时间：监控平均通话时长。
8. 软件开发缺陷密度：监控每千行代码缺陷数。
9. 医院平均住院日：监控医疗过程效率。
10. 物流配送时间：监控准时交付率。

变量：x_{ij}(第i子组第j个观测值)， Xbar_i(子组均值)， R_i(子组极差)。
统计量：Xbarbar(总平均)， Rbar(平均极差)， σ_est = Rbar/d2(过程标准差估计值)。
参数：n(子组大小)， k(子组数)， A2, D3, D4(控制图常数)， USL/LSL(规格上下限)。

概率与统计：正态分布， 抽样分布， 假设检验。
统计推断：用样本统计量（Xbarbar, Rbar）估计过程参数（μ, σ）。
中心极限定理：Xbar近似正态分布的基础。
控制限计算：基于±3σ原则。

质量语言：“受控”、“失控”、“特殊原因变差”、“普通原因变差”。
判异准则：“点出界”、“链”、“趋势”、“周期”。
过程能力：“Cp, Cpk”。

1. 初始研究 (Phase I)：
a. 收集k>=20组子组数据，每组n=4-5个样本。
b. 计算Xbar_i, R_i， 再计算Xbarbar, Rbar。
c. 计算UCL_X, LCL_X, UCL_R, LCL_R（公式同上）。
d. 将Xbar_i, R_i点绘在图上，检查是否有失控点。如有，调查并剔除特殊原因，重新计算控制限，直至过程稳定。
e. 计算过程能力指数Cp, Cpk。
2. 在线监控 (Phase II)：
a. 定期（如每小时）抽取一个子组，计算Xbar_new, R_new。
b. 将Xbar_new点绘在Xbar图上，R_new点绘在R图上。
c. 应用判异准则。如无异常，过程继续运行。如出现异常信号，立即停机调查特殊原因，采取措施后恢复生产。

Dy-L1-0014​

图论/优化

Minimize Σ_{(i,j)∈E} c_{ij} * x_{ij}， s.t. 每个节点流量守恒。

网络流算法 (最短路径、最大流) 用于物流配送路径优化

1. 问题建模：将配送网络建模为有向图G=(V, E)，节点V表示配送中心/客户点，边E表示道路，权重c_{ij}表示距离/时间/成本。货源为源点s，需求点为汇点t。
2. 最短路径问题 (Dijkstra算法)：寻找从源点s到所有其他节点的最短路径。
• 初始化：距离d[s]=0， 其他d[v]=∞；集合S为空，Q为所有节点。
• 循环：从Q中取出距离最小的节点u，加入S。松弛u的所有邻边：对每条边(u,v)，若d[v] > d[u] + c(u,v)，则更新`

Dy-L1-0015​

优化/约束求解

定义变量域， 添加约束， 搜索解。

约束规划 (CP) 用于复杂工艺规划与排程

1. 问题建模：定义决策变量及其定义域。例如，工序O_i的开始时间S_i ∈ [0, H]， 使用的机器M_i ∈ {M1, M2, ...}， 资源占用R_i ∈ Z。
2. 约束表达：
• 时序约束：S_i + dur_i ≤ S_j（工序i在j之前）。
• 资源约束：cumulative([S_1, .., S_n], [dur_1,..,dur_n], [R_1,..,R_n], Cap)表示共享资源（如人员、夹具）的累积用量不超过容量Cap。
• 逻辑约束：(M_i == M_k) => (S_i + dur_i ≤ S_k) ∨ (S_k + dur_k ≤ S_i)表示同一机器上工序不能重叠。
3. 搜索与传播：使用深度优先搜索(DFS)结合约束传播。在每次赋值后，通过传播算法（如弧相容AC-3）缩小未赋值变量的域，提前发现矛盾。
4. 回溯与优化：当遇到死路（某变量域为空）时，回溯到上一个决策点。优化目标（如最小化完工时间）通过分支定界实现：找到解后，将其目标值作为新约束C_max < current_best，继续搜索更优解。
参数优化：变量选择启发式（如最早开工时间优先）， 值选择启发式（如最小资源占用优先）， 搜索策略（如有限差异LDS）。

可行性：找到可行解的能力。
最优性间隙：在时限内找到解与理论下界的差距。
求解速度：找到第一个可行解的时间。

约束满足问题 (CSP)：在满足所有约束的条件下，为变量赋值。
约束传播：利用约束的局部性来推导全局域缩减。
搜索与剪枝：系统搜索与智能回溯。

1. 具有复杂约束的作业车间调度：包含设置时间、日历、资源等。
2. 航班/机组排班：满足法规、技能、休息等复杂规则。
3. 车辆路径问题 (VRP)：带时间窗、载重、客户优先级。
4. 印刷电路板 (PCB) 组装优化：元器件贴装顺序和吸嘴分配。
5. 体育赛事赛程安排：满足场地、队伍、电视转播等约束。
6. 配置问题：按订单配置产品（如汽车），满足兼容性约束。
7. 切料/排样问题：一维/二维切割，最小化浪费。
8. 网络配置：满足服务质量(QoS)约束的路由规划。
9. 生物信息学：DNA序列比对，蛋白质结构预测。
10. 自动测试模式生成 (ATPG)：生成覆盖特定故障的测试向量。

变量：S_i(开始时间)， M_i(机器)， R_i(资源量)， X_ij(二进制，表示顺序)。
常量/参数：dur_i(工序时间)， Cap(资源容量)， H(时间上限)。
约束：temporal， resource， logical。

逻辑：一阶逻辑， 与/或/非， 蕴含。
集合：变量的定义域是离散集合。
组合：在组合空间中进行搜索。
图论：约束网络可以用图表示。

声明式：“工序A必须在工序B之前完成”。
搜索语言：“分支”、“回溯”、“传播”、“域缩减”。
约束语言：alldifferent， cumulative。

1. 建模：定义所有变量及其初始域，添加所有约束到约束库。
2. 初始传播：运行约束传播算法（如AC-3），缩小变量域。while (!empty(queue)) { (X_i, c, X_j)=pop(queue); if(revise(X_i, c, X_j)) { for each constraint c‘ involving X_i, push (X_k, c', X_i) to queue; } }
3. 深度优先搜索 (DFS)：
a. 若所有变量均已赋值，则找到一个解，记录并回溯寻找更优解。
b. 选择未赋值变量X（启发式：最小域优先）。
c. 按顺序尝试X的域中的每个值v（启发式：最小冲突优先）。
d. 赋值X=v， 将新约束X=v加入约束库，触发约束传播。
e. 若传播导致某变量域为空（矛盾），则撤销X=v及其传播效果，尝试下一个值。
f. 若传播成功，则递归调用步骤a。
g. 若所有值尝试完毕均失败，则回溯到上一层。

Dy-L1-0016​

路径规划/采样

随机采样， 连接最近节点， 重布线优化。

快速探索随机树星 (RRT*) 用于高维机械臂运动规划

1. 初始化：树T只包含根节点（起始位姿q_start）。
2. 随机采样：以概率p_goal采样目标点q_goal， 以概率1-p_goal在自由位姿空间C_free中均匀随机采样点q_rand。
3. 最近邻搜索：在树T中找到距离q_rand最近的节点q_near。距离通常定义为位形空间的度量，如加权欧氏距离。
4. 扩展：从q_near向q_rand方向步进一个固定步长η，得到新节点q_new。`q_new = q_near + η * (q_rand - q_near)/

q_rand - q_near

。检查路径(q_near, q_new)是否在C_free中（无碰撞）。<br>**5. 选择父节点**：在q_new附近半径为r的球内，寻找树T中所有节点q_nearby。选择能使从q_start到q_new路径成本（如路径长度、关节运动量）最小的q_nearby作为q_new的新父节点。成本函数Cost(q) = Cost(q_parent) + dist(q_parent, q)。<br>**6. 重布线**：对于q_nearby中的每个节点q_nb， 检查如果将其父节点重连到q_new是否能降低其成本（Cost(q_nb) > Cost(q_new) + dist(q_new, q_nb)）。如果是，则重连。<br>**7. 迭代**：重复步骤2-6，直到树T延伸到q_goal附近（dist(q, q_goal) < ε）或达到最大迭代次数。<br>**参数优化**：步长η权衡扩展速度与精细度。重布线半径r影响树的优化速度，通常与(log(n)/n)^{1/d}成比例，其中n为节点数，d为空间维数。p_goal`（如0.05）引导树向目标生长。

路径长度/成本：渐近最优，随迭代次数增加而降低。
规划时间：与空间维度和障碍物复杂度相关，通常快于精确算法。
成功率：在有限时间内找到解的概率。

概率完备性：如果解存在，当迭代次数趋于无穷时，找到解的概率趋于1。
渐近最优性：随着采样点增加，找到的路径成本以概率1收敛到最优成本。
随机几何图：RRT*构建的树是随机几何图。

1. 高自由度机械臂避障路径规划：在杂乱工作空间规划从A点到B点的关节轨迹。
2. 蛇形机器人/超冗余机械臂运动：在狭窄管道内导航。
3. 自动驾驶车辆在复杂地形规划：考虑非完整约束（如汽车不能侧移）。
4. 无人机在室内/密集环境飞行：避开建筑物和树木。
5. 动画角色运动生成：规划逼真的人物运动序列。
6. 外科手术机器人路径规划：避开关键组织和器官。
7. 卫星姿态规划：避开敏感指向（如对太阳）。
8. 蛋白质折叠模拟：在高维构象空间中寻找能量最小路径。
9. 虚拟现实中的交互运动：实时生成角色到达目标点的运动。
10. 多机器人协同运动规划：为每个机器人规划无碰撞路径。

Dy-L1-0017​

机器学习/预测

h_t = f(W * [h_{t-1}, x_t] + b)， 其中f为tanh或ReLU。

长短期记忆网络 (LSTM) 用于设备剩余使用寿命 (RUL) 预测

1. 网络结构：LSTM单元包含输入门i_t， 遗忘门f_t， 输出门o_t和细胞状态C_t。
• 遗忘门：f_t = σ(W_f * [h_{t-1}, x_t] + b_f)，决定从细胞状态中丢弃多少旧信息。
• 输入门：i_t = σ(W_i * [h_{t-1}, x_t] + b_i)，C̃_t = tanh(W_C * [h_{t-1}, x_t] + b_C)，决定更新多少新信息。
• 细胞状态更新：C_t = f_t ⊙ C_{t-1} + i_t ⊙ C̃_t。
• 输出门：o_t = σ(W_o * [h_{t-1}, x_t] + b_o)，h_t = o_t ⊙ tanh(C_t)。
2. 模型构建：将多变量传感器时序数据(x_1, x_2, ..., x_T)作为输入，使用多层LSTM堆叠以提取高阶时序特征，最后接全连接层输出预测的RUL值ŷ。
3. 训练：损失函数为均方误差(MSE)或均绝对误差(MAE)。使用反向传播通过时间(BPTT)计算梯度，优化器常用Adam。
4. 预测：输入一段设备运行的历史传感器序列，模型输出一个未来失效时间的估计点或分布。
参数优化：通过超参数搜索确定层数、隐藏单元数、学习率、dropout率。使用早停法防止过拟合。窗口长度（历史序列长度）是关键参数，需能覆盖故障发展模式。

均方根误差 (RMSE)：预测RUL与真实RUL的偏差。
评分函数：NASA PHM Challenge常用评分，对提前预测惩罚较小，对滞后预测惩罚较大：Score = Σ (exp(α*(ŷ-y))-1) for ŷ<y else Σ (exp(β*(y-ŷ))-1)。
一致性：预测趋势与实际退化趋势的吻合度。

循环神经网络 (RNN)：处理序列数据的神经网络基本结构。
门控机制：通过输入、遗忘、输出门控制信息流，解决传统RNN的梯度消失/爆炸问题，可学习长期依赖关系。
序列到序列/序列到值学习：将可变长度输入序列映射到输出（值或序列）。

1. 航空发动机剩余寿命预测：基于振动、温度、转速等数据。
2. 数控机床主轴轴承故障预测：监测振动信号趋势。
3. 锂电池健康状态与剩余循环次数预测：基于电压、电流、温度时序。
4. 化工泵/压缩机预测性维护：监测流量、压力、温度退化。
5. 风电齿轮箱故障预警：分析SCADA数据序列。
6. 列车转向架关键部件寿命预测。
7. 半导体制造设备健康管理：预测等离子体刻蚀机维护周期。
8. 网络设备故障预测：基于流量、错误日志序列。
9. 金融时间序列预测：股票价格、汇率预测。
10. 自然语言处理：机器翻译、文本生成、情感分析。

变量：x_t(t时刻输入)， h_t(t时刻隐藏状态)， C_t(t时刻细胞状态)。
门变量：i_t, f_t, o_t(激活值在0-1之间)。
参数：权重矩阵W_f, W_i, W_C, W_o， 偏置向量b_f, b_i, b_C, b_o。
超参数：隐藏层维度， LSTM层数， 学习率， dropout率， 序列长度。

序列建模：处理时间序列数据。
微分：反向传播涉及梯度计算。
非线性：Sigmoid, tanh激活函数。
门控机制：元素级乘法(⊙)和加法，控制信息流。
记忆：细胞状态C_t作为长期记忆载体。

记忆语言：“遗忘门”、“输入门”、“输出门”、“细胞状态”。
时序预测语言：“基于历史序列预测未来值”。
退化建模：“学习设备的退化轨迹”。

1. 训练阶段：
a. 数据准备：从历史数据中构建样本(X, y)， 其中X是长度为T的传感器序列，y是对应的RUL标签。划分训练/验证集。
b. 前向传播：将序列X输入LSTM网络，最后一个时间步的隐藏状态h_T通过全连接层得到预测ŷ。计算损失L = MSE(y, ŷ)。
c. 反向传播：通过BPTT算法计算损失对所有权重W_*和偏置b_*的梯度。
d. 参数更新：使用优化器（如Adam: m_t = β1*m_{t-1}+(1-β1)*g_t， v_t=β2*v_{t-1}+(1-β2)*g_t^2， W = W - α * m̂_t/(√v̂_t+ε)）更新参数。
e. 重复b-d直至在验证集上损失收敛。
2. 在线预测阶段：
a. 实时收集最近T个时间步的传感器数据，构成序列X_new。
b. 将X_new输入训练好的LSTM模型。
c. 获取模型输出的RUL预测值ŷ_new。
d. 根据ŷ_new触发维护工单或预警。

Dy-L1-0018​

控制理论/鲁棒控制

设计切换控制律u = -K·sgn(s)， 使系统状态在有限时间内到达滑模面s=0。

滑模变结构控制 (SMC) 用于电机伺服系统

1. 定义滑模面：对于n阶系统，定义跟踪误差e = x_d - x。选择滑模面s = (d/dt + λ)^{n-1} e = 0， 其中λ>0。对于二阶系统（如位置控制），s = ė + λ e。滑模面s=0定义了期望的动态特性（误差指数收敛）。
2. 设计控制律：控制律u由等效控制u_eq和切换控制u_sw组成。u = u_eq + u_sw。
• 等效控制u_eq：在理想无扰动情况下，使系统状态保持在滑模面上（ṡ=0）所需的控制量。通过解ṡ=0得到。
• 切换控制u_sw：用于克服模型不确定性和扰动，驱使系统状态趋向滑模面。常用形式u_sw = -K·sgn(s)，其中K是大于扰动上界的常数，sgn()是符号函数。
3. 稳定性分析 (Lyapunov)：选取Lyapunov函数V = 1/2 s^2。通过设计u使得`Ṡ = s·ṡ ≤ -η

s

（η>0），则系统状态将在有限时间内到达滑模面。<br>**4. 抖振抑制**：符号函数导致高频抖振。常用饱和函数sat(s/Φ)或连续近似函数（如s/(

s

+δ)）代替Sgn(s)，在边界层

s

<Φ内提供连续控制。<br>**参数选择**：λ决定滑模面上的收敛速度。K`需大于扰动和不确定性的上界。边界层厚度Φ权衡跟踪精度和抖振，通常通过试凑或自适应律调整。

跟踪误差：稳态误差理论上为零（在边界层内）。
鲁棒性：对匹配扰动（出现在控制通道中的扰动）完全抑制。
抖振幅值：与切换增益K和边界层厚度Φ相关。

Dy-L1-0019​

统计分析/降维

z_i = W^T x_i， 其中W是投影矩阵，使投影后方差最大。

主成分分析 (PCA) 用于高维过程监控与故障诊断

1. 数据标准化：对原始数据矩阵X (m x n)， m个样本，n个变量（传感器）。对每个变量（列）进行零均值化：x_j' = x_j - mean(x_j)， 通常也进行单位方差缩放。
2. 计算协方差矩阵：Σ = (1/(m-1)) * X'^T * X'， Σ是n x n的对称矩阵。
3. 特征值分解：求解Σ * v = λ * v， 得到特征值λ_1 ≥ λ_2 ≥ ... ≥ λ_n ≥ 0和对应的特征向量v_1, v_2, ..., v_n。
4. 选择主成分：按特征值从大到小排序，前k个特征向量v_1, ..., v_k构成投影矩阵W_k = [v_1, v_2, ..., v_k]。k的选择基于累计方差贡献率：Σ_{i=1}^k λ_i / Σ_{i=1}^n λ_i ≥ T（如T=0.95）。
5. 投影：将原始数据投影到主成分空间（得分）：T = X' * W_k， 以及残差空间：E = X' - T * W_k^T。
6. 过程监控统计量：
• T²统计量 (Hotelling's T²)：T²_i = t_i * Λ^{-1} * t_i^T， 其中t_i是第i个样本的得分向量，Λ是前k个特征值构成的对角矩阵。监控主成分空间变异。
• Q统计量 (SPE)：Q_i = e_i * e_i^T， 其中e_i是第i个样本的残差向量。监控残差空间变异。
7. 控制限：T²控制限基于F分布：T²_{lim} = (k(m-1)/(m-k)) * F_{α}(k, m-k)。Q统计量控制限基于卡方分布近似或实际分布计算。
参数优化：主成分个数k通过交叉验证或累计贡献率阈值确定。数据标准化方法（均值、方差）影响结果。

累计方差贡献率：前k个主成分解释的总方差比例。
误报率 (FAR)：正常工况下统计量超出控制限的概率，由显著性水平α控制（如α=0.01）。
故障检测率 (FDR)：正确检测出故障的概率。
重建误差：用主成分重建原始数据时的误差。

线性代数：特征值分解/奇异值分解(SVD)。
统计：方差最大化， 数据去相关。
多元统计分析：Hotelling's T²分布， Q统计量。
正交投影：将数据空间分解为主成分子空间和残差子空间。

1. 化工过程监控：监控数百个传感器，检测微小故障。
2. 半导体制造工艺监控：监控蚀刻、沉积等多步骤参数。
3. 产品质量相关性分析：找出影响产品质量的关键过程变量。
4. 设备状态监测：从多传感器数据中提取健康状态特征。
5. 图像压缩与特征提取：人脸识别中的特征脸(Eigenface)。
6. 基因表达数据分析：降维以可视化样本聚类。
7. 金融风险分析：识别影响投资组合的主要风险因子。
8. 消费者行为分析：从购买记录中提取主要消费模式。
9. 振动信号分析：从多通道振动信号中提取主要模式。
10. 数据预处理：为其他机器学习算法（如回归、分类）降维。

变量：X(原始数据矩阵)， x_i(样本向量)， z_i(主成分得分向量)， T(得分矩阵)， E(残差矩阵)。
统计量：T²(Hotelling's T²)， Q(SPE)。
参数：k(主成分个数)， α(显著性水平，控制限)。
矩阵：W(负载矩阵，特征向量组成)， Λ(特征值对角矩阵)。

线性代数：特征值/特征向量， 协方差矩阵， 正交投影。
统计：方差， 协方差， 多元正态分布。
优化：寻找使投影方差最大化的正交方向（即特征向量）。
几何：将数据投影到低维超平面。

降维语言：“主成分”、“方差最大化”、“数据压缩”。
监控语言：“T²统计量”、“Q统计量”、“控制限”。
故障诊断语言：“贡献图”（分析哪个变量对T²或Q贡献大）。

1. 离线建模 (Phase I)：
a. 收集正常工况下的历史数据X（m x n）。
b. 标准化X得到X'。
c. 计算协方差矩阵Σ = (X'^T X')/(m-1)。
d. 对Σ进行特征值分解，得到特征值λ_i和特征向量v_i。
e. 选择k使得累计贡献率Σ_{i=1}^k λ_i / Σ λ_i >= 0.95。
f. 构建负载矩阵P = [v_1, ..., v_k]。
g. 计算得分T = X' * P和残差E = X' - T * P^T。
h. 计算T²和Q的控制限T²_{lim}， Q_{lim}。
2. 在线监控 (Phase II)：
a. 获取新样本x_{new}（1 x n）。
b. 使用建模数据的均值和方差标准化x_{new}，得到x'_{new}。
c. 投影：t_{new} = x'_{new} * P。
d. 计算残差：e_{new} = x'_{new} - t_{new} * P^T。
e. 计算监控统计量：T²_{new} = t_{new} * inv(diag(λ_1..λ_k)) * t_{new}^T， Q_{new} = e_{new} * e_{new}^T。
f. 判断：若T²_{new} > T²_{lim}或 Q_{new} > Q_{lim}， 则报警，表明过程可能异常。

Dy-L1-0020​

机器学习/集成学习

ŷ_i = Σ_{k=1}^K f_k(x_i)， 其中f_k是第k棵树。

梯度提升决策树 (GBDT) / XGBoost用于生产质量预测

1. 模型形式：加法模型，预测值为K棵树的预测之和：ŷ_i = Σ_{k=1}^K f_k(x_i)， f_k ∈ F（所有CART树的集合）。
2. 目标函数：Obj(Θ) = Σ_i l(y_i, ŷ_i) + Σ_k Ω(f_k)， 其中l是损失函数（如均方误差），`Ω(f) = γT + 0.5λ

w

^2是正则项，惩罚模型复杂度（T为叶子节点数，w为叶子分数）。<br>**3. 加法训练**：以贪婪的方式逐棵添加树。在第t步，模型为ŷi^(t) = ŷi^(t-1) + f_t(x_i)。目标函数近似为二阶泰勒展开：<br>Obj^(t) ≈ Σ_i [l(y_i, ŷi^(t-1)) + g_i f_t(x_i) + 0.5 h_i f_t^2(x_i)] + Ω(f_t)， 其中g_i = ∂l/∂ŷ^(t-1)，h_i = ∂²l/∂(ŷ^(t-1))²。<br>**4. 构建树**：通过贪心算法寻找最佳分裂点，分裂准则基于损失减少：Gain = 1/2 [ (Σ{i∈I_L} g_i)^2/(Σ{i∈I_L} h_i+λ) + (Σ{i∈I_R} g_i)^2/(Σ{i∈I_R} h_i+λ) - (Σ{i∈I} g_i)^2/(Σ{i∈I} h_i+λ) ] - γ。选择增益最大的分裂点。<br>**5. 叶子权重**：对于叶子节点j，其最优权重w_j^* = - (Σ{i∈I_j} g_i) / (Σ_{i∈I_j} h_i + λ)`。
参数优化：树的最大深度、学习率η、正则化参数λ和γ、子采样率、列采样率。通常通过网格搜索或贝叶斯优化进行调参。

预测误差：RMSE, MAE等。
特征重要性：通过特征在分裂中被使用的次数或总增益来衡量。
模型复杂度：树的数量和深度。

​ boosting集成：将多个弱学习器（树）组合成强学习器，按顺序训练，每棵树拟合前一棵树的残差。
梯度下降：在函数空间中进行梯度下降，每棵树拟合损失函数的负梯度方向。
泰勒展开：使用损失函数的二阶信息（Hessian）进行更精确的逼近，使学习更高效。

1. 产品质量属性预测：根据工艺参数预测产品强度、纯度等。
2. 客户流失预测：基于客户行为预测流失可能性。
3. 供应链需求预测：结合多因素（促销、季节、价格）预测需求。
4. 信用评分：评估贷款申请人的违约风险。
5. 点击率预估 (CTR)：在线广告点击预测。
6. 异常检测：预测误差大的样本可能为异常。
7. 特征选择：基于特征重要性进行筛选。
8. 竞赛机器学习：在结构化数据竞赛中常用。
9. 设备故障分类：基于多传感器数据预测故障类型。
10. 医学诊断：基于患者特征预测疾病。

Dy-L1-0021​

机器学习/聚类

最小化类内方差：`Min Σ{k=1}^K Σ{x_i∈C_k}

x_i - μ_k

^2`

K-Means聚类用于生产批次质量分组

1. 初始化：随机选择K个数据点作为初始聚类中心μ_1, μ_2, ..., μ_K。
2. 分配步骤：将每个数据点x_i分配到距离最近的聚类中心所属的簇C_k。`C_k = {x_i:

x_i - μ_k

Dy-L1-0022​

优化/仿生算法

粒子根据个体历史最佳和群体历史最佳更新速度和位置。

粒子群优化 (PSO) 用于注塑工艺参数优化

1. 初始化：在D维参数空间（如注射速度、保压压力、模具温度等）中，随机初始化M个粒子的位置x_i和速度v_i。每个粒子代表一组工艺参数。
2. 评估适应度：将每个粒子的位置（参数组合）代入仿真模型或真实实验，得到质量指标（如翘曲变形量），作为适应度值f(x_i)。目标是最小化翘曲量。
3. 更新个体与群体最优：对每个粒子i，比较当前适应度与其历史最佳适应度pbest_i，若更优，则更新pbest_i = f(x_i)， p_i = x_i。找出所有粒子中适应度最优的粒子，更新群体历史最佳位置g和适应度gbest。
4. 更新速度和位置：
v_i^{t+1} = ω * v_i^t + c1 * r1 * (p_i - x_i^t) + c2 * r2 * (g - x_i^t)
x_i^{t+1} = x_i^t + v_i^{t+1}
其中，ω是惯性权重，c1和c2是加速常数，r1和r2是[0,1]内的随机数。
5. 边界处理：对越界的位置或速度进行约束，如将位置限制在工艺窗口内，速度限制在[-v_max, v_max]。
6. 迭代：重复步骤2-5，直到达到最大迭代次数或适应度满足要求。
参数优化：惯性权重ω常用线性递减策略（如从0.9到0.4），以平衡全局探索和局部开发。c1和c2通常都设为2.0。粒子数M通常20-50。

最优适应度：找到的最小翘曲变形量。
收敛速度：达到稳定最优解所需的迭代次数。
鲁棒性：多次运行算法，得到最优解的标准差。

鸟群/鱼群社会行为模拟：个体受自身经验和社会经验的影响。
自组织与群体智能：简单的个体规则涌现出群体的智能搜索行为。
随机搜索：结合确定性（向p和g学习）和随机性（r1, r2）进行搜索。

1. 注塑/压铸工艺参数优化：最小化产品缺陷（翘曲、缩痕）。
2. 切削参数优化：最大化材料去除率或最小化刀具磨损。
3. 机器学习超参数调优：优化神经网络结构、学习率等。
4. 天线设计：优化天线形状参数以达到最佳辐射模式。
5. 电力系统调度：优化发电机出力，最小化成本。
6. 神经网络训练：作为替代梯度下降的优化器。
7. 机器人路径规划：优化路径点序列。
8. 滤波器设计：优化数字滤波器系数。
9. 图像分割：优化阈值或多参数。
10. 经济调度：优化资源分配。

变量：x_i(粒子i的位置向量，代表参数组合)， v_i(粒子i的速度向量)， p_i(粒子i的历史最佳位置)， g(群体历史最佳位置)。
适应度：f(x_i)(目标函数值，如翘曲量)， pbest_i(个体历史最佳值)， gbest(群体历史最佳值)。
参数：ω(惯性权重)， c1, c2(加速常数)， M(粒子数)， MaxIter(最大迭代数)， v_max(速度限幅)。

向量运算：位置和速度更新是向量加法。
随机性：r1, r2引入随机性。
优化：在连续空间中搜索最优解。
动力学：粒子运动由速度更新方程描述。

群体智能语言：“粒子”、“个体最佳”、“全局最佳”。
更新规则：“向自己和群体的经验学习”。
探索与开发：“惯性权重控制搜索范围”。

1. 初始化：设置参数M, ω, c1, c2, MaxIter, v_max。在定义域内随机初始化x_i^0和v_i^0。p_i = x_i^0， 计算初始pbest_i， 并确定初始g和gbest。
2. For t=1 to MaxIter：
a. 适应度评估：对每个粒子i，计算当前x_i^t的适应度f(x_i^t)（调用仿真或模型）。
b. 更新个体历史最佳：若f(x_i^t) < pbest_i， 则pbest_i = f(x_i^t)， p_i = x_i^t。
c. 更新群体历史最佳：找到所有粒子中pbest_i的最小值，若该值小于gbest，则更新gbest和g。
d. 更新速度和位置：对每个粒子i，生成随机数r1, r2 ~ U(0,1)，计算v_i^{t+1}和x_i^{t+1}（公式同上）。对v_i^{t+1}进行限幅v_i^{t+1} = max(min(v_i^{t+1}, v_max), -v_max)， 对x_i^{t+1}进行越界处理（如反射或吸附到边界）。
e. 更新惯性权重 (可选)：ω = ω_max - (ω_max - ω_min) * t / MaxIter。
3. 输出：全局最佳位置g及其适应度gbest，即为找到的最优工艺参数组合。

Dy-L1-0023​

控制理论/自适应控制

控制器参数θ根据跟踪误差在线调整，θ̇ = -γ e φ。

模型参考自适应控制 (MRAC) 用于机械臂轨迹跟踪

1. 参考模型：定义一个稳定的线性参考模型，描述期望的闭环系统动态：ẋ_m = A_m x_m + B_m r，其中r是参考输入，x_m是参考模型状态（期望的轨迹）。
2. 可调系统：被控对象（机械臂线性化模型）为ẋ_p = A_p x_p + B_p u，其中A_p, B_p未知或慢时变。控制器为u = θ_1^T x_p + θ_2 r，其中θ_1, θ_2为可调参数。
3. 跟踪误差动态：定义状态误差e = x_p - x_m。目标是通过调整θ，使误差e趋于零。
4. 自适应律设计：基于Lyapunov稳定性理论，设计参数调整律。选取Lyapunov函数V = 1/2 e^T P e + 1/(2γ) (θ̃^T θ̃)，其中P是正定矩阵，满足A_m^T P + P A_m = -Q，θ̃是参数误差。通过使Ṽ负定，推导出自适应律：
θ̇_1 = -γ B_p^T P e x_p^T
θ̇_2 = -γ B_p^T P e r
其中γ>0是自适应增益。
5. 实现：控制器实时测量x_p和e，根据自适应律更新θ_1, θ_2，并计算控制量u。
参数选择：自适应增益γ影响参数收敛速度，过大可能导致振荡。参考模型矩阵A_m, B_m决定期望的动态性能（如响应速度、超调）。矩阵Q通常选为单位阵。

跟踪误差：稳态误差理论上为零（对阶跃参考）。
参数收敛性：参数θ是否收敛到其理想值，取决于持续激励条件。
鲁棒性：对慢时变参数和一定扰动有适应性。

自适应控制理论：通过在线调整控制器参数，使系统输出跟踪参考模型输出。
Lyapunov稳定性理论：为设计自适应律和证明全局稳定性提供严格框架。
持续激励条件：保证参数收敛到其真值的条件。

1. 机械臂轨迹跟踪：应对负载变化、关节摩擦等不确定性。
2. 飞行器姿态控制：适应气动参数变化和燃料消耗。
3. 船舶航向/航迹控制：应对海况变化引起的模型变化。
4. 汽车巡航控制：适应车辆质量、风阻的变化。
5. 过程控制：对化学反应器等慢时变过程进行控制。
6. 电机伺服系统：适应负载惯量变化。
7. 航空航天器再入控制。
8. 生物医学设备：人工胰腺的血糖控制。
9. 电力系统：发电机励磁控制。
10. 结构振动控制。

变量：x_p(被控对象状态)， x_m(参考模型状态)， e(跟踪误差)， u(控制输入)， r(参考输入)。
可调参数：θ_1(状态反馈增益向量)， θ_2(前馈增益)。
设计参数：A_m, B_m(参考模型矩阵)， γ(自适应增益)， P, Q(Lyapunov方程中的正定矩阵)。

微分方程：系统动态、参考模型动态、自适应律均为微分方程。
线性代数：矩阵运算， Lyapunov方程。
稳定性：Lyapunov第二方法证明全局渐近稳定性。
自适应：参数随时间连续变化。

参考模型语言：“期望的闭环动态”。
自适应语言：“参数在线调整”、“自适应律”。
稳定性语言：“基于Lyapunov的设计”、“全局渐近稳定”。

1. 离线设计：选择稳定的参考模型(A_m, B_m)， 选择Q>0， 求解Lyapunov方程A_m^T P + P A_m = -Q得到P。选择自适应增益γ。
2. 在线运行 (每个控制周期)：
a. 读取被控对象状态x_p和参考指令r。
b. 计算参考模型状态x_m（通过数值积分ẋ_m = A_m x_m + B_m r）。
c. 计算跟踪误差e = x_p - x_m。
d. 更新自适应参数：θ_1 += (θ̇_1 * Δt)， θ_2 += (θ̇_2 * Δt)， 其中θ̇_1 = -γ B_p^T P e x_p^T， θ̇_2 = -γ B_p^T P e r（注：B_p需已知或估计）。
e. 计算控制量：u = θ_1^T x_p + θ_2 r。
f. 将u输出给执行器。
g. 等待下一个控制周期。

Dy-L1-0024​

机器学习/降维

学习一个低维流形嵌入，保持高维数据间的局部邻域关系。

t-分布随机邻域嵌入 (t-SNE) 用于高维质量数据可视化

1. 计算高维空间相似度：对高维数据点{x_i}，计算条件概率`p_{j

i}，表示x_i选择x_j作为邻居的概率，与以x_i为中心的高斯分布概率密度成正比：p_{j

i} = exp(-

x_i - x_j

^2 / 2σ_i^2) / Σ_{k≠i} exp(-

Dy-L1-0025​

优化/组合

构建初始解， 通过邻域搜索改进， 接受恶化解以避免局部最优。

模拟退火 (SA) 用于PCB钻孔路径优化

1. 初始化：生成一个初始解s（如钻孔点的随机访问顺序），计算其成本E(s)（如总钻孔头移动距离）。设置初始温度T_0，最终温度T_f，降温系数α（0<α<1）。
2. 迭代：在温度T_k下，进行L_k次内循环（马尔可夫链长度）。每次内循环：
a. 产生新解：通过邻域操作（如2-opt交换：随机选择两个点，反转其间的顺序）从当前解s产生新解s‘。
b. 计算成本差：ΔE = E(s') - E(s)。
c. Metropolis准则：若ΔE < 0，则接受s‘为新当前解（s = s'）。若ΔE ≥ 0，则以概率P = exp(-ΔE / T_k)接受s‘。即生成一个[0,1)的随机数r，若r < P，则接受s'，否则保持s。
3. 降温：完成内循环后，降低温度T_{k+1} = α * T_k。
4. 终止：当温度降至T_f以下，或连续若干温度下最优解未改进时终止。
参数选择：初始温度T_0应足够高，使大部分恶化解初始时能被接受，可通过计算初始接受率调整。降温系数α通常0.8-0.99，α越接近1，降温越慢，搜索越充分。马尔可夫链长度L_k通常与问题规模相关（如L_k = 100*n，n为钻孔点数）。T_f设为接近0的小数。

最终解成本：优化后的路径长度。
求解时间：与降温计划和链长相关。
最优性：与理论下界（如Held-Karp下界）的差距。

统计物理：模拟固体退火过程，能量对应成本，温度对应控制参数。
Metropolis准则：以一定概率接受恶化解，使算法能跳出局部最优。
马尔可夫链：在每个温度下，状态转移构成一个时齐马尔可夫链，理论上当降温无限慢时，能以概率1收敛到全局最优解。

1. PCB钻孔/贴片路径优化：最小化钻头/贴片头移动总距离（旅行商问题TSP）。
2. VLSI布局布线。
3. 作业车间调度。
4. 图像处理：图像分割、复原。
5. 神经网络训练：作为优化器。
6. 蛋白质折叠。
7. 投资组合优化。
8. 车辆路径问题 (VRP)。
9. 滤波器设计。
10. 0-1背包问题。

变量：s(当前解)， E(s)(解的成本/能量)。
参数：T_0(初始温度)， T_f(终止温度)， α(降温系数)， L_k(每个温度下的迭代次数/链长)。
邻域操作：定义如何从当前解产生新解。

概率：以概率P=exp(-ΔE/T)接受恶化解。
随机过程：降温过程，马尔可夫链。
优化：在离散解空间中寻找全局最优或近似最优。
组合：解是离散的排列或组合。

退火语言：“温度”、“能量”、“退火计划”。
搜索语言：“当前解”、“邻域解”、“接受准则”。
收敛：“以概率1收敛到全局最优”（理论上的无限慢降温）。

1. 初始化：生成初始解s，计算E(s)。设s_best = s, E_best = E(s)。设定T = T_0。
2. While T > T_f：
For i=1 to L_k (内循环)：
a. 通过邻域操作（如随机选择两个索引i, j，反转i到j之间的城市序列）产生新解s'。
b. 计算ΔE = E(s') - E(s)。
c. 若ΔE < 0，则接受：s = s'。若E(s) < E_best，则更新E_best = E(s)， s_best = s。
d. 若ΔE >= 0， 计算P = exp(-ΔE / T)，生成随机数r ~ U(0,1)。若r < P，则接受s = s'。
e. 否则，拒绝s'（保持s不变）。
结束内循环
降温：T = α * T。
(可选) 可根据接受率调整链长L_k。
3. 输出：历史最优解s_best及其成本E_best。

Dy-L1-0026​

信号处理/滤波

基于状态空间模型和最小均方误差准则的最优状态估计。

卡尔曼滤波器 (KF) 用于AGV融合定位

1. 动态模型：定义状态向量x_k（如AGV的2D位置和速度），状态转移方程：x_k = F * x_{k-1} + B * u_k + w_k，其中F是状态转移矩阵，u_k是控制输入（如轮速指令），w_k ~ N(0, Q)是过程噪声。
2. 观测模型：z_k = H * x_k + v_k，其中H是观测矩阵，v_k ~ N(0, R)是观测噪声（如来自GPS、UWB的测量噪声）。
3. 预测步骤 (先验估计)：
x̂_k^- = F * x̂_{k-1} + B * u_k（状态预测）
P_k^- = F * P_{k-1} * F^T + Q（误差协方差预测）
4. 更新步骤 (后验估计)：
K_k = P_k^- * H^T * (H * P_k^- * H^T + R)^{-1}（卡尔曼增益计算）
x̂_k = x̂_k^- + K_k * (z_k - H * x̂_k^-)（状态更新）
P_k = (I - K_k * H) * P_k^-（误差协方差更新）
5. 循环：将x̂_k和P_k作为下一时刻的输入，重复预测和更新。
参数整定：过程噪声协方差Q和观测噪声协方差R是关键。Q反映模型置信度，R反映传感器精度。通常通过实验或系统辨识确定。初始状态估计x̂_0和初始误差协方差P_0可根据先验知识设定。

估计误差：状态估计值与真实值的偏差，其协方差P_k理论上是最小均方误差意义下的最优。
收敛性：若系统可观测，滤波器误差会收敛。
实时性：计算量小，满足实时要求。

最优估计理论：在线性高斯系统中，卡尔曼滤波器是均方误差意义下的最优递推贝叶斯估计器。
贝叶斯推断：结合先验（预测）和似然（观测）得到后验估计。
正交投影：状态估计是在由观测张成的线性空间上的投影。

1. AGV/机器人多传感器融合定位：融合轮式里程计、IMU、UWB、激光雷达数据。
2. 目标跟踪：雷达、红外对空中/海上目标的跟踪。
3. 导航系统：GPS/INS组合导航。
4. 经济预测。
5. 过程监控：估计不可直接测量的过程状态。
6. 信号处理：去噪、信号提取。
7. 视觉跟踪。
8. 电池管理系统：估算电池SOC（荷电状态）。
9. 通信：信道估计。
10. 天气预报。

变量：x_k(状态向量)， x̂_k(状态估计)， P_k(估计误差协方差矩阵)， z_k(观测向量)。
模型参数：F(状态转移矩阵)， B(控制输入矩阵)， H(观测矩阵)。
噪声参数：Q(过程噪声协方差)， R(观测噪声协方差)。
计算量：K_k(卡尔曼增益矩阵)。

概率与统计：高斯分布， 贝叶斯公式， 均方误差。
线性代数：矩阵乘法、求逆、协方差矩阵运算。
递推/迭代：每一步利用上一步的结果，无需存储全部历史数据。
优化：最小化估计误差的协方差。

估计语言：“预测”、“更新”、“先验”、“后验”。
最优性：“最小均方误差估计”。
协方差：“不确定性”、“误差椭圆”。
增益：“信任模型还是信任观测”。

1. 初始化：设定初始状态估计x̂_0和误差协方差P_0。
2. 对于每个时刻 k=1,2,...：
a. 预测 (时间更新)：
x̂_k^- = F * x̂_{k-1} + B * u_k
P_k^- = F * P_{k-1} * F^T + Q
b. 更新 (测量更新)：
获得观测z_k。
计算新息/残差：ỹ_k = z_k - H * x̂_k^-
计算新息协方差：S_k = H * P_k^- * H^T + R
计算卡尔曼增益：K_k = P_k^- * H^T * inv(S_k)
更新状态估计：x̂_k = x̂_k^- + K_k * ỹ_k
更新误差协方差：P_k = (I - K_k * H) * P_k^-
c. 输出当前最优估计x̂_k和P_k。
d. 等待下一时刻的u_{k+1}和z_{k+1}。

Dy-L1-0027​

机器学习/强化学习

策略梯度方法， 通过重要性采样和裁剪保证稳定更新。

近端策略优化 (PPO) 用于机器人操作技能学习

1. 策略表示：策略`π_θ(a

s)通常用神经网络表示，输入状态s，输出动作a的概率分布（或连续动作的均值和方差）。价值函数V_φ(s)是另一个神经网络，估计状态价值。<br>**2. 数据收集**：使用当前策略π_θ与环境交互，收集轨迹数据(s_t, a_t, r_t, s{t+1})。<br>**3. 优势估计**：使用广义优势估计(GAE)计算每个时间步的优势函数Ât。Ât = Σ{l=0}^{∞} (γλ)^l δ{t+l}，其中δ_t = r_t + γV(s{t+1}) - V(s_t)，γ是折扣因子，λ是GAE参数（0-1）。<br>**4. 目标函数**：PPO-Clip的主要目标函数是：<br>L^{CLIP}(θ) = Êt [ min( r_t(θ) * Ât, clip(r_t(θ), 1-ε, 1+ε) * Â_t ) ]<br>其中r_t(θ) = π_θ(a_t

s_t) / π_θ_old(a_t

s_t)是新旧策略的概率比，ε是裁剪参数（如0.2）。目标是通过裁剪限制概率比的变化范围，防止单次更新过大导致策略崩溃。<br>**5. 价值函数更新**：同时最小化价值函数的损失：L^{VF}(φ) = (V_φ(s_t) - V_t^{targ})^2，其中V_t^{targ} = Â_t + V(s_t)是目标价值。<br>**6. 联合优化**：总损失函数为L = L^{CLIP} - c1 * L^{VF} + c2 * Sπ_θ，其中c1, c2是系数，S`是策略熵，鼓励探索。
参数选择：学习率通常3e-4，折扣因子γ=0.99，GAE参数λ=0.95，裁剪参数ε=0.2，每批数据量较大（如2048个时间步），mini-batch size 64，epoch数 10。

平均回报：一个回合内获得的总奖励，衡量策略性能。
策略更新稳定性：训练过程中回报曲线平滑上升，无剧烈波动。
样本效率：达到特定性能所需的环境交互步数。

策略梯度定理：`∇J(θ) ∝ E[∇logπ_θ(a

s) * Q^π(s,a)]`。
重要性采样：用旧策略收集的数据估计新策略的期望。
信任区域方法：限制每次策略更新的幅度，保证单调改进。PPO是信任区域策略优化(TRPO)的简化高效实现。

1. 机器人灵巧操作：学习抓取、装配、推、拉等技能。
2. 游戏AI：在复杂游戏中达到超越人类水平（如Dota2, StarCraft）。
3. 模拟到真实 (Sim2Real)：在仿真中训练策略，迁移到真实机器人。
4. 自动驾驶决策。
5. 机器人 locomotion：双足/四足行走。
6. 资源管理：数据中心冷却、电网调度。
7. 金融交易。
8. 对话系统（优化长期用户体验）。
9. 工业控制：优化复杂过程参数。
10. 动画生成：生成逼真的人物动作。

Dy-L1-0028​

优化/线性规划

在满足一组线性不等式约束下，最大化或最小化一个线性目标函数。

单纯形法用于生产资源分配与配料优化

1. 标准型：将线性规划问题转化为标准形式：Maximize c^T x， subject to A x = b, x ≥ 0，其中x是决策变量向量，c是价值系数，A是约束矩阵，b是资源向量。
2. 初始基本可行解：引入松弛变量、剩余变量和人工变量，构造初始单位基（基变量）。通常使用两阶段法或大M法处理人工变量。
3. 最优性检验：计算非基变量的检验数σ_j = c_j - c_B^T B^{-1} A_j，其中c_B是基变量的价值系数，B是基矩阵。若所有σ_j ≤ 0，则当前解最优；否则，选择σ_j > 0中最大的一个对应的变量x_j作为进基变量。
4. 确定离基变量：计算比值`θ = min{i} {b_i' / a{ij}'

a{ij}' > 0}，其中b' = B^{-1}b，A' = B^{-1}A。比值最小的行对应的基变量x_r离基。这保证了新的解仍然可行。<br>**5. 基变换 (旋转)**：通过高斯-约当消元法，以a{rj}'为主元，更新整个单纯形表，使进基变量x_j对应的列变为单位向量，且x_j取代x_r成为基变量。更新b'和A'。<br>**6. 迭代**：重复步骤3-5，直到所有检验数非正，得到最优解。<br>**参数与退化**：在退化情况下（某个b_i'=0`）可能出现循环，需使用勃兰特规则等避免。

目标函数值：最优解对应的最大利润或最小成本。
对偶变量 (影子价格)：约束右端项b_i增加一单位时，目标函数值的改善量，反映资源稀缺性。
灵敏度分析：系数c_j和b_i在多大范围内变化时，当前基仍是最优的。

凸优化理论：线性规划可行域是多面体凸集，最优解在极点达到。
对偶理论：每个线性规划问题都有一个对偶问题，二者最优值相等（强对偶性）。
单纯形法的几何解释：沿着多面体的边，从一个极点移动到相邻的更好的极点。

1. 生产计划：在资源（机器、人力、原材料）约束下，确定各产品产量以最大化利润。
2. 配料问题：以最低成本混合原材料，满足营养成分要求。
3. 运输问题：从多个供应点到多个需求点运输货物，最小化总运费。
4. 网络流：最大流、最小费用流。
5. 人力资源排班。
6. 投资组合选择 (简化版)。
7. 饮食问题。
8. 裁剪问题。
9. 任务分配。
10. 数据包络分析 (DEA)。

变量：x(决策变量向量，包括原变量和松弛变量)。
参数：c(目标函数系数向量)， A(技术系数矩阵)， b(资源约束右端向量)。
中间量：基矩阵B， 基变量下标集， 检验数σ， 当前解x_B = B^{-1}b。

线性代数：矩阵求逆（或分解）， 高斯消元。
几何：多面体， 凸集， 极点。
优化：线性目标， 线性约束。
对偶：原问题与对偶问题。

单纯形表：“基变量”、“非基变量”、“检验数”、“主元”。
最优性条件：“所有检验数非正”。
对偶：“影子价格”、“灵敏度分析”。

Dy-L1-0029​

机器学习/生成模型

通过对抗训练，生成器G学习生成逼真数据，判别器D学习区分真实与生成数据。

生成对抗网络 (GAN) 用于生成合成训练数据

1. 博弈框架：两个神经网络——生成器G(z; θ_g)和判别器D(x; θ_d)——进行极小极大博弈。G输入随机噪声z，输出合成数据G(z)。D输入数据x（真实或生成），输出x为真实数据的概率D(x)。
2. 目标函数：min_G max_D V(D, G) = E_{x~p_data}[log D(x)] + E_{z~p_z}[log(1 - D(G(z)))]。
• 判别器D试图最大化V，即正确分类真实和生成数据。
• 生成器G试图最小化V，即欺骗D，使其认为G(z)是真实的。
3. 训练过程：交替优化D和G。
• 训练D：固定G，对D执行k步梯度上升（通常k=1）。∇_{θ_d} (1/m) Σ_{i=1}^m [log D(x^{(i)}) + log(1 - D(G(z^{(i)})))]。
• 训练G：固定D，对G执行梯度下降。原始公式的梯度在早期可能很小，常用改进目标：∇_{θ_g} (1/m) Σ_{i=1}^m -log D(G(z^{(i)}))（即最大化D将生成数据判为真的概率）。
4. 网络结构：G和D通常使用深度卷积神经网络(DCNN)。G使用转置卷积进行上采样，D使用普通卷积。
5. 训练技巧：使用标签平滑、添加噪声、不同的优化器（如Adam）、梯度惩罚（WGAN-GP）以提高稳定性。
参数：学习率（通常很小，如0.0002），优化器动量参数β1（如0.5），批大小，噪声z的维度，训练迭代次数。

生成数据质量：通过人工评估或指标如FID（Fréchet Inception Distance）衡量，FID越低表示生成分布与真实分布越接近。
训练稳定性：损失函数振荡程度，是否发生模式崩溃（生成多样性低）。
判别器精度：理想情况下应收敛到0.5（无法区分）。

博弈论：纳什均衡，生成器和判别器在对抗中达到平衡。
概率生成模型：隐式地学习数据分布p_data，并通过G从学得的分布中采样。
Jensen-Shannon散度：原始GAN的目标在最优判别器下等价于最小化真实分布与生成分布之间的JS散度。

1. 图像数据增强：生成稀有缺陷样本，扩充视觉检测数据集。
2. 图像到图像翻译：将设计草图转为逼真产品图，白天转黑夜等。
3. 超分辨率：生成高分辨率图像。
4. 艺术创作：生成画作、音乐、文本。
5. 药物发现：生成具有特定性质的分子结构。
6. 视频生成。
7. 人脸合成。
8. ​ anomaly detection：正常数据训练GAN，重建误差高的为异常。
9. 隐私保护：生成差分隐私数据。
10. 三维形状生成。

变量：z(随机噪声向量，通常~N(0,I))， x(真实数据)， G(z)(生成数据)。
网络参数：θ_g(生成器参数)， θ_d(判别器参数)。
函数：D(x)(判别器输出，标量)， G(z)(生成器输出，与x同维)。
超参数：学习率， 批大小， 噪声维度， 训练轮数， 优化器参数。

概率：数据分布， 期望， JS散度。
博弈：极小极大优化。
梯度：交替梯度上升/下降。
卷积：使用卷积神经网络作为生成和判别模型。

对抗语言：“生成器”、“判别器”、“对抗训练”、“欺骗”。
博弈语言：“极小极大游戏”、“纳什均衡”。
训练问题：“模式崩溃”、“训练不稳定”。

1. 初始化：随机初始化生成器G和判别器D的参数。
2. For 训练迭代次数 = 1 to N：
a. 训练判别器 k 步：
For steps=1 to k:
• 采样小批量真实数据{x^(1), ..., x^(m)} ~ p_data。
• 采样小批量噪声{z^(1), ..., z^(m)} ~ p_z。
• 生成数据{G(z^(1)), ..., G(z^(m))}。
• 更新判别器参数θ_d以最大化V：θ_d = θ_d + α * ∇_{θ_d} (1/m) Σ_i [log D(x^(i)) + log(1 - D(G(z^(i)))]。
b. 训练生成器 1 步：
• 采样小批量噪声{z^(1), ..., z^(m)} ~ p_z。
• 更新生成器参数θ_g以最小化V（或最大化D(G(z))）：θ_g = θ_g - α * ∇_{θ_g} (1/m) Σ_i [-log D(G(z^(i)))]。
3. 输出：训练好的生成器G，可用于生成新数据。

Dy-L1-0030​

数字孪生/仿真

建立物理对象的高保真虚拟模型，通过实时数据驱动实现同步与交互。

数字孪生模型用于预测性维护与工艺优化

1. 多领域建模：集成几何模型（CAD）、物理模型（CAE，如FEM、CFD）、行为模型（控制逻辑、业务规则）和数据驱动模型（机器学习），构建虚拟映射体。
2. 数据连接与同步：通过IoT网关实时采集物理实体的运行数据（传感器、控制系统），并同步到虚拟模型，驱动其状态更新。反之，可将虚拟空间的仿真结果（如优化参数）下发到物理实体。
3. 仿真与预测：在数字孪生体上运行“假设分析”仿真。例如，输入未来生产计划，仿真生产线性能；或基于当前状态和物理模型，预测关键部件（如轴承）的剩余寿命。
4. 优化与决策支持：利用仿真结果，结合优化算法，寻找最优的维护策略、工艺参数或调度方案。将推荐方案反馈给操作人员或直接下发给控制系统。
5. 可视化与交互：通过3D可视化界面展示设备状态、仿真结果和预警信息，支持人机交互（如点击查看详情、手动调整参数）。
关键技术：模型降阶（提高仿真速度）、数据融合、不确定性量化、协同仿真。
参数与保真度：模型复杂度（精度与计算成本的权衡），数据更新频率，仿真步长。

模型保真度：虚拟模型预测结果与物理实体实际行为的吻合程度，用误差指标衡量。
预测准确性：如RUL预测的RMSE。
仿真实时比：仿真时间与实际时间的比例，对于实时应用需≤1。
决策支持有效性：采纳建议后带来的效率提升或成本下降。

信息物理系统 (CPS)：深度融合计算、通信与控制，实现物理进程与信息世界的交互。
建模与仿真理论：基于第一性原理或数据的系统建模方法。
数据分析：实时数据处理、数据融合、机器学习。
控制理论：闭环优化控制。

1. 高端装备预测性维护：航空发动机、风力发电机、数控机床的数字孪生。
2. 智能制造单元/产线优化：虚拟调试、节拍仿真、瓶颈分析。
3. 城市管理：智慧城市数字孪生（交通、能源）。
4. 建筑信息模型 (BIM)：建筑设计、施工、运维全生命周期管理。
5. 医疗健康：患者特异性器官模型，用于手术规划。
6. 自动驾驶仿真：在虚拟世界中训练和测试自动驾驶算法。
7. 电网运行与规划。
8. 化工过程安全评估与优化。
9. 产品设计：虚拟样机，减少物理原型。
10. 供应链物流仿真。

实体：物理对象， 虚拟孪生体。
模型：几何模型M_geo， 物理模型M_phy(方程/仿真代码)， 数据模型M_data(ML模型)。
数据：实时数据流S(t)， 历史数据库H， 仿真输入I_sim， 输出O_sim。
连接：数据接口， 通信协议。

多物理场：可能涉及力学、热学、流体、电磁等耦合。
微分方程：物理模型常由偏微分方程描述。
实时系统：数据同步与仿真的时序要求。
优化：基于仿真的优化。
可视化：三维图形学。

孪生语言：“虚实映射”、“双向交互”、“同步”。
仿真语言：“假设分析”、“what-if场景”。
预测性：“基于当前状态预测未来”。
闭环：“感知-分析-决策-执行”闭环。

1. 初始化：构建/集成数字孪生模型M， 建立与物理实体P的数据连接。
2. 同步循环：
a. 数据采集：从P实时采集传感器数据S(t)。
b. 状态更新：将S(t)注入数字孪生体M，更新其状态X_v(t)，使其与P的状态X_p(t)一致。
c. 健康评估：基于X_v(t)和模型M_phy，计算关键性能指标(KPIs)和健康状态。
d. 预测：若检测到异常或按计划，启动预测仿真：for τ in [t, t+T]: X_v(τ) = simulate(M, X_v(t), U_future)， 得到预测轨迹，评估RUL等。
e. 优化与决策：若预测到问题或需优化，运行优化算法argmin_U J(M, X_v(t), U)， 得到推荐动作A*。
f. 执行/预警：将A*发送给操作员确认或直接下发给P的控制系统执行。或发布预警信息。
g. 等待下一个同步周期。

Dy-L1-0031​

机器学习/序列建模

Attention(Q, K, V) = softmax(QK^T/√d_k)V

Transformer 用于多元时序预测与异常检测

1. 输入嵌入：对多变量时序数据X∈R^{T×N}（T时间步，N变量）进行线性投影并添加位置编码PE(pos,2i)=sin(pos/10000^{2i/d})，PE(pos,2i+1)=cos(pos/10000^{2i+1/d})，得到输入矩阵H^(0)。
2. 多头自注意力：第l层中，对H^(l-1)分别进行h次不同的线性投影得到Q_i, K_i, V_i。计算第i个头：head_i = Attention(Q_i, K_i, V_i)。拼接所有头并投影：MultiHead = Concat(head_1,...,head_h)W^O。
3. 前馈网络：FFN(x) = max(0, xW_1 + b_1)W_2 + b_2。
4. 残差连接与层归一化：Z = LayerNorm(x + Sublayer(x))。
5. 解码与预测：对于预测任务，可使用编码器-解码器结构，解码器以未来时间位置编码和编码器输出为输入，自回归地生成未来序列Ŷ。对于异常检测，用编码器重构输入X̂，计算重构误差`e_t =

X_t - X̂_t

`，超过阈值的点判为异常。
参数优化：头数h通常8-12，模型维度d_model通常512-1024，前馈网络隐藏维度d_ff通常2048-4096，层数N通常6-12。使用学习率预热和衰减策略，优化器用Adam。

预测误差：RMSE, MAE。
异常检测F1-Score：精确率与召回率的调和平均。
重构误差分布：用于设定自适应阈值。

自注意力机制：捕获序列中任意两位置间的依赖关系，克服RNN的顺序计算瓶颈和长程依赖问题。
位置编码：为模型注入序列的顺序信息。
并行计算：自注意力计算可高度并行，加速训练。

1. 多元传感器时序预测：预测未来设备状态、能耗、产量。
2. 系统级异常检测：检测多传感器读数间的关联异常。
3. 机器翻译：序列到序列学习的经典应用。
4. 文本摘要与生成。
5. 语音识别。
6. 时间序列分类。
7. 股票价格预测。
8. 视频理解：时空序列建模。
9. 分子性质预测：将分子结构视为序列。
10. 推荐系统：用户行为序列建模。

Dy-L1-0032​

机器学习/模仿学习

学习专家策略`π(a

s)，最小化E_{(s,a)~D}[D(π(a

s), π_E(a

s))]`。

行为克隆 (BC) 与 生成对抗模仿学习 (GAIL)

1. 行为克隆 (BC)：
• 数据收集：记录专家演示数据集D_E = {(s_i, a_i)}。
• 监督学习：将状态s作为输入，动作a作为标签，训练一个策略网络`π_θ(a

s)，最小化负对数似然：L(θ) = -Σ_{(s,a)∈D_E} log π_θ(a

s)。<br>• **缺点**：复合误差，分布漂移，无法处理状态分布外的情况。<br>**2. 生成对抗模仿学习 (GAIL)**：<br>• **框架**：引入判别器D_φ(s,a)，目标是区分状态-动作对来自专家策略π_E还是学徒策略π_θ。策略π_θ作为生成器，试图生成能欺骗判别器的状态-动作对。<br>• **目标函数**：min_π max_D E_π[log D(s,a)] + E_{π_E}[log(1-D(s,a))] - λH(π)，其中H(π)是策略熵。<br>• **训练**：交替优化判别器（二分类交叉熵）和策略（使用TRPO或PPO等策略梯度方法，奖励函数为r(s,a) = -log(1-D(s,a))或log D(s,a)`）。
参数选择：BC中网络结构和优化器同监督学习。GAIL中，熵系数λ，判别器和策略的学习率，策略优化算法参数（如PPO的裁剪参数）。

专家行为匹配度：学徒策略在测试任务上达到专家性能的百分比。
泛化能力：在面对未见状态时，策略的成功率。
样本效率：GAIL通常比BC需要更多的环境交互，但泛化更好。

模仿学习理论：从演示中学习，避免手动设计奖励函数。
对抗学习：GAIL结合了生成对抗网络的思想，使策略生成的数据分布匹配专家数据分布。
逆强化学习：GAIL隐式地恢复了专家的奖励函数。

Dy-L1-0033​

优化/分布式

分解-协调框架：min Σ_i f_i(x_i) s.t. A_i x_i = b, x_i ∈ X_i。

交替方向乘子法 (ADMM) 用于多区域电网/产线协同调度

1. 问题形式：考虑可分解的凸优化问题：min f(x) + g(z) s.t. Ax + Bz = c。将其重写为增广拉格朗日形式：`L_ρ(x,z,y) = f(x)+g(z) + y^T(Ax+Bz-c) + (ρ/2)

Ax+Bz-c

_2^2。<br>**2. ADMM迭代**：对k=0,1,2,...：<br>• **x-更新**：x^{k+1} = argmin_x L_ρ(x, z^k, y^k)。<br>• **z-更新**：z^{k+1} = argmin_z L_ρ(x^{k+1}, z, y^k)。<br>• **对偶变量更新**：y^{k+1} = y^k + ρ(Ax^{k+1} + Bz^{k+1} - c)。<br>**3. 多区域应用**：将全局调度问题按区域分解。每个区域i有本地变量x_i和本地目标f_i(x_i)，以及与其他区域耦合的约束Σ_i A_i x_i = b。通过引入全局变量z和一致性约束x_i = z_i，转化为ADMM可解形式。<br>**4. 停止准则**：原始残差r^k = Ax^k + Bz^k - c和对偶残差s^k = ρA^T B(z^k - z^{k-1})的范数小于阈值。<br>**参数选择**：惩罚参数ρ影响收敛速度，可采用自适应调整策略（如根据原始和对偶残差比例调整）。ρ`初始值通常1.0。

原始残差：约束违反程度。
对偶残差：对偶变量变化程度。
目标函数值：迭代过程中全局目标的下界/上界。
收敛迭代次数。

对偶分解：将原问题分解为可并行求解的子问题。
增广拉格朗日法：加入二次惩罚项使目标函数在约束集上更陡峭，改善收敛性。
算子分裂：ADMM是Douglas-Rachford分裂算法的一种形式。

1. 多区域电力经济调度：各发电区域独立优化，通过联络线功率交换协调。
2. 分布式模型预测控制 (DMPC)：多个子系统协同控制。
3. 资源分配：网络资源分配问题。
4. 分布式机器学习：模型平均，联邦学习。
5. 图像处理：去噪、修复。
6. 统计学习：LASSO, SVM的分布式求解。
7. 供应链协同：多级库存协同优化。
8. 传感器网络定位。
9. 机器人编队协同。
10. 芯片设计：布局布线。

Dy-L1-0034​

优化/拓扑

在给定设计域内，优化材料分布以最大化刚度/最小化柔度。

密度法的拓扑优化 (SIMP) 用于轻量化结构设计

1. 设计变量：将设计域离散为有限单元，每个单元有一个相对密度x_e ∈ [0,1]。x_e=1表示有材料，0表示无材料。
2. 材料插值：使用固体各向同性材料惩罚模型(SIMP)：E_e(x_e) = E_min + x_e^p (E_0 - E_min)，其中E_0是实体材料弹性模量，E_min是极小值（防止奇异），p是惩罚因子（通常p=3）。惩罚中间密度，迫使其趋向0或1。
3. 有限元分析：组装整体刚度矩阵K(x) = Σ_e x_e^p K_e^0，求解平衡方程K(x)U = F，得到位移场U。
4. 优化问题：最小化柔度（应变能）c(x) = F^T U，约束为体积分数V(x)/V_0 ≤ f。数学模型：
min_x c(x) = U^T K(x)U
s.t. K(x)U = F
V(x) = Σ_e x_e v_e ≤ f V_0
0 ≤ x_e ≤ 1
5. 灵敏度分析与更新：计算目标函数对密度变量的灵敏度∂c/∂x_e = -p x_e^{p-1} u_e^T K_e^0 u_e。使用优化准则法(OC)或移动渐近线法(MMA)更新设计变量。
参数：惩罚因子p（通常3），过滤半径r_min（用于避免棋盘格现象和网格依赖性），体积分数f（如0.3）。

最终柔度/刚度：优化结构的力学性能。
体积分数：最终材料用量与设计域体积之比。
收敛性：设计变量变化和目标函数变化是否平稳。

连续体拓扑优化：在连续的设计域内寻找最优的材料布局。
变密度法：将离散的0-1问题松弛为连续变量问题，通过惩罚引导二值化。
有限元法：用于结构响应分析。
灵敏度分析：基于伴随变量法高效计算梯度。

1. 机械零件轻量化设计：飞机机翼、汽车底盘、机器人臂的拓扑优化。
2. 复合材料铺层优化。
3. 热传导结构优化：最大化散热效率。
4. 柔顺机构设计：最大化输出位移/力。
5. 声学结构优化。
6. ​ MEMS设计。
7. 建筑结构优化。
8. 植入体设计（如骨植入物）。
9. 材料微结构设计。
10. 3D打印支撑结构优化。

变量：x_e(单元密度， 连续)， U(全局位移向量)。
参数：惩罚因子p， 过滤半径r_min， 体积分数上限f， 材料弹性模量E_0, E_min。
矩阵：单元刚度矩阵K_e^0， 整体刚度矩阵K(x)。

优化：带有约束的非线性规划。
有限元分析：偏微分方程数值求解。
灵敏度：梯度计算，伴随法。
滤波：卷积运算用于过滤灵敏度/密度。

密度场：“单元密度”、“材料分布”、“黑白设计”。
惩罚：“惩罚中间密度”、“SIMP插值”。
制造约束：“过滤避免棋盘格”、“最小成员尺寸”。

1. 初始化：离散设计域，初始化所有x_e = f（均匀分布）。设定过滤半径r_min。
2. 迭代 loop：
a. 有限元分析：基于当前密度x，计算E_e(x_e)，组装K(x)，求解K(x)U = F。
b. 灵敏度分析：计算柔度目标c及其对x_e的灵敏度∂c/∂x_e。
c. 灵敏度过滤：∂ĉ/∂x_e = (Σ_{j∈N_e} w_{ej})^{-1} Σ_{j∈N_e} w_{ej} (∂c/∂x_j)，其中w_{ej}=max(0, r_min - dist(e,j))。
d. 设计变量更新 (OC法)：x_e^{new} = max(0, x_e - m) if x_e B_e^η ≤ max(0, x_e - m); x_e^{new} = min(1, x_e + m) if x_e B_e^η ≥ min(1, x_e + m); else x_e^{new} = x_e B_e^η。其中B_e = -(∂ĉ/∂x_e) / (λ v_e)，λ是拉格朗日乘子，通过二分法满足体积约束。
e. 收敛检查：若最大密度变化`max

Dy-L1-0035​

知识表示与推理

用三元组(头实体, 关系, 尾实体)表示知识，学习实体和关系的向量嵌入。

知识图谱嵌入 (TransE) 用于工艺知识库构建与检索

1. 知识表示：将领域知识（如“工件A 需要 工序铣削”、“铣削 使用 机床M”）表示为三元组(h, r, t)，其中h,t ∈ E（实体集），r ∈ R（关系集）。
2. 翻译假设：TransE模型假设，在向量空间中，关系r对应一个翻译向量，使得h + r ≈ t。即，t应该是h经过关系r翻译后的最近邻。
3. 评分函数：定义三元组(h,r,t)的评分为`f(h,r,t) = -

h + r - t

1/2（L1或L2范数）。分数越高，表示三元组成立的可能性越大。<br>**4. 训练目标**：使用最大间隔损失，鼓励正例分数高于负例一个边际γ。对于每个正例(h,r,t)，构造一个负例(h',r,t')（随机替换头或尾实体）。损失函数：L = Σ{(h,r,t)∈S} Σ_{(h',r,t')∈S'} max(0, γ + f(h',r,t') - f(h,r,t))。<br>**5. 学习嵌入**：通过随机梯度下降最小化损失，学习所有实体和关系的向量表示h, r, t ∈ R^d。<br>**参数**：嵌入维度d（通常50-200），边际γ`（通常1.0），学习率，批大小。使用L1或L2范数。

链接预测指标：Mean Rank（平均排名，越低越好）， Hits@10（排名前10的比例，越高越好）。
三元组分类准确率：判断给定三元组是否正确的准确率。

表示学习：将符号化知识映射到连续向量空间，捕获语义和结构信息。
翻译模型：在向量空间中用“翻译”来建模关系。
最大间隔学习：通过对比正负样本来学习判别性表示。

1. 工艺知识库问答：回答“加工零件P需要哪些工序？”、“机床M能加工哪些材料？”
2. 故障诊断辅助：关联“现象-原因-解决措施”知识图谱。
3. 推荐系统：基于产品、物料、工艺的关系进行推荐。
4. 语义搜索：增强搜索引擎对技术术语的理解。
5. 药物发现：预测药物与靶点的相互作用。
6. 社交网络分析。
7. 自然语言理解：作为常识知识库。
8. 智能审计：发现财务数据中的异常关联。
9. 供应链风险管理：识别实体间的风险传导路径。
10. 个性化学习路径推荐。

Dy-L1-0036​

强化学习/连续控制

策略`π_φ(a

s)和价值函数V_ψ(s)，目标为max E[Σ γ^t (r_t + α H(π(·

s_t)))]`。

柔性演员-评论家 (SAC) 用于机器人连续控制任务

1. 最大熵RL框架：标准RL目标为最大化期望累积奖励Σ γ^t r_t。SAC引入熵项，目标变为`J(π) = Σ_t E_{(s_t,a_t)~ρ_π}[r(s_t,a_t) + α H(π(·

s_t))]，其中H是策略的熵，α是温度参数，平衡奖励与探索。<br>**2. 软策略迭代**：<br>• **软策略评估**：给定策略π，软Q函数定义为Q(s_t,a_t) = r_t + γ E{s{t+1}}[V(s{t+1})]，其中软状态价值函数V(s_t) = E{a_t~π}[Q(s_t,a_t) - α log π(a_t

s_t)]。<br>• **软策略改进**：通过最小化KL散度更新策略：π_new = argmin_π D_KL(π(·

s_t)

exp((1/α)Q_old(s_t,·)) / Z_old(s_t))。<br>**3. 参数化与优化**：用神经网络近似Q_θ(s,a)（两个Q网络防过估计）、V_ψ(s)和策略π_φ(a

Dy-L1-0037​

机器学习/隐私保护

在多个客户端上训练模型，不共享原始数据，仅交换模型更新。

联邦学习 (FedAvg) 用于跨工厂质量预测模型训练

1. 问题设置：有K个客户端（如不同工厂），每个客户端k有本地数据集D_k。目标是在不泄露D_k的情况下，协同训练一个全局模型w。
2. 联邦平均算法：
• 服务器初始化全局模型参数w^0。
• 对于每一轮通信t=0,1,...：
a. 客户端选择：服务器随机选择一部分客户端S_t。
b. 客户端更新：每个被选中的客户端k ∈ S_t，下载当前的全局模型w^t，在本地数据集D_k上执行E个epoch的随机梯度下降，得到本地更新w_k^{t+1}。
c. 模型上传：客户端将更新后的模型w_k^{t+1}（或更新量Δw_k = w_k^{t+1} - w^t）上传到服务器。
d. 服务器聚合：服务器聚合收到的模型更新，计算新的全局模型：w^{t+1} = Σ_{k∈S_t} (n_k / n) w_k^{t+1}，其中n_k是客户端k的数据量，n是所选客户端总数据量。
3. 挑战与改进：
• 统计异构性：各客户端数据非独立同分布。可用FedProx等算法，在本地目标中加入正则项`(μ/2)

w - w^t

^2。<br>• **通信效率**：减少通信轮数，或压缩模型更新。<br>• **隐私增强**：结合差分隐私(DP)或安全多方计算(SMPC)。<br>**参数**：客户端比例C（每轮选择的客户端比例），本地epoch数E，本地学习率η_l，正则化系数μ`（如果使用FedProx）。

全局模型精度：在中央测试集上的准确率/RMSE等。
通信轮数：达到目标精度所需的服务器-客户端通信轮数。
隐私预算​ (ε, δ)：如果使用差分隐私，衡量隐私泄露风险。

分布式优化：联邦学习是分布式机器学习的一种，特别关注数据隐私和通信效率。
模型平均：FedAvg本质是局部SGD加周期性模型平均。
隐私计算：差分隐私、同态加密等技术与联邦学习结合，提供理论隐私保障。

1. 跨厂质量预测：多家工厂合作训练质量缺陷预测模型，保护各自生产数据。
2. 医疗影像分析：多家医院联合训练疾病诊断模型。
3. 移动键盘预测：在用户设备上本地学习输入模式。
4. 物联网设备协同：智能家居设备联合学习用户习惯。
5. 金融风控：多家银行联合训练反欺诈模型。
6. 推荐系统：保护用户隐私的跨平台推荐。
7. 自动驾驶：多家车企共享驾驶经验，不共享数据。
8. 语音识别。
9. 自然语言处理。
10. 智能制造生态：供应商、制造商、客户协同优化。

Dy-L1-0038​

可解释AI

基于Shapley值，计算每个特征对模型预测的边际贡献。

SHAP (SHapley Additive exPlanations) 用于预测模型归因分析

1. 理论基础：Shapley值来自合作博弈论，公平分配总收益给每个参与者。在机器学习中，将预测值视为总收益，特征视为参与者。
2. 定义：对于特征j的SHAP值φ_j，定义为该特征在所有可能特征子集下的边际贡献的加权平均：
`φ_j(f, x) = Σ_{S⊆N{j}} (

S

!(M-

S

-1)! / M!) [f(S∪{j}) - f(S)]<br>其中N是全部特征集合（大小M），S是子集，f(S)是使用子集S中特征时的模型预测期望值：f(S) = E[f(x)

x_S]。<br>**3. 估计方法**：<br>• **Kernel SHAP**：通过线性LIME模型近似Shapley值，使用特殊核函数和加权最小二乘求解。<br>• **Tree SHAP**：针对树模型（如GBDT，RF）的高效精确算法，利用树结构递归计算。<br>**4. 可视化**：f(x) = φ_0 + Σ_{j=1}^M φ_j，其中φ_0 = E[f(x)]是基线期望。可用力图显示每个特征φ_j如何将预测从基线推向最终值。<br>**参数**：对于Kernel SHAP，需要背景数据集来估计条件期望f(S)`。背景数据集大小影响估计质量和计算成本。Tree SHAP无需背景数据。

特征重要性排序：基于`

φ_j

Dy-L1-0039​

计算机视觉/3D重建

用神经网络隐式表示3D场景：(σ, c) = F_Θ(x, d)，其中σ是体密度，c是颜色。

神经辐射场 (NeRF) 用于产品三维重建与检测

1. 场景表示：NeRF用一个多层感知机(MLP)F_Θ表示连续3D场景。输入是3D位置x=(x,y,z)和观察方向d=(θ,φ)，输出是该位置的体密度σ和依赖于视角的颜色c=(r,g,b)。
2. 体积渲染：为了从特定视角生成2D图像，对相机射线r(t)=o+td进行采样。沿射线积分计算像素颜色C(r)：
C(r) = ∫_{t_n}^{t_f} T(t) σ(r(t)) c(r(t), d) dt，其中T(t)=exp(-∫_{t_n}^{t} σ(r(s)) ds)是累积透射率。
3. 离散化与优化：在训练时，使用分层采样策略，在射线t上取N个点。离散近似为：
Ĉ(r) = Σ_{i=1}^N T_i (1 - exp(-σ_i δ_i)) c_i，其中T_i = exp(-Σ_{j=1}^{i-1} σ_j δ_j)，δ_i是相邻样本间的距离。
损失函数为渲染颜色与真实像素颜色的MSE：`L = Σ_r

Ĉ(r) - C_gt(r)

^2。<br>**4. 位置编码**：将输入x和d映射到高维空间：γ(p) = (sin(2^0 π p), cos(2^0 π p), ..., sin(2^{L-1} π p), cos(2^{L-1} π p))，使MLP能学习高频细节。<br>**参数**：位置编码频率L（x用10，d`用4），MLP层数和大小，每条射线采样点数N（如64粗采样+128精细采样），学习率。

渲染质量：PSNR, SSIM, LPIPS等图像质量指标。
重建几何精度：与地面真值3D模型（如点云）的Chamfer距离。
训练时间：通常需要数小时到数天。

体积渲染：计算机图形学中从体数据合成2D图像的技术。
神经隐式表示：用神经网络参数化连续函数，表示3D形状或场景。
可微分渲染：渲染过程可微，允许从2D图像优化3D表示。

1. 产品三维高保真重建：从多角度产品照片生成可用于检测、AR/VR的3D模型。
2. 新视角合成：给定物体的一组照片，生成任意新角度的视图。
3. 场景理解：3D语义分割、物体检测。
4. 视图插值：生成平滑的视角过渡视频。
5. 外观编辑：改变物体材质、光照。
6. ​ SLAM：用于稠密建图。
7. 自动驾驶仿真：生成逼真场景。
8. 文化遗产数字化。
9. 医学影像：3D重建。
10. 虚拟试穿。

Dy-L1-0040​

微分方程/神经常微分方程

用神经网络参数化动力系统：dz(t)/dt = f_θ(z(t), t)。

神经常微分方程 (Neural ODE) 用于连续时间动力学建模

1. 核心思想：将残差网络等离散深度网络视为动力系统的欧拉离散化。Neural ODE用常微分方程（ODE）定义隐藏状态的连续演化：dh(t)/dt = f_θ(h(t), t)，其中f_θ是一个神经网络。
2. 前向传播：给定初始状态h(t_0)，通过解ODE得到最终状态h(t_1)：h(t_1) = h(t_0) + ∫_{t_0}^{t_1} f_θ(h(t), t) dt。这需要调用数值ODE求解器（如Runge-Kutta, 自适应步长）。
3. 反向传播：不通过求解器反向传播，而是使用伴随灵敏度法。定义伴随状态a(t) = ∂L/∂h(t)。它满足另一个ODE：da(t)/dt = -a(t)^T ∂f_θ(h(t), t)/∂h。通过一次前向求解和一次反向ODE求解，即可计算梯度∂L/∂θ，内存消耗为O(1)。
4. 应用模式：
• 连续深度网络：替代残差块，可自适应选择“深度”。
• 时间序列建模：对不规则采样的时序数据建模，状态在观测间隔内连续演化。
• 归一化流：构建可逆的生成模型（FFJORD）。
参数：神经网络f_θ的结构，ODE求解器的容差（rtol, atol），影响精度和速度。

ODE求解误差：数值积分引入的误差。
模型拟合误差：在训练数据上的损失。
计算时间：与ODE的复杂度和求解器容差相关。

常微分方程理论：ODE解的存在唯一性，数值解法。
伴随灵敏度法：计算梯度的高效方法，源于最优控制理论。
连续深度：将网络层数推广到连续时间。

1. 不规则采样时间序列预测：医疗监测、金融交易等数据建模。
2. 连续归一化流：用于密度估计和生成建模。
3. 动力系统学习：从数据中学习物理系统的微分方程。
4. 轨迹预测：连续时间的运动轨迹预测。
5. 视频插帧：生成连续帧。
6. 蛋白质折叠动力学。
7. 控制理论：系统辨识。
8. 图形学：连续动画。
9. 气候建模。
10. 神经科学：模拟神经元动态。

变量：h(t)(隐藏状态， 时间t的连续函数)， t(连续时间)。
函数：神经网络f_θ(定义动力场)， 损失函数L。
参数：网络参数θ， ODE求解器容差。
伴随状态：a(t)。

微分方程：常微分方程， 初始值问题。
数值分析：ODE数值求解（如Runge-Kutta）。
伴随法：通过求解另一个ODE来计算梯度。
连续：时间/深度连续。

连续深度：“深度是连续变量”、“自适应计算”。
ODE求解：“数值积分”、“伴随灵敏度”。
动力系统：“用神经网络学习动力场”。

1. 前向传播：输入h_0，调用ODE求解器odeint：h_1 = odeint(f_θ, h_0, (t_0, t_1), rtol, atol)。
2. 计算损失：L = loss_fn(h_1, y_true)。
3. 反向传播 (伴随法)：
a. 定义伴随状态a(t) = ∂L/∂h(t)。
b. 它满足ODE：da(t)/dt = -a(t)^T ∂f_θ/∂h。
c. 计算梯度∂L/∂θ的积分：∂L/∂θ = -∫_{t_1}^{t_0} a(t)^T ∂f_θ/∂θ dt。
d. 实际中，通过一次反向ODE求解同时得到a(t)和∂L/∂θ。构造一个扩增的状态[h(t), a(t), ∂L/∂θ]，求解一个扩增的ODE。
e. 使用自动微分库（如TorchDiffEq）实现，用户只需定义f_θ和损失。

Dy-L1-0041​

机器学习/自监督学习

从无标签数据自身构造监督信号进行预训练。

对比学习 (SimCLR) 用于视觉表征学习

1. 数据增强：对同一张输入图像x，随机应用两种数据增强变换（如裁剪、颜色失真、高斯模糊），得到两个相关的视图x_i和x_j，构成一个正样本对。同一批次中其他图像生成的视图视为负样本。
2. 编码器：使用一个基础编码器网络f(·)（如ResNet）将增强后的视图映射到表示向量：h_i = f(x_i)，h_j = f(x_j)。
3. 投影头：使用一个小型MLP投影头g(·)将表示映射到对比损失空间：z_i = g(h_i)，z_j = g(h_j)。训练完成后，丢弃g，只用f进行下游任务。
4. 对比损失 (NT-Xent)：对于一个批次中的N张原始图像，产生2N个增强样本。对于正样本对(i,j)，其损失为：
l_{i,j} = -log [ exp(sim(z_i, z_j)/τ) / Σ_{k=1}^{2N} 1_{[k≠i]} exp(sim(z_i, z_k)/τ) ]
其中`sim(u,v)=u^T v /

u

v

Dy-L1-0042​

机器学习/多任务学习

共享表示，任务特定输出：y_i = h_i(g(x))。

多任务学习 (MTL) 用于联合预测多个质量指标

1. 网络结构：设计一个共享的底层特征提取网络g(x; θ_s)，其输出为共享表示。然后，为每个任务t（如预测尺寸误差、表面粗糙度、硬度）设计一个任务特定的输出头h_t(z; θ_t)。
2. 联合训练：总损失函数是各任务损失的加权和：L_total = Σ_{t=1}^T w_t L_t(θ_s, θ_t)，其中L_t是任务t的损失（如MSE），w_t是权重。
3. 损失平衡策略：
• 手动调整：根据任务重要性或损失量级手动设置w_t。
• 不确定性加权：将权重w_t参数化为1/σ_t^2，其中σ_t是可学习的任务相关不确定性。总损失为Σ_t (1/(2σ_t^2) L_t + log σ_t)。
• GradNorm：动态调整权重，使各任务梯度的范数大致相等。
4. 优化：通过反向传播同时更新共享参数θ_s和各任务参数θ_t。
参数：任务权重w_t，共享层和任务特定层的架构，学习率。

各任务单独性能：每个任务在测试集上的指标（如RMSE, R²）。
平均性能：各任务性能的平均或加权平均。
负迁移：与单任务模型相比，多任务模型在某个任务上性能下降。

表示学习：共享表示迫使模型学习对多个任务都有用的通用特征，可以起到正则化作用，提高泛化能力。
归纳迁移：一个任务的数据和模型信息有助于其他相关任务的学习。
课程学习：任务间的学习顺序和难度可能影响结果。

1. 多质量指标联合预测：根据工艺参数同时预测多个关键质量特性。
2. 自动驾驶感知：联合进行物体检测、车道线检测、语义分割。
3. 自然语言处理：联合进行词性标注、命名实体识别、句法分析。
4. 计算机视觉：联合进行目标检测、属性识别、姿态估计。
5. 医疗诊断：从医学图像中联合预测多种疾病。
6. 推荐系统：联合预测点击率、转化率、停留时间。
7. 机器人感知与控制：从传感器数据联合估计状态并输出控制指令。
8. 语音处理：联合进行语音识别、说话人识别、情感识别。
9. 金融风控：联合预测违约、欺诈、流失。
10. 材料设计：联合预测多种材料属性。

变量：x(输入)， y_t(任务t的真实值)， ŷ_t(任务t的预测值)。
网络参数：共享参数θ_s， 任务特定参数θ_t。
损失权重：w_t或σ_t。
函数：共享网络g， 任务头h_t， 任务损失L_t。

优化：多目标优化， 梯度加权求和。
表示学习：学习共享的子空间。
正则化：共享参数起到了隐式正则化作用。

多任务语言：“共享表示”、“任务特定头”、“联合训练”。
迁移：“正向迁移”、“负迁移”。
平衡：“损失加权”、“梯度归一化”。

1. 网络构建：定义共享网络g和T个任务头h_t。
2. 训练循环：对每个训练批次(X, {Y_t})：
a. 前向传播：计算共享表示Z = g(X)。对每个任务t，计算预测Ŷ_t = h_t(Z)和损失L_t = loss_fn(Ŷ_t, Y_t)。
b. 计算总损失：L = Σ_{t=1}^T w_t L_t（如果使用不确定性加权，则L = Σ_t (0.5*exp(-s_t)L_t + 0.5*s_t)，其中s_t = log σ_t^2）。
c. 反向传播：计算总损失对θ_s和θ_t的梯度，并更新参数。
d. (可选) 如果使用GradNorm，在反向传播后，计算各任务损失对共享层最后一个参数的梯度范数G_t，动态调整w_t使得`

Dy-L1-0043​

因果推断

估计干预do(T=t)对结果Y的因果效应：`E[Y

do(T=1)] - E[Y

do(T=0)]`。

双重稳健估计 (Doubly Robust) 用于因果效应评估

1. 问题设定：观察数据(X_i, T_i, Y_i)，其中X是协变量，T是二元处理（如是否采用新工艺），Y是结果（如产品质量）。目标：估计平均处理效应ATE = E[Y(1) - Y(0)]，其中Y(t)是潜在结果。
2. 双重稳健估计量：结合倾向得分模型`e(X) = P(T=1

X)和结果回归模型m_t(X) = E[Y

T=t, X]。估计量为：<br>ATE_DR = 1/N Σ_i [ (T_i Y_i)/e(X_i) - ((T_i - e(X_i)) m_1(X_i))/e(X_i) ] - 1/N Σ_i [ ((1-T_i)Y_i)/(1-e(X_i)) + ((T_i - e(X_i)) m_0(X_i))/(1-e(X_i)) ]<br>简化形式：ATE_DR = 1/N Σ_i [Ŷi(1) - Ŷi(0)]，其中Ŷ_i(t) = m_t(X_i) + (Y_i - m_t(X_i)) * 1{T_i=t} / P(T=t

X_i)。<br>**3. 双重稳健性**：如果倾向得分模型e(X)或结果模型m_t(X)中有一个是正确设定的，那么ATE_DR就是ATE的一致估计量。如果两者都正确，则估计量是半参数有效的。<br>**4. 实现**：先用数据拟合e(X)（如逻辑回归）和m_t(X)（如线性回归或机器学习模型），然后代入公式计算ATE_DR`及其置信区间（如通过自助法）。
参数：倾向得分和结果模型的复杂度（如正则化参数）需通过交叉验证选择。

估计偏差：估计的ATE与真实ATE的差距。
估计效率：估计量的方差，双重稳健估计量通常有较小的渐近方差。
模型校准：倾向得分和结果模型的预测准确性。

潜在结果框架：Rubin因果模型，用潜在结果定义因果效应。
倾向得分理论：在给定协变量下处理分配的概率，可用于平衡混杂因素。
半参数理论：双重稳健估计量属于半参数模型，对部分模型误设稳健。

Dy-L1-0044​

优化/整数规划

分支、定价、割平面协同求解大规模整数规划。

分支定价割平面法 (Branch-Price-and-Cut) 用于大规模车辆路径问题 (VRP)

1. 分解：将原VRP问题分解为一个主问题（MP，选择路径集合以覆盖所有客户，最小化总成本）和多个子问题（SP，为每辆车生成可行的候选路径，即定价问题）。MP通常为集合覆盖/划分模型。
2. 列生成：
a. 求解MP的线性松弛（RMP），得到对偶变量值π_i（对应客户i）和σ（对应车辆数约束）。
b. 将π_i, σ传递给子问题。子问题是带资源约束的最短路径问题（ESPPRC）：寻找一条从车场出发，服务若干客户后返回车场，满足容量、时间窗等约束，且检验数为负​ (c_r - Σ_{i∈r} π_i - σ < 0) 的路径r。c_r是路径r的成本。
c. 用动态规划（标签算法）求解子问题。若找到负检验数路径，则将其作为新列加入RMP，返回步骤a；否则，RMP线性松弛已求解到最优。
3. 割平面：在求解RMP过程中，可加入有效不等式（如容量割、子环消除割、2-path割等）收紧线性松弛。
4. 分支：当列生成求解的线性松弛解x_r*中存在分数解时，进行分支。分支策略通常基于决策变量（如x_r是否使用某条弧(i,j)）。在每个分支节点，重新启动列生成过程。
5. 界限与剪枝：利用线性松弛解提供下界，与当前整数最优解（上界）比较，进行剪枝。
参数：列生成收敛容差，分支策略（如强分支），割平面分离的触发频率和深度。

求解最优性间隙：最终整数解与根节点线性松弛下界的差距。
计算时间：受问题规模、分支节点数、列生成收敛速度影响。
生成的列数。

Dantzig-Wolfe分解：将大规模线性/整数规划问题分解为主问题和子问题，通过列生成求解主问题的线性松弛。
拉格朗日对偶：列生成过程在求解主问题的拉格朗日对偶。
分支定界：在整数空间中进行系统搜索。

1. 大规模带容量、时间窗的车辆路径问题 (CVRP, VRPTW)。
2. 机组排班问题。
3. 切割库存问题。
4. 多商品流问题。
5. 航空机组调度。
6. 物流网络设计。
7. 生产计划与排程（具有复杂物料流约束）。
8. 铁路调度。
9. 电信网络设计。
10. 服务人员调度。

变量：x_r(二进制，表示是否使用路径r)， λ_p^k(在D-W分解中，表示使用子问题k的第p个极点)。
对偶变量：π_i(客户i的覆盖约束乘子)， σ(车辆数约束乘子)。
参数：车辆容量Q， 客户需求d_i， 时间窗[a_i, b_i]， 成本c_ij。

线性/整数规划：主问题是集合覆盖/划分模型。
动态规划：子问题是带资源约束的最短路径问题，用标签算法求解。
对偶理论：列生成基于对偶变量。
组合优化：在指数级路径空间中搜索。

分解语言：“主问题”、“子问题”、“定价问题”。
列生成语言：“检验数”、“负检验数列”、“加入主问题”。
割平面：“有效不等式”、“分离”。
分支：“分支定界树”、“节点”。

1. 初始化：构造一个包含初始可行列（如简单路径）的限制主问题(RMP)。
2. 节点处理 (对每个分支定界节点)：
a. 列生成循环：
i. 求解当前RMP的线性松弛，得到对偶变量π, σ。
ii. 定价：对每辆车/子问题k，求解ESPPRC：min c_r - Σ_{i∈r} π_i - σ。若目标值< -ε，则找到负检验数路径r，将其加入RMP的列集合。
iii. 重复i-ii直到无负检验数列产生。
b. 割平面 (可选)：检查当前分数解是否违反某些有效不等式，若是，则生成割平面加入RMP，返回步骤a。
c. 分支决策：若当前解全为整数，更新全局上界。否则，选择分支变量（如某条弧的使用情况x_ij），创建两个子节点（x_ij=0和x_ij=1），加入搜索树。
d. 界限与剪枝：用当前节点松弛解值（下界）与全局上界比较，若下界≥上界，则剪枝该节点。
3. 搜索：选择下一个待处理节点（如最佳下界优先），重复步骤2，直到搜索树为空。

Dy-L1-0045​

机器学习/生成模型

前向扩散加噪，反向去噪生成。

去噪扩散概率模型 (DDPM) 用于生成合成工业图像

1. 前向扩散过程：定义T步的马尔可夫链，逐步向数据x_0添加高斯噪声。`q(x_t

x{t-1}) = N(x_t; √(1-β_t) x{t-1}, β_t I)，其中β_t是噪声调度（方差）。最终x_T近似为标准正态分布。<br>**2. 反向生成过程**：学习一个神经网络ε_θ(x_t, t)来预测添加到x_t中的噪声。反向过程定义为：p_θ(x_{t-1}

x_t) = N(x{t-1}; μ_θ(x_t, t), Σ_θ(x_t, t))。均值μ_θ可参数化为：μ_θ(x_t, t) = 1/√α_t (x_t - (β_t/√(1-āt)) ε_θ(x_t, t))，其中α_t=1-β_t，āt=Π{s=1}^t α_s。<br>**3. 训练目标**：简化损失函数为预测噪声的均方误差：L_simple = E_{x_0, t, ε}[

ε - ε_θ(√āt x_0 + √(1-āt) ε, t)

^2]，其中ε ~ N(0,I)，t ~ Uniform(1,T)。<br>**4. 采样**：从x_T ~ N(0,I)开始，对于t=T,...,1，计算x{t-1} = 1/√α_t (x_t - (β_t/√(1-āt)) ε_θ(x_t, t)) + σ_t z，其中z ~ N(0,I)，σ_t是噪声方差。<br>**5. 条件生成**：对于图像修复、超分等任务，可在训练和采样时加入条件信息y（如类别、文本描述、低分辨率图），网络变为ε_θ(x_t, t, y)。<br>**参数**：总步数T（通常1000），噪声调度β_t`（线性或余弦），U-Net网络架构，学习率。

生成质量：FID, IS (Inception Score) 等。
采样速度：生成一张图像所需的去噪步数（可通过DDIM加速）。
多样性：生成样本的分布覆盖度。

Dy-L1-0046​

控制理论/非线性估计

非线性系统状态空间模型，通过线性化进行递推估计。

扩展卡尔曼滤波器 (EKF) 用于移动机器人定位与建图 (SLAM)

1. 非线性模型：状态x（如机器人位姿(x, y, θ)和路标点位置），运动模型：x_k = f(x_{k-1}, u_k) + w_k，观测模型：z_k = h(x_k) + v_k，其中f和h非线性。
2. 线性化：在状态估计x̂_{k-1}和x̂_k^-处对f和h进行一阶泰勒展开。
• 状态转移雅可比：`F_k = ∂f/∂x

{x̂{k-1}, u_k}。<br> • 观测雅可比：H_k = ∂h/∂x

{x̂k^-}。<br>**3. 预测步骤**：<br>x̂k^- = f(x̂{k-1}, u_k)<br>P_k^- = F_k P{k-1} F_k^T + Q_k<br>**4. 更新步骤**：<br>K_k = P_k^- H_k^T (H_k P_k^- H_k^T + R_k)^{-1}<br>x̂k = x̂k^- + K_k (z_k - h(x̂k^-))<br>P_k = (I - K_k H_k) P_k^-<br>**5. SLAM应用**：状态x包含机器人位姿和所有路标点坐标。观测z是机器人对路标点的相对测量（距离、角度）。EKF-SLAM在预测步骤更新机器人位姿和协方差，在更新步骤利用观测同时校正机器人位姿和路标点位置。<br>**参数**：过程噪声Q和观测噪声R`需根据系统特性设定。线性化误差是主要误差来源，在强非线性时性能下降。

状态估计误差：与真实轨迹的均方根误差(RMSE)。
一致性：估计误差的协方差P_k是否与实际误差一致（NEES检验）。
线性化误差：在非线性程度高时，估计可能发散。

卡尔曼滤波理论：在线性高斯系统下的最优估计。
一阶泰勒展开：对非线性函数进行局部线性近似。
贝叶斯递推：结合模型预测（先验）和观测（似然）得到后验估计。

1. 移动机器人/AGV定位与建图 (EKF-SLAM)。
2. 飞行器姿态估计（结合GPS/IMU）。
3. 目标跟踪（非线性运动模型）。
4. 电力系统状态估计。
5. 化学反应过程状态估计。
6. 电池管理系统：SOC、SOH估计。
7. 金融时间序列建模。
8. 地形辅助导航。
9. 视觉惯性里程计 (VIO)。
10. 伺服系统参数辨识。

变量：x(状态向量)， x̂(状态估计)， P(估计误差协方差)， u(控制输入)， z(观测)。
函数：非线性模型f， h。
雅可比矩阵：F_k， H_k。
噪声：Q(过程噪声协方差)， R(观测噪声协方差)。

微分：一阶泰勒展开， 雅可比矩阵计算。
线性代数：矩阵运算， 协方差传播。
非线性系统：模型非线性， 局部线性化。
递推估计。

Dy-L1-0047​

机器学习/图学习

节点特征通过邻域聚合更新：h_i^{(l+1)} = σ( Σ_{j∈N(i)∪{i}} (1/√(d_i d_j)) h_j^{(l)} W^{(l)} )

图卷积网络 (GCN) 用于社交网络分析与推荐

1. 图表示：图G=(V, E)，节点特征矩阵H^(0)=X，邻接矩阵A，度矩阵D。
2. 图卷积层：每一层通过聚合节点自身及其邻居的特征来更新节点表示。使用对称归一化的拉普拉斯矩阵进行传播：
H^{(l+1)} = σ( D̃^{-1/2} Ã D̃^{-1/2} H^{(l)} W^{(l)} )
其中à = A + I（添加自环），D̃_ii = Σ_j Ã_ij，W^{(l)}是可学习的权重矩阵，σ是激活函数（如ReLU）。
3. 多层堆叠：通过堆叠多个GCN层，节点可以接收到多跳邻居的信息。
4. 任务适配：
• 节点分类：最终层节点表示H^(L)通过Softmax分类器预测标签。
• 链接预测：计算节点对(i,j)的表示z_i, z_j，通过内积或MLP预测链接存在概率。
• 图分类：通过全局池化（如求和、均值）得到图级表示，再分类。
5. 训练：使用监督损失（如交叉熵）进行端到端训练。
参数：层数L（通常2-3层），隐藏层维度，dropout率，权重衰减系数。

节点分类准确率。
链接预测AUC。
图分类准确率。
过平滑：层数过多时，所有节点表示趋于相同。

谱图理论：GCN源于图信号处理中谱卷积的一阶切比雪夫近似。
消息传递神经网络 (MPNN)：GCN是一种特例，节点通过聚合邻居消息来更新自身状态。
局部性：每个节点的更新只依赖于其局部邻居。

1. 社交网络用户分类：社区发现，影响力预测。
2. 推荐系统：用户-物品二部图链接预测。
3. 分子性质预测：分子结构图分类（原子为节点，化学键为边）。
4. 知识图谱补全：实体和关系预测。
5. 交通流量预测：路网图节点（传感器）的时间序列预测。
6. 欺诈检测：在交易图中识别异常模式。
7. 计算机视觉：点云分类、场景图生成。
8. 自然语言处理：句法依赖图、文档关系图。
9. 电路设计：网表图分析。
10. 供应链网络风险传播。

变量：节点特征X， 邻接矩阵A， 节点表示H^(l)。
参数：各层权重矩阵W^{(l)}， 偏置b^{(l)}（可选）。
超参数：层数L， 隐藏层维度， dropout率。

线性代数：矩阵乘法， 归一化拉普拉斯矩阵。
图论：邻接矩阵， 度矩阵， 邻居聚合。
卷积：空间域的图卷积操作。
消息传递：节点间信息传递的框架。

图卷积语言：“邻居聚合”、“消息传递”、“归一化”。
任务：“节点级”、“边级”、“图级”任务。
过平滑：“深层GCN可能导致节点表示相似”。

1. 前向传播：输入特征矩阵X和邻接矩阵A。
a. 预处理：计算à = A + I， D̃， 以及归一化矩阵D̃^{-1/2} Ã D̃^{-1/2}。
b. 对于每一层l=0,...,L-1：
H^{(l+1)} = σ( D̃^{-1/2} Ã D̃^{-1/2} H^{(l)} W^{(l)} )（应用dropout在激活前）
c. 输出层：对于节点分类，Z = softmax(H^{(L)})；对于图分类，h_G = READOUT(H^{(L)})，再通过分类器。
2. 训练：计算损失（如交叉熵），反向传播更新所有权重{W^{(l)}}。

Dy-L1-0048​

优化/启发式

蚂蚁根据信息素浓度和启发式信息选择路径。

蚁群优化 (ACO) 用于车间调度与路径规划

1. 信息素建模：在解空间（如路径边、工序顺序）上定义信息素轨迹τ_ij，表示从状态i转移到j的期望程度。
2. 解构造：每只蚂蚁k根据状态转移概率p_ij^k逐步构建一个完整解（如一条路径）。p_ij^k = [τ_ij]^α * [η_ij]^β / Σ_{l∈allowed_k} [τ_il]^α [η_il]^β，其中η_ij是启发式信息（如1/距离，1/处理时间），α和β控制信息素和启发式信息的相对重要性，allowed_k是蚂蚁k在当前状态下可行的下一步选项集合。
3. 信息素更新：
• 局部更新：蚂蚁每走一步，轻微蒸发所在边的信息素：τ_ij = (1-ξ) τ_ij + ξ τ_0，ξ是局部蒸发系数，τ_0是初始信息素。
• 全局更新：所有蚂蚁构建完解后，只对本次迭代最优解S^+（或全局最优解S^{gb}）的边进行增强：τ_ij = (1-ρ) τ_ij + ρ Δτ_ij，其中ρ是全局蒸发率，Δτ_ij = Q / f(S^+)，Q是常数，f(S^+)是最优解的成本。
4. 迭代：重复解构造和信息素更新，直到满足终止条件。
参数优化：α通常1，β2-5，ρ0.1-0.5，蚂蚁数m通常等于问题规模。使用精英蚂蚁（只增强全局最优解）策略。

找到最优解的质量：与已知最优解或下界的差距。
收敛速度：达到稳定解所需的迭代次数。
鲁棒性：对参数变化的敏感度。

群体智能：受真实蚂蚁觅食行为启发，通过信息素进行间接通信和正反馈。
概率构建：通过随机比例规则平衡探索和利用。
自组织：简单的个体行为导致群体涌现出智能的优化能力。

1. 旅行商问题 (TSP)​ 及其变种。
2. 车辆路径问题 (VRP)。
3. 作业车间调度。
4. 二次分配问题。
5. 网络路由。
6. 数据聚类。
7. 图像处理：边缘检测。
8. 蛋白质折叠。
9. 电源网络故障诊断。
10. 机器人路径规划。

变量：信息素矩阵τ， 蚂蚁构建的解S^k。
参数：蚂蚁数量m， α(信息素重要性)， β(启发式重要性)， ρ(全局蒸发率)， ξ(局部蒸发率)， Q(信息素增强强度)。
启发式信息：η_ij。

概率：状态转移概率， 轮盘赌选择。
正反馈：信息素增强机制。
优化：在组合空间中进行概率搜索。
图论：解通常在图上构造。

蚁群语言：“信息素”、“蚂蚁”、“蒸发”、“增强”。
构建：“概率性地选择路径”。
正反馈：“好路径上的信息素越来越强”。

1. 初始化：设置参数m, α, β, ρ, ξ, Q, MaxIter。初始化信息素τ_ij = τ_0。计算启发式信息η_ij。
2. For iter=1 to MaxIter：
a. 解构造：对每只蚂蚁k=1 to m：
i. 将蚂蚁置于起始点（如车场、初始工序）。
ii. While 未构建完整解：
根据转移概率p_ij^k选择下一个节点/工序j。
执行局部信息素更新：τ_ij = (1-ξ)τ_ij + ξτ_0。
将j加入解S^k。
b. 评估：计算每个解S^k的成本f(S^k)。
c. 全局信息素更新：找到本次迭代最优解S^+（或全局最优S^{gb}）。
对S^+中的每条边(i,j)：τ_ij = (1-ρ)τ_ij + ρ * (Q / f(S^+))。
d. 更新全局最优解S^{gb}（如果f(S^+) < f(S^{gb})）。
3. 输出：全局最优解S^{gb}及其成本。

Dy-L1-0049​

机器学习/元学习

学习一个模型初始化，使其能通过少量梯度步快速适应新任务。

模型无关元学习 (MAML) 用于小样本故障诊断

1. 元学习问题设定：任务分布p(T)。每个任务T_i有支持集D_i^{sup}（少量样本）和查询集D_i^{qry}。目标是学习一个模型f_θ，使得在面对新任务T_new时，用其支持集进行少量梯度步更新后，在查询集上有良好性能。
2. 内循环 (任务特定适应)：对于任务T_i，从初始参数θ开始，执行一步或多步梯度下降，得到适应后的参数θ_i'：θ_i' = θ - α ∇_θ L_{T_i}(f_θ; D_i^{sup})，其中α是内循环学习率。
3. 外循环 (元优化)：目标是最小化所有任务在适应后参数θ_i'下，在查询集D_i^{qry}上的损失之和：min_θ Σ_{T_i ~ p(T)} L_{T_i}(f_{θ_i'}; D_i^{qry})。通过计算损失对初始参数θ的梯度（需要二阶导数，或使用一阶近似FOMAML），更新θ：θ = θ - β ∇_θ Σ_i L_{T_i}(f_{θ_i'}; D_i^{qry})，其中β是外循环学习率。
4. 推理：对于新任务T_new，用其支持集D_new^{sup}对内循环进行k步梯度更新，得到适应后的模型f_{θ'}，用于预测。
参数：内循环步数k（通常1-5），内循环学习率α，外循环学习率β，任务批量大小（每次元更新的任务数）。

小样本学习准确率：在N-way K-shot设置下的分类准确率。
适应速度：达到特定性能所需的内循环梯度步数。
跨任务泛化：在来自相同分布但未见任务上的性能。

元学习：“学会学习”，从一系列任务中提取可迁移的知识，以快速适应新任务。
双层优化：内循环是任务级别的适应，外循环是元级别的优化。
梯度通过梯度：MAML通过梯度下降来优化模型对梯度下降的响应。

1. 小样本工业故障诊断：只有少量样本的新类型故障分类。
2. 机器人快速技能适应：让机器人快速学会新物体的抓取或操纵。
3. 个性化医疗：快速适配到新患者的治疗策略。
4. 冷启动推荐。
5. 自然语言处理：小样本文本分类、对话生成。
6. 计算机视觉：小样本图像识别。
7. 神经架构搜索。
8. 强化学习：快速适应新环境或新目标。
9. 优化算法学习。
10. 模拟到真实迁移。

变量：模型初始参数θ， 任务特定参数θ_i'。
数据：任务T_i， 支持集D_i^{sup}， 查询集D_i^{qry}。
参数：内循环学习率α， 外循环学习率β， 内循环步数k。
函数：损失函数L。

优化：双层优化问题， 梯度下降， 二阶导数（Hessian向量积）。
概率：任务分布p(T)。
泛化：从任务分布中学习先验。

元学习语言：“内循环”、“外循环”、“支持集”、“查询集”。
快速适应：“用少量样本快速适应新任务”。
任务分布：“从一系列相关任务中学习”。

1. 元训练：
a. 随机初始化模型参数θ。
b. While 未收敛：
i. 采样一批任务{T_i} ~ p(T)。
ii. 对每个任务T_i：
• 用支持集D_i^{sup}计算损失L_i^{sup} = L(f_θ; D_i^{sup})。
• 计算适应后参数θ_i' = θ - α ∇_θ L_i^{sup}（1步或多步）。
iii. 计算元损失：L_meta = Σ_i L(f_{θ_i'}; D_i^{qry})。
iv. 更新元参数：θ = θ - β ∇_θ L_meta。
2. 元测试/适应：对于新任务T_new：
a. 用其支持集D_new^{sup}计算k步梯度更新，得到θ'。
b. 用f_{θ'}对查询集D_new^{qry}进行预测。

Dy-L1-0050​

微分方程/偏微分方程

用神经网络近似PDE的解：u_θ(x,t)，满足F(x,t, u, ∇u, ∇²u,...)=0。

物理信息神经网络 (PINN) 用于流场、热场仿真

1. 问题定义：求解偏微分方程(PDE)：F(x,t, u, ∇u, ∇²u, ...) = 0，定义在域Ω×[0,T]上，带有边界条件B(u, x, t)=0在∂Ω和初始条件I(u, x)=0在t=0。
2. 神经网络表示：用一个深度神经网络u_θ(x,t)来近似PDE的解u(x,t)，其中θ是网络参数。
3. 损失函数：总损失由PDE残差、边界条件和初始条件的损失加权组成：
L(θ) = λ_f L_f(θ) + λ_b L_b(θ) + λ_i L_i(θ)。
• PDE残差损失：`L_f(θ) = 1/N_f Σ_{i=1}^{N_f}

F(x_f^i, t_f^i, u_θ, ∇u_θ, ∇²u_θ, ...)

^2，在域内N_f个配置点计算。<br> • **边界条件损失**：L_b(θ) = 1/N_b Σ_{i=1}^{N_b}

B(u_θ, x_b^i, t_b^i)

^2，在边界N_b个点计算。<br> • **初始条件损失**：L_i(θ) = 1/N_i Σ_{i=1}^{N_i}

I(u_θ, x_i^i)

^2，在初始时刻N_i个点计算。<br>**4. 自动微分**：使用自动微分计算u_θ对输入(x,t)的偏导数∇u_θ，∇²u_θ等，代入PDE。<br>**5. 优化**：通过梯度下降（如Adam）最小化总损失L(θ)，得到网络参数θ，进而得到PDE的近似解u_θ。<br>**参数**：网络架构（层数、神经元数），配置点的采样方式（均匀、随机、自适应），损失权重λ_f, λ_b, λ_i`。

PDE残差：训练后，在测试配置点上PDE方程的满足程度。
与参考解的误差：如有解析解或高精度数值解，计算相对L2误差。
训练时间。

Dy-L1-0051​

机器学习/在线学习

维护一个权重向量w，根据样本(x_t, y_t)顺序更新。

在线梯度下降 (OGD) 与 自适应学习率算法 (AdaGrad)

1. 在线学习设定：序列t=1,2,...,T，每轮收到样本(x_t, y_t)，做出预测ŷ_t = f(w_t, x_t)，遭受损失l_t(w_t) = l(ŷ_t, y_t)，然后根据真实y_t更新w_t。
2. 在线梯度下降 (OGD)：w_{t+1} = w_t - η_t ∇ l_t(w_t)，其中η_t是学习率（常取η = 1/√T或递减序列η_t = 1/√t）。
3. AdaGrad：为每个参数i维护一个累积梯度平方和G_{t,ii} = Σ_{s=1}^t (∇_i l_s(w_s))^2。更新规则：w_{t+1,i} = w_{t,i} - (η / √(G_{t,ii} + ε)) ∇_i l_t(w_t)，其中η是全局学习率，ε是小常数（如1e-8）。向量形式：w_{t+1} = w_t - η diag(G_t + εI)^{-1/2} ∇ l_t(w_t)。
4. 后悔界：在线学习的目标是最小化总后悔Regret_T = Σ_{t=1}^T l_t(w_t) - min_w Σ_{t=1}^T l_t(w)。对于凸损失，OGD的后悔是O(√T)，AdaGrad可以达到O(√dT)或更好，其中d是维度。
5. 应用：适用于数据流、大规模、或非平稳环境下的学习。
参数：学习率η，AdaGrad中的ε。

累计损失/后悔：序列上的总损失，或与事后最佳固定解的后悔。
收敛速度：在平稳环境下，参数向最优解的收敛速度。
适应性：在非平稳环境下跟踪变化的能力。

在线凸优化：在序列数据上最小化后悔的框架。
梯度下降：沿负梯度方向更新参数。
自适应学习率：根据历史梯度调整每个参数的学习率，对稀疏特征友好。

1. 在线广告点击率预测：实时更新广告投放模型。
2. 推荐系统：根据用户实时反馈更新推荐模型。
3. 金融高频交易：根据市场数据流更新预测模型。
4. 网络入侵检测：实时检测新攻击模式。
5. 搜索引擎排名：根据用户点击反馈更新排序模型。
6. 物联网传感器数据流学习。
7. 机器人持续学习：在交互中在线更新策略。
8. 自然语言处理：在线学习词向量或语言模型。
9. 工业过程监控：实时更新异常检测模型。
10. 个性化内容过滤。

变量：权重向量w_t， 特征向量x_t， 标签y_t， 预测ŷ_t。
损失：瞬时损失l_t(w_t)。
梯度：g_t = ∇ l_t(w_t)。
累积量：G_t(梯度平方累积矩阵)。
参数：学习率η， ε。

优化：序列决策， 梯度下降。
后悔最小化：与静态最优解比较。
自适应：每个参数有不同的学习率。
凸分析：假设损失函数凸。

在线学习语言：“序列决策”、“每轮更新”、“后悔”。
自适应学习率：“每个参数有自己的学习率”、“累积梯度平方”。
数据流：“处理一个样本，更新一次”。

1. 初始化：w_1 = 0， G_0 = 0。
2. For t=1 to T：
a. 接收特征x_t。
b. 做出预测ŷ_t = f(w_t, x_t)（如ŷ_t = sign(w_t·x_t)或 ŷ_t = w_t·x_t）。
c. 遭受损失l_t(w_t) = l(ŷ_t, y_t)。
d. 接收真实标签y_t。
e. 计算梯度g_t = ∇ l_t(w_t)。
f. 更新累积梯度平方：G_t = G_{t-1} + diag(g_t g_t^T)（对AdaGrad）。
g. 更新权重：
• OGD: w_{t+1} = w_t - η_t g_t。
• AdaGrad: w_{t+1} = w_t - η diag(G_t + εI)^{-1/2} g_t。
3. 输出：最终权重w_{T+1}（或平均权重w̄ = (1/T) Σ_t w_t）。

Dy-L1-0052​

控制理论/鲁棒控制

设计控制器使闭环系统对所有允许的不确定性保持稳定和性能。

H∞ 控制 用于精密运动平台鲁棒控制

1. 广义植物模型：将控制系统建模为标准P-K结构。广义植物P包括被控对象G、加权函数W（反映性能要求和不确定性模型），以及外部输入w（参考、扰动、噪声）和输出z（惩罚输出，反映跟踪误差、控制量等）。控制器K的输入是测量输出y，输出是控制输入u。
2. 状态空间表示：广义植物P的状态空间为：
ẋ = A x + B1 w + B2 u
z = C1 x + D11 w + D12 u
y = C2 x + D21 w + D22 u
3. H∞控制问题：寻找一个镇定控制器K，使得从外部输入w到被控输出z的闭环传递函数T_zw(s)的H∞范数最小化（或小于给定值γ）：
`min_K

T_zw

_∞<br>其中

T

Dy-L1-0053​

信号处理/时频分析

通过小波基函数的伸缩平移分析信号。

连续小波变换 (CWT) 用于非平稳振动信号分析

1. 小波函数：选择母小波ψ(t)，应满足允许性条件∫ ψ(t) dt = 0。通过伸缩和平移生成小波族：ψ_{a,b}(t) = 1/√a ψ((t-b)/a)，其中a>0是尺度参数（与频率成反比），b是平移参数。
2. 连续小波变换：信号s(t)的CWT定义为：
W_s(a,b) = ∫_{-∞}^{∞} s(t) ψ*_{a,b}(t) dt = 1/√a ∫ s(t) ψ*((t-b)/a) dt
其中*表示复共轭。结果W_s(a,b)是一个二维系数矩阵，表示信号在尺度a（频率）和位置b（时间）与小波的相似程度。
3. 尺度与频率关系：对于特定小波，存在一个中心频率f_c，使得尺度a近似对应频率f = f_c / a。
4. 时频表示：绘制`

W_s(a,b)

或

W_s(a,b)

^2（小波尺度图），横轴为时间b，纵轴为尺度a（或对应的频率f），颜色表示幅值，得到信号的时频能量分布。<br>**5. 小波选择**：常用小波包括Morlet（复值，适合振荡信号分析）、Mexican hat（实值，适合检测突变）、Daubechies（用于离散小波变换）。<br>**参数**：尺度范围[a_min, a_max]`，尺度数（决定频率分辨率），母小波类型。

时频分辨率：在时间和频率上的局部化能力，受限于不确定性原理。
边缘效应：在信号边界附近，由于小波支撑集超出信号范围，系数不可靠。
计算复杂度：通常高于STFT。

多分辨率分析：小波变换提供了信号的多尺度（多分辨率）表示。
不确定性原理：时频分辨率存在trade-off，小波变换的时频窗口面积固定，但形状可变（高频时时间分辨率高，低频时频率分辨率高）。
内积：CWT是信号与小波基函数的内积。

1. 非平稳振动信号分析：检测轴承、齿轮故障的瞬时冲击特征。
2. 图像处理：边缘检测、纹理分析、图像压缩（JPEG2000）。
3. 语音信号处理：基频检测、去噪。
4. 生物医学信号：ECG, EEG分析。
5. 金融时间序列：波动性分析。
6. 地震信号分析。
7. 无损检测：超声波、声发射信号分析。
8. 光学：光谱分析。
9. 湍流研究。
10. 信号奇异性检测。

Dy-L1-0054​

优化/装箱问题

将物品装入最小数量的固定尺寸箱子。

首次适应递减 (FFD) 与 最佳适应递减 (BFD) 算法

1. 问题：有n个物品，大小为s_i，箱子容量为C。目标：用最少的箱子装下所有物品。
2. 首次适应 (FF)：按给定顺序处理物品。对于每个物品，检查已打开的箱子，将其放入第一个能容纳它的箱子。若没有箱子能容纳，则打开一个新箱子放入。
3. 最佳适应 (BF)：与FF类似，但将物品放入能容纳它的箱子中剩余空间最小的那个箱子。这旨在最大化箱子填充度，减少碎片。
4. 递减策略 (D)：在应用FF或BF之前，先将物品按大小非递增排序。这通常能显著提高性能。
5. 算法步骤 (FFD)：
a. 将物品按大小从大到小排序。
b. 初始化一个空的箱子列表。
c. 对于每个物品i（按排序后顺序）：
遍历当前箱子列表，找到第一个剩余容量≥ s_i的箱子，将物品i放入，更新该箱子剩余容量。
如果找不到这样的箱子，则创建一个新箱子（容量C），放入物品i，并将新箱子加入列表。
6. 性能保证：对于装箱问题，FFD的渐近最坏情况性能比是11/9 ≈ 1.222，即FFD所用箱子数不超过最优解的11/9倍加上一个常数。
参数：无，算法是确定性的。

所用箱子数：算法实际使用的箱子数量A(I)。
最坏情况性能比：sup_I A(I)/OPT(I)，其中OPT(I)是最优解。
平均填充率：所有箱子中物品总体积与总容量的比值。

组合优化：装箱问题是经典的NP难组合优化问题。
在线与离线算法：FF和BF是在线算法（处理顺序固定），FFD和BFD是离线算法（允许预处理排序）。
贪婪算法：每一步做出局部最优选择。

1. 物流装载：将货物装到卡车、集装箱中。
2. 资源分配：将任务分配到服务器/机器，最小化机器数。
3. 内存管理：操作系统中的内存分配。
4. 切割库存问题：将长材料切割成所需长度，最小化浪费。
5. 数据存储：将文件存储到磁盘/磁带。
6. 网络资源分配：带宽分配。
7. 生产排程：将作业分配到具有时间容量的机器。
8. 云计算：虚拟机整合。
9. 体育赛事日程安排。
10. 广告投放：将广告分配到广告位。

变量：物品大小s_i， 箱子剩余容量r_j。
常量：箱子容量C。
列表：已打开的箱子列表B，每个箱子有其当前剩余容量。

组合：排列， 子集划分。
排序：非递增排序是算法的关键预处理步骤。
贪婪：每次处理一个物品，做局部最优放置决策。
离线：允许对所有物品进行预处理排序。

装箱语言：“箱子容量”、“物品大小”、“首次适应”、“最佳适应”。
性能比：“最坏情况不会比最优解差太多”。
在线 vs 离线：“能否预知所有物品信息”。

1. FFD算法流程：
a. 输入物品大小数组S[1..n]，箱子容量C。
b. 将S按非递增顺序排序。
c. 初始化一个空的箱子列表Bins（或一个数组记录每个箱子的剩余容量）。
d. For i = 1 to n:
i. 设item_size = S[i]。
ii. 在Bins中从左到右查找第一个箱子j，使得Bins[j].remaining ≥ item_size。
iii. If 找到这样的箱子j: Bins[j].remaining -= item_size。
iv. Else: 创建一个新箱子new_bin，设置new_bin.remaining = C - item_size， 将new_bin追加到Bins列表末尾。
e. 输出箱子列表Bins，其长度即为所用箱子数。

Dy-L1-0055​

机器学习/集成学习

并行训练多个基学习器，通过投票或平均进行预测。

随机森林 (RF) 用于特征选择与分类

1. 自助采样：从训练集D中有放回地随机抽取n个样本，构成一个自助样本集D_k。此过程重复B次，生成B个训练集。
2. 决策树生长：对每个自助样本集D_k，训练一棵决策树。在树的每个节点进行分裂时，不是从所有m个特征中选择最佳分裂特征，而是随机选择m_try个特征（m_try通常为√m或log2(m)），然后从这m_try个特征中选择最优分裂点（如基尼指数最小化）。
3. 不剪枝：让每棵树充分生长，通常不进行剪枝（或仅设置最小节点大小）。
4. 聚合预测：
• 分类：对新的输入样本x，每棵树给出一个类别预测，最终预测为多数投票结果：ŷ = argmax_c Σ_{b=1}^B I(ŷ_b = c)。
• 回归：最终预测为所有树预测值的平均：ŷ = (1/B) Σ_{b=1}^B ŷ_b。
5. 袋外误差 (OOB)：对于每个样本(x_i, y_i)，用那些在自助采样中没有包含x_i的树（即OOB样本）组成的“森林”对其进行预测，计算OOB误差，作为模型泛化误差的无偏估计。
6. 特征重要性：通过计算每个特征在OOB样本上被打乱（排列）后模型性能下降的程度来衡量。
参数：树的数量B（越大越好，但计算成本增加），m_try，树的最大深度（或最小节点大小）。

OOB误差：袋外估计的误差，接近测试误差。
分类准确率/回归RMSE。
特征重要性排序。

自助聚合 (Bagging)：通过有放回抽样构建多个训练集，训练多个基学习器，降低方差。
随机子空间：在每个节点分裂时随机选择特征子集，进一步增加多样性，降低树间的相关性。
大数定律：随着树的数量增加，集成预测趋于稳定。

1. 分类与回归：适用于各种结构化数据的预测任务。
2. 特征选择：基于重要性得分筛选关键变量。
3. 异常检测：将OOB预测概率低或到根节点距离远的样本判为异常。
4. 生存分析。
5. 变量相互作用探索。
6. 图像分类（基于提取的特征）。
7. 客户流失预测。
8. 信用评分。
9. 基因选择。
10. 生态学建模。

变量：x(特征向量)， y(目标)。
基学习器：T_b(x)(第b棵决策树)。
参数：树的数量B， 分裂时考虑的特征数m_try， 最小节点大小n_min。
采样：自助样本集D_k。

概率：自助采样， 随机子空间。
组合：集成多个模型。
投票/平均：分类用投票，回归用平均。
不纯度：决策树分裂准则（基尼指数、信息增益）。

集成语言：“自助采样”、“袋外样本”、“随机子空间”。
投票：“多数表决”。
特征重要性：“排列重要性”。
不剪枝：“让树充分生长”。

1. 训练：
For b = 1 to B:
a. 从训练集D中有放回采样，生成自助样本集D_b。
b. 用D_b训练一棵决策树T_b。在训练每个节点时：
i. 随机选择m_try个特征。
ii. 在这m_try个特征中，选择最佳分裂特征和分裂点（如最小化基尼指数）。
iii. 递归分裂，直到节点样本数小于n_min。
2. 预测 (分类)：对于新样本x：
a. 每棵树T_b输出一个类别预测ŷ_b。
b. 最终预测ŷ = mode{ŷ_1, ..., ŷ_B}（众数）。
3. OOB误差估计：对每个训练样本(x_i, y_i)，收集所有没有用到x_i的树T_b（即x_i是T_b的OOB样本）的预测，进行投票得到OOB预测ŷ_i^{OOB}。计算所有样本的OOB误差(1/N) Σ I(ŷ_i^{OOB} ≠ y_i)。

Dy-L1-0056​

排队论

分析到达间隔和服务时间的概率分布，计算系统性能指标。

M/M/c 排队模型 用于生产线缓冲区与服务站设计

1. 模型假设：
• 到达过程：顾客到达间隔时间服从参数为λ的指数分布（泊松到达，率λ）。
• 服务过程：每个服务台的服务时间服从参数为μ的指数分布（服务率μ）。
• 服务台数：c个并列的服务台。
• 队列容量：无限（或有限K）。
• 排队规则：先到先服务(FCFS)。
2. 状态与平衡方程：定义状态n为系统中的顾客数（包括正在服务的）。其生灭过程的转移率为：λ_n = λ（对所有n），μ_n = min(n, c) μ。
3. 稳态概率：设ρ = λ/(c μ)为系统利用率（ρ < 1以保证稳态）。稳态概率P_n = P(N=n)为：
P_0 = [ Σ_{n=0}^{c-1} ( (cρ)^n / n! ) + ( (cρ)^c / (c! (1-ρ)) ) ]^{-1}
对于n ≤ c: P_n = ( (cρ)^n / n! ) P_0
对于n > c: P_n = ( (cρ)^n / (c! c^{n-c}) ) P_0
4. 性能指标：
• 平均队列长L_q = P_0 ( (cρ)^c ρ ) / (c! (1-ρ)^2 )。
• 平均系统人数L = L_q + cρ。
• 平均等待时间W_q = L_q / λ。
• 平均逗留时间W = W_q + 1/μ。
5. 有限容量模型 (M/M/c/K)：当系统容量为K时，到达在系统满时被拒绝。需重新计算P_n和性能指标。
参数：到达率λ，服务率μ，服务台数c，系统容量K（无限或有限）。

利用率：ρ = λ/(cμ)，应小于1（无限容量）。
平均等待时间​ W_q：顾客在队列中等待的平均时间。
平均队列长​ L_q：队列中等待的平均顾客数。
顾客损失率​ (对有限容量模型)：系统满时到达被拒绝的概率P_K。

随机过程：泊松过程， 指数分布的无记忆性， 生灭过程。
利特尔法则 (Little's Law)：L = λW， L_q = λW_q，在稳态下成立。
马尔可夫性：系统的未来状态只与当前状态有关。

1. 生产线缓冲区设计：确定工作站间缓冲区的合适容量，以平衡阻塞和饥饿。
2. 呼叫中心坐席配置：确定需要

Dy-L1-0057​

自动化机器学习 (AutoML)

定义搜索空间， 通过控制器采样架构， 训练评估， 反馈奖励， 优化控制器。

神经架构搜索 (NAS) 基于强化学习

1. 搜索空间定义：定义可能的神经网络架构组件（如卷积类型、核大小、层数、连接方式），通常用变长字符串或计算图表示。
2. 控制器设计：使用循环神经网络(RNN)作为控制器，逐个输出架构决策（如第l层用什么操作，与哪层连接）。
3. 架构采样与训练：控制器RNN生成一个架构描述A。在训练集上训练该架构A得到验证集准确率R。
4. 策略梯度更新：将验证准确率R作为奖励信号，通过REINFORCE策略梯度更新控制器RNN的参数θ_c。目标是最大化期望奖励J(θ_c) = E_{P(A;θ_c)}[R]。
梯度近似为：`∇{θ_c} J(θ_c) ≈ 1/m Σ{k=1}^m Σ{t=1}^T ∇{θ_c} log P(a_t

a_{(t-1):1}; θ_c) R_k，其中m是每批采样的架构数，T是控制器决策步数。<br>**5. 循环迭代**：重复采样-训练-评估-更新过程，控制器学会生成高性能架构的概率增大。<br>**参数优化**：搜索空间设计是关键，需权衡表达力和搜索效率。控制器学习率，每批采样架构数m`。可使用权重共享(One-Shot NAS)大幅加速。

搜索到的架构性能：在目标数据集上相对于手工设计架构的准确率提升。
搜索成本：GPU小时数。
架构复杂度：参数量、FLOPs。

元学习：学习如何设计模型，是“学会学习”的一种形式。
强化学习：将架构设计视为序列决策问题，控制器是策略网络。
探索-利用权衡：控制器需平衡尝试新架构和利用已有好架构。

1. 自动设计视觉检测网络：为特定产品缺陷检测任务搜索最优CNN架构。
2. 自动设计时序预测模型：为设备RUL预测搜索LSTM/Transformer架构。
3. 轻量化模型搜索：在计算预算约束下搜索移动端部署模型。
4. 自然语言处理模型设计。
5. 图神经网络架构搜索。
6. 多模态融合网络搜索。
7. 硬件感知NAS：针对特定芯片（如FPGA）优化。
8. AutoML平台核心组件。
9. 科学发现：自动设计物理模拟的代理模型。
10. 药物发现模型设计。

变量：架构描述A， 控制器参数θ_c， 子网络权重w。
奖励：验证准确率R。
概率：P(A;θ_c)(控制器生成架构A的概率)。
参数：控制器学习率， 采样批量m， 搜索空间定义。

序列生成：控制器RNN生成变长序列描述架构。
策略梯度：REINFORCE算法， 期望奖励的梯度估计。
优化：双层优化， 优化控制器以优化子网络性能。
搜索：在离散、组合的架构空间中搜索。

NAS语言：“搜索空间”、“控制器”、“子网络”、“权重共享”。
强化学习：“将准确率作为奖励训练控制器”。
自动化：“自动设计神经网络架构”。

Dy-L1-0058​

因果推断

从观测数据中发现变量间的因果图结构。

PC 算法 (Peter-Clark) 用于发现工艺参数与质量的因果结构

1. 条件独立性测试：基于数据，测试变量对(X_i, X_j)在给定条件集S下是否独立。使用统计检验（如偏相关系数检验、G检验）。若`P(X_i, X_j

S) = P(X_i

S)P(X_j

S)，则认为X_i ⫫ X_j

S。<br>**2. 骨架学习**：从完全无向图开始。对于每个变量对(i,j)，按条件集大小k=0,1,2,...递增，测试X_i和X_j在给定大小为k的所有子集S下是否条件独立。若找到某个S使它们独立，则移除边(i,j)，并记录S为分离集Sepset(i,j)。得到无向骨架图。<br>**3. 方向识别 (V-结构)**：对于骨架中每条边i - j，检查其邻居k使得i和k不相邻。如果j不在Sepset(i,k)中，则定向为i -> j <- k（V-结构）。<br>**4. 方向传播**：应用方向传播规则（如Meek规则）尽可能多地确定其余边的方向，得到部分有向无环图(CPDAG)。<br>**5. 参数选择**：条件独立性检验的显著性水平α（如0.05）是关键参数，控制假阳性/阴性。搜索的最大条件集大小k_max`。
假设：因果 faithfulness， 因果 Markov 条件， 无隐变量。

结构汉明距离：发现的CPDAG与真实DAG的边差异（多、少、反向）之和。
方向识别准确率：正确定向边的比例。
计算时间：随变量数指数增长（最坏）。

图模型：用有向无环图(DAG)表示因果关系，满足局部马尔可夫性。
d-分离准则：DAG中判断条件独立性的图论准则。
因果充分性：假设没有未观测的共同原因。

1. 工艺因果分析：从生产数据中发现工艺参数、设备状态、环境变量与最终质量间的因果网络。
2. 故障根因诊断：定位导致系统异常的初始原因变量。
3. 基因组学：发现基因调控网络。
4. 经济学：分析经济变量间的因果关系。
5. 社交网络影响分析。
6. 气候科学。
7. 医疗诊断：从电子病历中发现疾病与症状的因果。
8. 推荐系统可解释性。
9. 金融风险传导路径。
10. 认知科学。

Dy-L1-0059​

机器学习/符号回归

通过遗传编程进化数学表达式树。

符号回归 用于发现工艺经验公式

1. 表达式表示：将数学表达式表示为一棵树。叶节点是变量或常数，内部节点是运算符（+,-,,/, sin, cos, exp, log等）。
2. 初始化种群：随机生成一组（如1000个）表达式树，深度受限。
3. 适应度评估：对每个表达式树（个体），计算其预测值ŷ_i与真实目标值y_i的误差，如均方根误差(RMSE)或拟合优度R²。适应度F = 1 / (1 + RMSE)。
4. 遗传操作：
• 选择：根据适应度进行锦标赛选择或轮盘赌选择，选出父代。
• 交叉：随机选择父代表达式树中的子树进行交换，产生子代。
• 变异：随机改变子树中的节点（如将*变为+，或将变量x变为常数）。
5. 迭代进化：生成新种群，重复评估-选择-交叉-变异，直到达到最大代数或找到满足精度要求的表达式。
6. 简化与正则化：在进化中或事后，对表达式进行代数简化。引入复杂度惩罚（如树深度、节点数）到适应度函数中，以防止过拟合。
参数优化*：种群大小，交叉概率（0.7-0.9），变异概率（0.01-0.1），函数集，常数范围，最大树深度。

拟合误差：RMSE, R²。
表达式复杂度：树的节点数或深度，越简洁越好。
泛化能力：在测试集上的误差。

遗传编程：一种进化算法，用于自动生成计算机程序（此处为数学表达式）。
无免费午餐定理：没有一种算法在所有问题上都最优，遗传编程适合搜索结构未知的表达式空间。
奥卡姆剃刀：倾向于选择更简单的模型。

1. 经验公式发现：从生产数据中发现描述产量、能耗、缺陷率与工艺参数之间关系的解析公式。
2. 物理定律发现：从实验数据中推导物理方程。
3. 金融建模：发现资产定价公式。
4. 药物剂量反应关系建模。
5. 控制器设计：自动推导控制律。
6. 特征工程：生成有意义的复合特征。
7. 传感器校准模型。
8. 材料本构关系建模。
9. 经济学模型。
10. 黑箱模型解释：为复杂模型（如神经网络）提供可理解的近似解析式。

变量：自变量X， 因变量y， 表达式树T。
适应度：F(T)。
遗传参数：种群大小M， 交叉率p_c， 变异率p_m， 最大代数G。
函数/终止符集：{+, -, *, /, sin, cos, ..., x1, x2, const}。

树结构：表达式是树， 节点是操作符或操作数。
遗传算法：选择、交叉、变异操作应用于树。
递归：表达式求值通常用递归。
优化：搜索表达式空间以最小化误差。

符号回归语言：“表达式树”、“遗传编程”、“发现公式”。
操作符：“函数集”、“终止符集”。
简洁性：“惩罚复杂度”、“奥卡姆剃刀”。

1. 初始化：随机生成包含M个表达式树的种群P(0)。
2. For g=1 to G：
a. 评估：计算P(g-1)中每个个体的适应度F。
b. 选择：根据F选择M个个体（允许重复）进入交配池。
c. 交叉：对交配池中的个体两两配对，以概率p_c进行子树交叉，生成子代。
d. 变异：对每个子代个体，以概率p_m进行随机点变异。
e. 生成新种群：P(g) = 子代种群（或保留部分精英）。
f. 检查终止条件（如达到目标R²或最大代数）。
3. 输出：P(G)中适应度最高的表达式树及其简化形式。

Dy-L1-0060​

机器学习/持续学习

在学习新任务时，通过正则化或回放防止对旧知识的灾难性遗忘。

弹性权重巩固 (EWC) 用于增量学习新故障模式

1. 问题：已训练好模型θ*在任务A上。当在任务B上训练时，直接训练会导致模型遗忘任务A的知识（灾难性遗忘）。
2. 核心思想：参数重要性。有些参数对任务A很重要，改变它们会严重影响任务A的性能。EWC通过给这些重要参数添加二次惩罚，限制它们在任务B训练时的变化。
3. 计算费舍尔信息矩阵 (FIM)：在任务A数据D_A上，计算参数θ_i的重要性F_i，近似为FIM的对角线：`F_i = 1/

D_A

Σ_{x∈D_A} (∂ log p(y

x, θ)/∂ θ_i

{θ=θ})^2。F_i衡量了参数θ_i对任务A预测似然的曲率（重要性）。<br>**4. 目标函数**：在任务B上训练时，损失函数为：<br>L(θ) = L_B(θ) + (λ/2) Σ_i F_i (θ_i - θi)^2<br>其中L_B是任务B的损失，λ是超参数，控制对旧知识的保留强度。<br>**5. 顺序学习**：学完任务B后，可合并重要性F_i（如求和），用于后续任务C的学习。<br>**参数**：正则化系数λ`。计算FIM的样本数。

平均准确率：在所有已学任务测试集上的平均准确率。
遗忘率：在旧任务上性能下降的程度。
正向迁移：新任务学习对旧任务性能的正面影响。

贝叶斯持续学习：EWC近似了参数的后验分布`p(θ

D_A, D_B)。假设p(θ

Dy-L1-0061​

优化/分布式

多个智能体通过仅与邻居通信，协同最小化全局目标。

分布式梯度下降 (DGD) 用于多机器人协同目标跟踪

1. 问题：N个智能体，每个有本地目标函数f_i(x)（如本地跟踪误差）。全局目标：min_x F(x) = (1/N) Σ_i f_i(x)。智能体仅能与邻居通信（图G）。
2. 共识优化：每个智能体维护本地变量x_i，目标是一致（x_i = x_j）且最优。更新规则：
x_i(k+1) = Σ_{j∈N_i∪{i}} w_{ij} x_j(k) - α_k ∇f_i(x_i(k))
其中W = [w_{ij}]是双随机权重矩阵（满足W1=1, 1^T W = 1^T），α_k是步长。
3. 权重设计：常用Metropolis权重：对于边(i,j)，w_{ij} = 1 / (1 + max{d_i, d_j})，w_{ii} = 1 - Σ_{j∈N_i} w_{ij}，其中d_i是节点i的度数。
4. 收敛性：在步长递减（Σ α_k = ∞, Σ α_k^2 < ∞）和连通图条件下，所有x_i收敛到全局最优解x*。
5. 扩展：可以结合梯度跟踪（如EXTRA, DGD）加速收敛，处理固定步长。
参数：步长α_k（递减序列或固定小步长），权重矩阵W，图连通性。

共识误差：`max_i

x_i - x̄

，其中x̄是平均。<br>**最优性间隙**：F(x̄) - F(x)`。
收敛速度*：与图代数连通性、步长有关。

多智能体协同：通过本地计算和邻居通信解决全局问题。
共识理论：通过迭代平均使智能体状态达成一致。
梯度下降：每个智能体沿本地负梯度方向下降，并通过共识步拉齐状态。

1. 多机器人/无人机协同目标跟踪：每个机器人基于本地观测估计目标状态，并通过通信达成一致估计。
2. 分布式机器学习：联邦学习的去中心化版本。
3. 传感器网络状态估计。
4. 智能电网分布式经济调度。
5. 多机器人编队控制。
6. 分布式资源分配。
7. 社交网络观点形成。
8. 去中心化优化。
9. 集群机器人探索。
10. 分布式数据库。

Dy-L1-0062​

机器学习/可解释RL

将复杂策略分解为可理解的子技能或选项。

分层强化学习 (HRL) 与 选项框架

1. 分层结构：在标准MDP之上引入抽象层。高层策略π_hi在较低时间尺度上选择“选项”（子技能），每个选项ω是一个终止条件的子策略π_lo。选项执行一段时间后返回高层。
2. 选项定义：一个选项ω是一个三元组<I_ω, π_ω, β_ω>：I_ω是初始化状态集，π_ω是内部策略，β_ω(s)是终止概率（在状态s终止）。
3. 半马尔可夫决策过程 (SMDP)：在高层，将每个选项的执行视为一个宏动作，其奖励是选项执行期间折扣奖励和，时间跨度可变。SMDP贝尔曼方程：
`Q_Ω(s, ω) = E[ R + γ^τ max_{ω'∈Ω} Q_Ω(s', ω')

s, ω]，其中τ是选项执行的步数，R`是累积奖励。
4. 学习：可同时学习高层选项策略和低层子策略。常使用内在奖励（如选项的多样性、稀疏目标达成）来促进低层技能发现。
5. 规划与抽象：选项提供了时间抽象，便于在更长的时间尺度上进行规划。
参数：选项数量，最大选项执行时长，终止函数参数。

层次探索效率：与平坦RL相比，达到相同性能所需的环境交互步数。
技能重用性：学到的子技能在新任务上的可复用性。
可解释性：高层决策和子技能功能的可理解程度。

时间抽象：将动作序列抽象为宏动作，简化决策。
技能发现：自动发现有用的、可重用的行为基元。
SMDP理论：选项框架将MDP推广为SMDP，其中动作持续时间可变。

1. 机器人复杂任务分解：如“准备咖啡”分解为“走到厨房”、“拿杯子”、“操作咖啡机”等选项。
2. 游戏AI：学习高级战术（如“建造基地”、“进攻”）。
3. 对话系统：将对话分解为“问候”、“询问需求”、“提供信息”、“结束”等子策略。
4. 自动驾驶：高层选择“变道”、“跟车”、“路口处理”等策略。
5. 制造业装配：将装配任务分解为抓取、对准、插入等选项。
6. 资源管理。
7. 教育：个性化学习路径规划。
8. 医疗治疗规划。
9. 软件测试自动化。
10. 智能家居控制。

变量：状态s， 选项ω， 低层动作a。
函数：高层Q函数Q_Ω(s, ω)， 低层策略`π_ω(a

s)， 终止函数β_ω(s)。<br>**参数**：折扣因子γ， 选项集Ω`。

随机过程：半马尔可夫决策过程。
分层：高层和低层的策略与价值函数。
抽象：时间抽象， 状态抽象（可选项）。
内在动机：用于技能发现的特殊奖励。

Dy-L1-0063​

机器学习/主动学习

选择信息量最大的未标注样本进行标注。

基于不确定性的采样 与 查询策略框架

1. 不确定性度量：对于一个分类模型`P(y

x)，样本x的不确定性可以用：<br>• **最小置信度**：1 - max_y P(y

x)。<br>• **熵**：H(y

x) = -Σ_y P(y

x) log P(y

x)。<br>• **分类器分歧**（委员会查询）：训练多个模型，选择它们预测分歧最大的样本（如投票熵）。<br>**2. 查询策略**：从无标签池U中选择不确定性最高的b个样本，交给专家（Oracle）标注，加入训练集L，重新训练模型。<br>**3. 变体**：<br>• **基于委员会的查询 (QBC)**：训练多个模型（如不同初始化、子采样），计算它们预测的分布差异（如KL散度、投票熵）。<br>• **期望模型变化**：选择能使模型产生最大变化的样本。<br>• **密度加权**：结合不确定性和样本在特征空间的代表性（密度），避免选择离群点。<br>**4. 停止准则**：标注预算耗尽，或模型性能在验证集上趋于稳定。<br>**参数**：每轮查询的批量大小b`，不确定性度量选择，委员会模型数量（对于QBC）。

标注效率：达到目标性能所需标注的样本数，相比随机采样的提升比例。
最终模型性能：在测试集上的准确率等。
查询多样性：选择的样本是否覆盖了数据分布。

信息论：熵是信息不确定性的度量，选择高熵样本有望最大化信息增益。
委员会查询：多个模型的集成可以减少偏差，分歧大的区域是模型不确定的区域。
探索-利用：主动学习是探索（标注信息点）和利用（训练好模型）的平衡。

Dy-L1-0064​

优化/鲁棒优化

优化在最坏情况参数实现下的性能。

鲁棒优化 用于不确定需求下的生产计划

1. 不确定参数集：定义不确定参数u属于一个不确定性集合U（如盒型集合、椭球集合、预算不确定集合）。例如，需求d不确定，但知其在一定范围内d ∈ [d̂ - δ, d̂ + δ]，或`Σ_i

d_i - d̂_i

/δ_i ≤ Γ（预算不确定集合，Γ控制保守度）。<br>**2. 鲁棒对应**：将原随机规划问题转化为确定性的鲁棒对应问题。例如，原问题min_x c^T x s.t. A(u)x ≤ b ∀u ∈ U。即要求约束对所有可能的不确定参数实现都成立。<br>**3. 求解**：通过对偶理论或其他技术，将半无限规划问题转化为可求解的确定性问题。对于线性规划且U为多面体或椭球时，鲁棒对应通常可转化为一个二阶锥规划(SOCP)或半定规划(SDP)。<br>**4. 保守性与性能**：不确定性集合U越大，解越保守（可行域小），但应对不确定性的保证越强。需要在性能和鲁棒性间权衡。<br>**5. 自适应鲁棒优化**：允许决策变量x分两阶段：第一阶段决策x在不确定性揭示前做出，第二阶段决策y(u)在不确定性揭示后做出（recourse）。目标是最小化第一阶段成本加最坏情况下的第二阶段成本。<br>**参数**：不确定集合的参数（如δ,Γ`），反映决策者的风险厌恶程度。

目标函数值：鲁棒解在最坏情况下的成本。
约束违反概率：在真实分布下，鲁棒解违反约束的概率（如果集合U覆盖了足够大概率的质量）。
价格 of robustness：与不考虑不确定性的解相比，目标值的退化。

最坏情况分析：优化在最坏可能情况下的性能，不依赖于概率分布。
对偶理论：将鲁棒约束转化为确定性约束的关键工具。
可调鲁棒：通过引入“保守度”参数，在保守性和性能间取得平衡。

1. 不确定需求下的生产计划：在需求波动下制定生产、库存计划，保证供需平衡。
2. 投资组合优化：在收益不确定下最小化最坏情况损失。
3. 网络设计：应对不确定流量或链路故障。
4. 供应链管理：应对供应中断、运输延迟。
5. 电力系统调度：应对可再生能源出力和负载不确定性。
6. 机械设计：在参数 tolerances 下保证性能。
7. 项目管理：应对任务工期不确定性。
8. 水资源管理：应对降雨量不确定性。
9. 军事规划。
10. 医疗资源分配。

变量：决策变量x， 不确定参数u， 可能包括第二阶段变量y(u)。
不确定性集合：U。
参数：不确定集合参数（δ, Γ）， 成本系数c， 约束矩阵A(u)， b(u)。

优化：线性/非线性规划， 半无限规划， 对偶。
集合：不确定性集合的几何描述（多面体、椭球）。
最坏情况：min-max或 min-max-min问题。
鲁棒性：解对参数扰动不敏感。

Dy-L1-0065​

优化/启发式

在局部搜索中引入扰动以跳出局部最优。

迭代局部搜索 (ILS) 用于大规模调度问题

1. 初始解生成：用构造性启发式（如NEH用于流水车间）生成一个初始解s0。
2. 局部搜索：对当前解s应用一个局部搜索程序（如基于交换、插入、反转邻域的下降法），得到一个局部最优解s*。
3. 扰动：对局部最优解s*施加一个扰动，得到新解s'。扰动强度应足够大以跳出当前吸引盆，但又不能太大而完全随机化。例如，随机执行k次不相交的移动（如随机交换多个工件）。
4. 局部搜索 (再次)：以s'为起点，再次进行局部搜索，得到新的局部最优解s**。
5. 接受准则：比较s**和当前最优解s*。通常采用“Better”准则：如果s**更好，则接受为新当前解；否则，以一定概率接受（模拟退火思想）或直接拒绝。
6. 迭代：重复步骤3-5，直到达到停止条件。
7. 扰动自适应：可根据搜索历史动态调整扰动强度k（如当长期未改进时增加k）。
参数：扰动强度k（或范围），局部搜索的邻域结构，接受准则，最大迭代次数。

解质量：找到的局部最优解的成本。
搜索时间。
扰动有效性：跳出局部最优的能力。

局部搜索理论：解空间被划分为多个吸引盆，每个局部最优是一个盆底。
扰动：通过强扰动跳到另一个吸引盆，然后通过局部搜索下降到其盆底。
自适应搜索：根据搜索状态调整策略。

1. 大规模旅行商问题。
2. 作业车间/流水车间调度。
3. 车辆路径问题。
4. 二次分配问题。
5. 图着色。
6. SAT问题。
7. 蛋白质结构预测。
8. 集成电路布线。
9. 体育赛事日程安排。
10. 人员排班。

变量：当前解s， 局部最优解s*， 扰动后解s'， 历史最优解s_best。
扰动强度：k。
邻域：N(s)(解的邻域集合)。
成本函数：f(s)。

组合优化：在离散解空间搜索。
局部搜索：在邻域内寻找更优解。
迭代：扰动-局部搜索的循环。
启发式：无理论最优性保证，但实践有效。

迭代局部搜索语言：“局部最优”、“吸引盆”、“扰动跳出”、“再次局部搜索”。
简单有效：“在局部搜索基础上增加扰动循环”。
自适应：“动态调整扰动强度”。

1. 生成初始解：s = GenerateInitialSolution()。
2. 局部搜索：s* = LocalSearch(s)。
3. 记录最优：s_best = s*。
4. While 未达到停止条件：
a. 扰动：s' = Perturbation(s*, history)。
b. 局部搜索：s** = LocalSearch(s')。
c. 接受准则：如果f(s**) < f(s*)， 则s* = s**。否则，以概率p = exp(-(f(s**)-f(s*))/T)接受s* = s**（可选）。
d. 如果f(s*) < f(s_best)， 则s_best = s*。
e. 可选：根据搜索历史更新扰动强度k。
5. 输出：s_best。

Dy-L1-0066​

优化/在线优化

决策者需在未知未来信息的情况下顺序做出不可撤销的决策。

秘书问题 与 在线算法竞争分析

1. 经典秘书问题：面试n个候选人，每次面试后需立即决定是否录用（不可召回）。目标是最大化选中最佳候选人的概率。已知候选人的相对排名，但不知绝对质量。
2. 最优策略 (37%规则)：拒绝前r个候选人作为“样本”，记录其中的最佳者。之后，遇到第一个比样本最佳者更好的人，就录用。最优r ≈ n/e，成功概率≈ 1/e ≈ 37%。
3. 竞争分析：在线算法的性能用“竞争比”衡量。对于最小化问题，竞争比c满足：对于所有输入序列I，ALG(I) ≤ c·OPT(I) + b，其中b是常数，OPT(I)是离线最优解代价。
4. 其他在线问题：
• 分页问题：LRU, FIFO等算法的竞争比分析。
• k-服务器问题。
• 在线负载均衡。
5. 随机序贯决策：可结合随机性（随机化算法）改善确定性算法的竞争比。
参数：问题规模n，样本大小r。

成功概率/竞争比：在线算法性能的理论保证。
实际平均性能：在特定输入分布下的模拟性能。

最优停止理论：研究在何时停止观察序列并做出选择以最大化收益。
竞争分析：比较在线算法与先知最优离线算法的性能，提供最坏情况保证。
随机算法：利用随机性可以击败确定性算法的下界。

1. 人才招聘：顺序面试，决定何时发出录用通知。
2. 投资决策：观察一系列投资机会，决定何时买入/卖出。
3. 资源分配：在线任务到达，决定分配给哪台服务器。
4. 缓存管理：决定替换哪项缓存以最小化缺失率。
5. 租赁问题：租还是买？
6. 网络路由：在线数据包路由。
7. 定价与拍卖：在线序贯定价。
8. 机器人探索：在线决定探索哪个区域。
9. 临床试验：序贯病人入组决策。
10. 订单接受：在线决定是否接受 arriving orders。

变量：输入序列σ = (σ_1, ..., σ_n)， 决策序列。
算法：在线决策规则A。
离线最优：OPT(σ)。
参数：总数量n， 样本大小r。

概率：最优停止， 随机化。
竞争分析：最坏情况比率， 下界证明。
序贯决策：随时间依次做决策，无未来信息。

在线算法语言：“竞争比”、“最坏情况分析”、“不可撤销决策”。
秘书问题：“37%规则”、“样本与决策阶段”。
随机化：“随机化算法可以改善竞争比”。

1. 秘书问题算法：
a. 设r = floor(n/e)。
b. 观察阶段：面试前r个候选人，记录最佳者的质量M。
c. 决策阶段：从第r+1个开始，面试每个候选人：如果其质量优于M，则录用并停止；否则，继续面试。
d. 如果直到最后都未录用，则录用最后一人（或视为失败）。
2. 竞争分析流程：对于在线算法A，分析其竞争比c：
a. 构造一个“困难”的输入序列σ，使得A(σ)尽可能差。
b. 计算离线最优OPT(σ)。
c. 证明对于所有σ，A(σ) ≤ c·OPT(σ) + b，并找到最小的c。

Dy-L1-0067​

优化/多目标

同时优化多个冲突目标，寻找帕累托最优解集。

非支配排序遗传算法 II (NSGA-II) 用于多目标工艺优化

1. 快速非支配排序：对种群P中的每个个体p，计算两个量：(1) 支配p的解的个数n_p，(2) 被p支配的解的集合S_p。然后分配前沿等级：所有n_p=0的个体放入第一前沿F1；对于F1中每个个体p，遍历其S_p中每个个体q，n_q -= 1，若n_q=0则将q放入下一前沿F2；重复直到所有个体分层。
2. 拥挤度计算：在同一前沿F_i内，计算每个个体在每个目标函数上的拥挤距离。对每个目标，对前沿内个体按该目标值排序，边界个体的拥挤距离设为无穷，中间个体i的拥挤距离为相邻个体i+1和i-1在该目标上归一化后的差值之和。拥挤度是各个目标拥挤距离之和。
3. 选择：从父代P_t和子代Q_t合并的种群R_t中选择N个个体形成下一代P_{t+1}。优先选择前沿等级低的个体（F1优于F2优于F3...）。在同一前沿内，选择拥挤度更大的个体（保持多样性）。
4. 遗传操作：对P_{t+1}进行选择、交叉、变异，生成子代Q_{t+1}。
5. 迭代：重复非支配排序、拥挤度计算、选择、遗传操作，直到达到最大代数。
参数：种群大小N，交叉变异概率，最大代数。

超体积 (HV)：帕累托前沿与参考点围成的体积，越大越好，综合衡量收敛性和多样性。
反向世代距离 (IGD)：帕累托前沿上均匀分布的参考点到算法解集的最小距离的平均值，越小越好。
前沿分布：解在目标空间的覆盖均匀性。

帕累托最优：在不使任何目标变差的情况下，无法再改进至少一个目标。
多目标优化：目标是找到一组帕累托最优解（前沿），供决策者选择。
精英保留：NSGA-II采用精英保留策略，保证优秀个体不丢失。

1. 工艺参数多目标优化：同时最小化成本、最大化质量、最小化能耗。
2. 产品设计：同时优化性能、重量、成本。
3. 控制器调参：同时优化响应速度、超调量、鲁棒性。
4. 投资组合优化：最大化收益，最小化风险。
5. 供应链设计：最小化成本，最大化服务水平，最小化碳排放。
6. 机器学习超参数调优：平衡准确率与模型复杂度。
7. 水资源管理。
8. 航空航天设计。
9. 药物设计：疗效与毒副作用。
10. 城市规划。

变量：个体（解）x， 目标函数向量f(x) = (f_1(x), ..., f_m(x))。
前沿等级：rank(x)。
拥挤距离：distance(x)。
种群：P_t(父代)， Q_t(子代)。

向量优化：目标函数是多维的。
帕累托支配：解之间的偏序关系。
排序：基于支配关系的前沿排序。
密度估计：拥挤度计算。

多目标语言：“帕累托最优”、“前沿”、“支配关系”。
多样性：“拥挤度”、“保持解在前沿上分布均匀”。
选择：“先按前沿，同前沿按拥挤度”。

1. 初始化：随机生成初始种群P_0，设置t=0。
2. 评估：计算P_t中每个个体的所有目标函数值。
3. While 未达到停止条件：
a. 生成子代：对P_t进行选择、交叉、变异，生成子代种群Q_t。
b. 合并：R_t = P_t ∪ Q_t。
c. 非支配排序：对R_t进行快速非支配排序，得到前沿F1, F2, ...。
d. 选择新父代：初始化P_{t+1}=∅，i=1。
While `

Dy-L1-0068​

机器学习/鲁棒学习

从被噪声污染的数据中恢复低秩和稀疏结构。

鲁棒主成分分析 (RPCA) 用于视频背景建模与异常检测

1. 问题形式：给定观测矩阵M，将其分解为低秩矩阵L（背景）和稀疏矩阵S（前景/异常）之和：M = L + S。目标：恢复L和S。
2. 凸优化公式 (Principal Component Pursuit)：
`min_{L,S}

L

_* + λ

S

Dy-L1-0069​

机器学习/在线聚类

数据点顺序到达，动态维护聚类结构。

顺序k-Means 与 在线聚类算法

1. 顺序k-Means：初始化k个中心μ_j。对每个顺序到达的数据点x_t：
a. 分配：找到最近的中心`c_t = argmin_j

x_t - μ_j

^2。<br> b. **更新**：更新该中心：μ{c_t} = μ{c_t} + η_t (x_t - μ{c_t})，其中η_t是学习率（如1/n{c_t}，n{c_t}是该中心已分配的点数）。<br>**2. 在线聚类目标**：最小化Σ_t l(x_t, μ{c_t})，其中l是损失函数（如平方距离）。由于中心会缓慢漂移，算法需适应数据分布的非平稳性。<br>**3. 变体**：<br>• **自适应共振理论 (ART)**：通过警戒参数ρ控制簇的生成与合并。新点与所有现有簇原型比较，如果与最近原型的相似度高于ρ，则分配给该簇并更新原型；否则，创建一个以该点为中心的新簇。<br>• **流k-Means**：结合衰减窗口或时间权重，使旧数据的影响逐渐减弱。<br>**4. 簇数确定**：在线算法通常需要处理变化的簇数。ART等算法可动态创建簇；也可结合合并/分裂准则。<br>**参数**：学习率η_t，警戒参数ρ`（对于ART），衰减因子。

在线损失：在流数据上累计的损失。
簇数稳定性：算法产生的簇数是否合理稳定。
概念漂移适应性：对数据分布变化的跟踪能力。

随机梯度下降：顺序k-Means是k-Means目标函数的随机梯度下降。
竞争学习：神经元（中心）通过竞争来代表输入模式。
自适应共振：通过调整警戒参数平衡稳定性和可塑性。

1. 实时日志/事件流聚类：对系统日志、网络流量进行实时异常模式发现。
2. 传感器数据流分析：实时聚类传感器读数模式。
3. 社交媒体趋势发现：实时聚类话题标签或关键词。
4. 在线客户细分：根据实时行为数据动态划分客户群。
5. 机器人环境探索：在线聚类传感器读数以识别不同区域。
6. 金融市场模式发现。
7. 视频流中的场景分割。
8. 工业过程监控：实时聚类过程状态。
9. 推荐系统：在线更新用户聚类。
10. 物联网设备管理。

Dy-L1-0070​

信号处理/自适应滤波

通过梯度下降自适应调整滤波器系数。

最小均方 (LMS) 自适应滤波器 用于系统辨识与噪声消除

1. 滤波器结构：有限脉冲响应(FIR)滤波器，权向量w(n) = [w_0(n), w_1(n), ..., w_{M-1}(n)]^T。输入向量x(n) = [x(n), x(n-1), ..., x(n-M+1)]^T。
2. 输出与误差：滤波器输出y(n) = w^T(n) x(n)。期望响应d(n)。误差信号e(n) = d(n) - y(n)。
3. 权重更新：LMS算法通过最速下降法近似，使用瞬时梯度估计∇_w E[e^2(n)] ≈ -2 e(n) x(n)。更新公式：
w(n+1) = w(n) + μ e(n) x(n)
其中μ是步长参数，控制收敛速度和稳定性。
4. 收敛条件：为保证均方收敛，步长需满足0 < μ < 2 / (M P_x)，其中P_x是输入信号功率。
5. 归一化LMS (NLMS)：步长随输入功率归一化：`w(n+1) = w(n) + (μ / (δ +

x(n)

^2)) e(n) x(n)，其中δ是小常数防除零，提高在非平稳信号下的性能。<br>**6. 应用模式**：<br>• **系统辨识**：d(n)是未知系统的输出，x(n)是输入，目标是使w(n)逼近未知系统。<br>• **自适应噪声消除**：主输入d(n)=s+v1（信号+噪声），参考输入x(n)=v2（与v1相关噪声），输出y(n)逼近v1，e(n)=d(n)-y(n)逼近信号s。<br>**参数**：步长μ，滤波器阶数M，正则化常数δ`（对NLMS）。

均方误差 (MSE)：E[e^2(n)]的稳态值。
失调：稳态MSE超过维纳解的程度，与μ成正比。
收敛时间：与1/μ成正比。

自适应滤波理论：通过迭代调整滤波器参数，使输出逼近期望响应。
随机梯度下降：LMS是随机梯度下降在自适应滤波中的应用。
维纳滤波器：LMS收敛到维纳解（在平稳环境下）。

1. 系统辨识：在线辨识设备动态模型（如机械臂、声学回声路径）。
2. **自适应

Dy-L1-0071​

机器学习/神经渲染

隐式场景表示 + 可微分体渲染， 但将辐射场存储于稀疏体素八叉树中。

瞬时神经图形基元 (Instant NGP) 用于实时3D重建与渲染

1. 多分辨率哈希编码：核心创新。对3D坐标x，在L个分辨率级别上，每个级别维护一个大小为T的可学习特征哈希表θ_l。对每个级别l，计算x所在的体素顶点，通过哈希函数h: N^3 -> [0, T)映射到特征表索引，对8个顶点特征进行三线性插值，得到该级特征f_l。拼接所有L级特征得到f。
2. 轻量级MLP：将编码后的特征f输入一个极小的MLP（如2层），输出密度σ和视角相关颜色c。大幅降低了计算量。
3. 可微分体渲染：同NeRF，沿射线积分计算像素颜色C(r)。
4. 训练：使用Adam优化器，结合损失函数（如MSE + 失真损失）。由于哈希表的存在，收敛速度极快（分钟级）。
5. 推理：训练后，可通过查询哈希表和轻量MLP实时渲染新视角图像。
参数优化：哈希表大小T（通常2^19~2^24），分辨率级数L（如16），每级特征维度F（如2），最粗与最细分辨率。学习率，特别是哈希表参数的学习率通常更高。

训练时间：达到NeRF相当质量所需时间（分钟 vs 天）。
渲染速度：实时帧率（>30 FPS）。
重建质量：PSNR, SSIM。
内存占用：由哈希表大小决定。

哈希编码：将连续坐标映射到离散哈希表，高效存储高频特征，避免MLP的频谱偏差。
多分辨率：捕获场景的不同尺度细节。
随机哈希冲突：允许不同位置共享特征，通过优化自动处理，作为隐式正则化。

1. 工业产品实时3D查看：在线快速重建产品3D模型，支持AR/VR互动。
2. 机器人视觉SLAM：实时稠密建图。
3. 虚拟试穿/试妆。
4. 文化遗产快速数字化。
5. 自动驾驶仿真场景构建。
6. 医学影像3D可视化。
7. 游戏与影视特效。
8. 室内场景重建。
9. 人像3D建模。
10. 柔性物体形变捕捉。

变量：3D坐标x， 视角方向d， 哈希特征f。
参数：多级哈希表{θ_l}， 轻量MLP权重φ。
超参数：哈希表大小T， 级数L， 特征维度F， 分辨率范围。
函数：哈希函数h(x)， 三线性插值。

哈希映射：从连续空间到离散索引的映射，处理冲突。
插值：三线性插值获得连续表示。
多尺度：多分辨率特征金字塔。
体渲染积分。

哈希编码语言：“多分辨率哈希表”、“哈希冲突”、“特征插值”。
高效：“分钟级训练”、“实时渲染”。
隐式正则：“随机冲突作为正则化”。

1. 数据准备：采集多视角图像及位姿。
2. 初始化：初始化L个哈希表（随机值），初始化小MLP。
3. 训练循环：对每个批次像素射线：
a. 采样射线点x_i。
b. 对每个x_i，计算其L级哈希编码f：对每级l，找到x_i所在体素的8个顶点，计算哈希索引h_l(v)，查表得特征，三线性插值。
c. 将f和视角d输入MLP，得(σ_i, c_i)。
d. 体渲染积分得预测颜色Ĉ。
e. 计算损失L = MSE(Ĉ, C_gt) + L_distort，反向传播，更新哈希表参数θ和MLP参数φ（通常θ用更大学习率）。
4. 渲染：训练后，对任意新射线，实时执行b-d步骤得到像素颜色。

Dy-L1-0072​

机器学习/基础模型

基于Transformer架构，在海量多模态数据上预训练，通过提示（Prompt）进行零样本/少样本学习。

大语言模型 (LLM) 用于工业知识问答与代码生成

1. 架构：基于仅解码器（Decoder-only）的Transformer，如GPT系列。核心是因果自注意力掩码，确保当前位置只能关注之前的位置。
2. 预训练：在大规模文本（代码、文档）上以自回归方式训练，最大化下一个词的概率：`max Σ log P(w_t

w_{<t}; θ)`。
3. 提示工程：将下游任务（如问答、代码补全、故障诊断建议）重构为文本补全问题。例如，输入提示：“根据以下工艺参数：温度=200℃，压力=10MPa，材料为ABS。预测可能的产品缺陷：”，模型生成后续文本作为答案。
4. 微调：可在领域特定数据（如设备手册、故障记录、工艺文档）上对预训练模型进行有监督微调(FT)或指令微调(IFT)，使其输出更专业、可靠。
5. 思维链 (CoT)：在复杂推理任务中，提示模型“逐步思考”，诱导其生成中间推理步骤，提高最终答案准确性。
参数：模型参数量（从亿到万亿），上下文长度，提示模板设计，微调学习率。

困惑度 (PPL)：衡量语言模型预测能力的指标，越低越好。
任务特定指标：如代码生成通过率（HumanEval）、问答准确率、BLEU/ROUGE。
事实一致性：生成内容与真实知识的一致性。

缩放定律：模型性能随参数量、数据量、计算量增加而可预测地提升。
上下文学习：大模型仅通过提示中的示例（in-context learning）就能学习新任务，无需更新权重。
涌现能力：当模型规模超过阈值后，出现小模型不具备的能力（如复杂推理）。

1. 工业知识库问答：自然语言查询设备维护步骤、工艺标准。
2. 自动代码生成：根据需求描述生成PLC梯形图、机器人脚本、数据分析代码。
3. 技术文档生成与摘要：自动编写报告、生成操作手册。
4. 故障诊断辅助：分析维修日志，提供可能原因和解决方案。
5. 供应链沟通自动化：解析邮件，生成订单、询价单。
6. 产品设计需求解析：将自然语言需求转化为技术规格。
7. 数据查询语言生成：将自然语言问题转为SQL查询。
8. 模拟仿真场景描述生成。
9. 多语言技术支持。
10. 创意生成：产品命名、广告文案。

变量：输入标记序列x_{1:n}， 输出标记序列y_{1:m}。
模型：参数θ， 词嵌入矩阵， Transformer层。
提示：任务描述P， 示例E， 查询Q， 构成输入[P; E; Q]。
生成策略：贪婪、采样、束搜索。

序列建模：自回归生成， 条件概率`P(y_t

x, y_{<t})`。
注意力：因果自注意力。
概率：Softmax输出词表上的分布。
缩放：模型规模是核心变量。

Dy-L1-0073​

优化/组合

在二分图G=(U,V,E)中寻找最大基数匹配，其中`

U

=

V

=n`。

匈牙利算法 (Kuhn-Munkres) 用于任务-资源最优分配

1. 问题形式：给定n个工人和n个任务，效益矩阵C，c_{ij}表示工人i做任务j的效益。求完美匹配M，最大化总效益Σ_{(i,j)∈M} c_{ij}。
2. 转化为最小权重匹配：将最大化转为最小化，令c'_{ij} = max(C) - c_{ij}。
3. 算法步骤：
a. 初始化标号：对每个左部点i，设标号u_i = max_j c_{ij}；对每个右部点j，设标号v_j = 0。
b. 用相等子图找最大匹配：构建相等子图G_l，包含边(i,j)满足u_i + v_j = c_{ij}。在G_l上尝试用增广路法（如DFS）找完美匹配M。若找到，则M为最优，算法结束。
c. 调整标号：若未找到完美匹配，找到当前匹配下的最小顶点覆盖集S（通过搜索树）。计算调整量δ = min_{i∈S∩U, j∉S∩V} {u_i + v_j - c_{ij}}。
对i∈S∩U：u_i -= δ；对j∈S∩V：v_j += δ。
更新相等子图G_l，返回步骤b。
4. 复杂度：O(n^3)。
参数：无，确定性算法。

最优匹配总效益：算法找到的匹配的总效益。
运行时间：与问题规模n^3相关。

对偶理论：匈牙利算法基于线性规划的对偶理论，u_i和v_j是对偶变量。
Kőnig定理：在二分图中，最大匹配数等于最小顶点覆盖数。
互补松弛条件：最优匹配满足u_i + v_j = c_{ij}对匹配边成立，且≤对其他边成立。

1. 任务分配：将n个任务最优分配给n个工人/机器，最大化总效率或最小化总时间。
2. 传感器-目标配对。
3. 航班机组配对。
4. 广告-广告位匹配。
5. 图像特征点匹配。
6. 化学实验仪器-样品分配。
7. 体育比赛对阵安排（循环赛制）。
8. 项目-人员指派。
9. 车辆-货物匹配。
10. 计算网格任务调度。

Dy-L1-0074​

控制理论/非线性控制

将非线性系统通过状态反馈和坐标变换转化为线性系统。

反馈线性化 用于机械臂轨迹跟踪控制

1. 相对阶：对于SISO系统ẋ = f(x) + g(x)u，y = h(x)，输出y对时间求导，直到输入u显式出现。导数次数r称为相对阶。y^(r) = L_f^r h(x) + L_g L_f^{r-1} h(x) u，其中L_f h是李导数。
2. 坐标变换：定义新的状态变量z = Φ(x) = [h(x), L_f h(x), ..., L_f^{r-1} h(x), η]^T，其中η是n-r维向量，使得变换是微分同胚。
3. 标准型：在新坐标下，系统变为：
ż_1 = z_2
...
ż_{r-1} = z_r
ż_r = b(z) + a(z) u
η̇ = q(z, η)
前r个方程是线性的，η部分是内部动态（零动态）。
4. 控制律设计：选择u = (1/a(z)) (v - b(z))，其中v是新的虚拟输入。则ż_r = v，前r个状态构成一个r阶积分链。然后可为v设计线性控制器，如v = y_d^(r) - k_0 e - ... - k_{r-1} e^(r-1)，其中e = y_d - y，使跟踪误差动态稳定。
5. 零动态稳定性：需保证内部动态η̇ = q(0, η)渐近稳定，否则整体系统不稳定。
参数：控制器增益k_i需配置闭环极点。

跟踪误差：稳态误差理论上为零（对匹配参考）。
控制输入平滑性：反馈线性化可能产生大控制量，需注意执行器饱和。
鲁棒性：对模型误差敏感。

微分几何：李导数、微分同胚、分布、Frobenius定理。
精确线性化：通过非线性状态反馈和坐标变换，全局或局部地精确抵消系统的非线性，转化为线性可控系统。
零动态：与输入-输出线性化无关的内部动态，其稳定性决定整个系统的稳定性。

1. 机械臂轨迹跟踪：对刚性机械臂动力学模型进行反馈线性化，实现高精度轨迹跟踪。
2. 直升机/四旋翼姿态控制。
3. 轮式移动机器人路径跟踪。
4. 化学反应器温度控制。
5. 电力系统励磁控制。
6. 磁悬浮系统。
7. 船舶航向控制。
8. 航空航天器再入控制。
9. 生物反应器。
10. 柔性关节机器人控制。

变量：状态x， 输出y， 输入u， 新状态z， 虚拟输入v。
函数：f(x)， g(x)， h(x)， 李导数L_f h。
参数：相对阶r， 控制器增益k_i。

微分几何：流形， 切空间， 李导数， 微分同胚。
坐标变换：非线性状态变换。
线性化：将非线性系统转化为线性系统。
零动态：内部稳定性分析。

反馈线性化语言：“相对阶”、“精确线性化”、“零动态”、“虚拟控制”。
微分几何：“李导数”、“微分同胚”。
控制律：“抵消非线性，注入期望动态”。

1. 建模：建立系统非线性模型ẋ = f(x) + g(x)u， y = h(x)。
2. 计算相对阶：对y连续求导，直到出现u。
3. 坐标变换：构造z = Φ(x)。
4. 设计反馈控制律：u = (1/a(z)) (v - b(z))，其中a(z)=L_g L_f^{r-1}h， b(z)=L_f^r h。
5. 设计外环控制器：v = y_d^{(r)} - k_0 e - ... - k_{r-1} e^{(r-1)}，使误差动态e^{(r)} + k_{r-1}e^{(r-1)}+...+k_0 e = 0稳定。
6. 实现：实时测量状态x，计算z，然后计算u并输出。

Dy-L1-0075​

机器学习/半监督

利用有标签数据训练教师模型，对无标签数据生成伪标签，再用伪标签训练学生模型。

自训练 (Self-training) 与 标签传播

1. 自训练：
a. 用有标签数据L训练一个教师模型M_t。
b. 用M_t对无标签数据U进行预测，选取高置信度（如预测概率>阈值τ）的样本及其伪标签(x, ŷ)，加入L。
c. 用扩增后的L重新训练模型（可以是同一模型或更大的学生模型）。
d. 重复b-c，直到U耗尽或性能饱和。
2. 标签传播 (基于图)：
a. 构建图：所有样本（有标签+无标签）为节点，边权重w_{ij}表示相似性（如RBF核`exp(-γ

x_i-x_j

^2)）。<br> b. 定义标签矩阵Y，有标签样本行为one-hot向量，无标签样本行为0。<br> c. 迭代传播：F(t+1) = α S F(t) + (1-α) Y，其中S是归一化的权重矩阵（如D^{-1/2} W D^{-1/2}），α是传播参数。最终F的行给出预测标签分布。<br>**3. 混合方法**：用标签传播的结果作为伪标签进行自训练。<br>**参数**：置信度阈值τ，图核参数γ，传播参数α`，每次迭代选取的伪标签数量。

伪标签准确率：模型赋予的伪标签与真实标签的一致性。
最终模型性能：在测试集上的指标。
错误积累：自训练中早期错误可能被放大。

直推式学习：标签传播是直推式，旨在预测给定无标签数据的标签。
图上的谐波函数：标签传播的解对应于图上的谐波函数，最小化Dirichlet能量。
协同训练：自训练是多视图学习协同训练的特例。

1. 缺陷检测数据扩充：用少量已标注缺陷图像，通过自训练利用大量无标签图像提升模型性能。
2. 文本分类。
3. 社交网络用户分类（基于图结构）。
4. 遥感图像分类。
5. 蛋白质功能预测。
6. 医学图像分割。
7. 语音识别。
8. 推荐系统冷启动。
9. 网络入侵检测。
10. 工业传感器数据标注。

Dy-L1-0076​

优化/随机规划

考虑随机变量的多阶段决策，最小化期望总成本。

随机动态规划 用于库存管理与资源分配

1. 多阶段决策：阶段t=0,1,...,T。状态x_t（如库存水平），决策u_t（如订购量），随机扰动w_t（如需求），其概率分布已知。系统动态：x_{t+1} = f_t(x_t, u_t, w_t)。
2. 成本函数：阶段成本g_t(x_t, u_t, w_t)。目标是最小化总期望成本：min E[ Σ_{t=0}^T g_t(x_t, u_t, w_t) ]。
3. 贝尔曼最优方程：定义最优值函数V_t(x_t)为从阶段t状态x_t出发到结束的最小期望成本。逆向递推：
V_T(x_T) = 0（或终止成本）
对t=T-1,...,0：
V_t(x_t) = min_{u_t∈U_t(x_t)} E_{w_t} [ g_t(x_t, u_t, w_t) + V_{t+1}(f_t(x_t, u_t, w_t)) ]。
4. 求解：对于连续状态/动作空间，通常需离散化或使用函数逼近。对于某些问题（如线性二次高斯LQG），有解析解。
5. 策略：最优策略π_t^*(x_t)是使上述括号内表达式最小的u_t。
参数：状态离散化粒度，随机变量的离散化或分布参数。

期望总成本：最优策略下的期望成本。
策略性能：在模拟或真实环境中执行策略得到的平均成本。
计算复杂度：受状态、动作、随机变量维度影响，存在“维数灾难”。

动态规划原理：最优策略具有无后效性，最优解可通过解决一系列子问题得到。
马尔可夫决策过程：随机动态规划是求解有限阶段MDP的精确方法。
期望效用理论：基于期望值进行决策。

1. 多阶段库存管理：考虑随机需求的多期订货决策。
2. 水资源调度：考虑随机降雨的多阶段水库放水决策。
3. 投资组合动态管理。
4. 设备维护与更换。
5. 能源系统调度（考虑可再生能源随机性）。
6. 项目融资决策。
7. 临床试验设计。
8. 机器人路径规划（随机环境）。
9. 农业种植计划。
10. 供应链应急管理。

变量：状态x_t， 决策u_t， 随机变量w_t， 值函数V_t(x)。
函数：系统动态f_t， 阶段成本g_t， 最优策略π_t^*。
分布：w_t的概率分布P_t(w_t)。

动态规划：逆向递推， 贝尔曼方程。
期望：对随机变量求期望。
优化：每阶段求解一个（随机）优化问题。
维数灾难：状态空间随维度指数增长。

随机DP语言：“多阶段”、“逆向递归”、“值函数”、“期望成本”。
维数灾难：“状态空间太大难以精确求解”。
策略：“状态到动作的映射”。

1. 初始化：设置终止值函数V_T(x) = 0。
2. 逆向迭代 t = T-1 downto 0：
For 每个离散状态xin 状态空间X：
a. 计算Q_t(x, u) = E_{w~P_t}[ g_t(x, u, w) + V_{t+1}(f_t(x, u, w)) ]，对所有可行动作u。期望可通过数值积分或蒙特卡洛采样近似。
b. 记录最优值：V_t(x) = min_u Q_t(x, u)。
c. 记录最优策略：π_t^*(x) = argmin_u Q_t(x, u)。
3. 正向模拟：从初始状态x_0，对t=0 to T-1，执行u_t = π_t^*(x_t)，观测w_t，计算x_{t+1}=f_t(x_t, u_t, w_t)。

Dy-L1-0077​

机器学习/生成模型

从潜在空间采样，通过一系列可逆变换生成数据。

归一化流 (Normalizing Flows) 用于密度估计与样本生成

1. 核心思想：通过一系列可逆、易求雅可比行列式的变换z_k = f_k(z_{k-1})，将简单分布p_Z(z_0)（如标准正态）映射到复杂数据分布p_X(x)。其中x = z_K。
2. 变量变换公式：`p_X(x) = p_Z(f^{-1}(x))

det(∂f^{-1}/∂x)

。通过对数似然：log p_X(x) = log p_Z(z_0) - Σ_{k=1}^K log

det(∂z_k/∂z_{k-1})