Nature重磅！超表面硬件融合物理AI！开创定量相位成像新范式！https://mp.weixin.qq.com/s/M5151pe1Kns5s89Hy9eEAA点击此链接查看详情！

专题三：大模型光学设计专题

学习目标：

本课程旨在系统性培养学生利用大语言模型（LLM）进行光学器件设计的理论基础、系统构建与工程实践能力，具体目标如下：

(1)掌握大语言模型的基本结构与工作原理，包括 Transformer 架构、Token 表达与生成式建模机制；

(2)理解光学结构的语义描述体系，学会将自然语言与结构参数进行映射与对齐熟悉 Prompt 工程的设计原则，具备基于指令生成光学结构的能力；

(3)能够通过多轮对话控制与优化结构设计流程，完成结构→ 仿真 → 优化的循环式学习；

(4)掌握大语言模型与FDTD仿真平台的集成方式，实现语言驱动的自动化全波仿真；

(5)掌握结构数据集构建、多模态建模与语图融合机制；

(6)能够设计并实现语言 + 工具多模块交互的结构设计 Agent；

(7)具备独立开发语言驱动光学设计系统（如 metalens 设计助手）的工程能力；

(8)通过专题项目训练，具备将先进 AI 技术迁移至科学建模与工程优化任务中的综合素养；

(9)培养跨领域系统思维与未来面向自然语言交互的工程设计范式意识。

主讲老师：

人工智能大模型光学设计主讲老师：毕业于国家“985 工程”“211 工程”重点高校。目前在国外光学顶尖高校课题组，擅长深度学习、大模型与几何光学、波动光学、电磁建模与计算光学成像的交叉研究领域。近年来发表SCI论文15篇包括：TCI, TMM, TCSVT, TETCI, ICLR等，授权三项发明专利。研究方向包括：深度学习方法、大语言模型、深度光学设计、几何光学、波动光学、图像处理与计算机视觉、物理驱动的光学成像、跨模态成像研究等。担任TCSVT、TCI、SIVP等多个国际期刊审稿人。

专题三：大模型光学设计专题

第一部分：光学成像基础与大模型课程导论

第一讲：课程导入与学科发展概览

1.1 光学设计与智能成像的发展背景

1.2 大模型驱动下的光学设计新范式

1.3 课程整体结构与学习目标

1.4 光学设计、计算成像与人工智能的关系

1.5 典型应用场景与案例引入

第二讲：几何光学与成像系统基础

2.1 几何光学基本原理

2.2 成像系统的基本组成

2.3 焦距、孔径、视场与分辨率

2.4 光线传播与像形成机制

2.5 常见成像系统结构分析

第三讲：像质评价与成像退化建模

3.1 点扩散函数与光学传递函数

3.2 调制传递函数与系统分辨能力

3.3 像差、散焦与噪声来源

3.4 成像退化机理分析

3.5 光学系统性能评价指标

第四讲：传统光学设计流程与工具基础

4.1 传统光学设计基本流程

4.2 光学系统参数化表达

4.3 顺序光学设计与优化思想

4.4 光学仿真软件基础认知

4.5 从传统设计走向智能设计

第五讲：大模型在光学与成像中的角色定位

5.1 大模型的基本概念与技术特征

5.2 大模型在视觉与成像任务中的应用

5.3 大模型辅助光学设计的基本思路

5.4 数据、模型与物理先验的协同关系

第二部分：计算成像建模与数据驱动表征

第一讲：计算成像系统基本原理

1.1 计算成像的概念与发展脉络

1.2 光学编码与信息获取机制

1.3 前向成像模型的建立

1.4 反演重建问题的提出

1.5 典型计算成像系统示例

第二讲：图像形成模型与反问题基础

2.1 成像方程与观测模型

2.2 卷积、采样与离散化表达

2.3 逆问题的病态性分析

2.4 正则化与先验约束思想

2.5 成像重建的基本求解框架

第三讲：数据集构建与成像数据表征

3.1 光学成像数据的类型与特点

3.2 数据采集、标注与预处理

3.3 成像任务中的训练集与测试集构建

3.4 多模态数据与跨域数据组织方式

3.5 面向大模型的数据表示形式

第四讲：深度学习成像重建基础

4.1 卷积神经网络在成像中的应用

4.2 编码器—解码器结构

4.3 UNet及其在图像重建中的作用

4.4 感知损失与重建损失设计

4.5 从重建网络到生成式模型

第五讲：物理建模与数据驱动融合框架

5.1 物理模型嵌入式网络结构

5.2 模型驱动与数据驱动方法对比

5.3 可解释性与泛化性问题

5.4 光学参数与网络参数的耦合关系

5.5 计算成像中的智能优化趋势

第三部分：大模型方法在光学设计与成像中的应用

第一讲：视觉大模型基础

1.1 深度模型到大模型的发展路径

1.2 Transformer基本结构

1.3 注意力机制与视觉表征能力

1.4 视觉基础模型与预训练思想

1.5 大模型在低层视觉中的迁移应用

第二讲：生成模型与成像重建

2.1 生成式建模基础

2.2 自编码器与变分自编码器

2.3 对抗生成网络在成像中的应用

2.4 扩散模型在图像恢复中的应用

2.5 生成先验与物理一致性约束

第三讲：多模态大模型与成像理解

3.1 多模态建模基本框架

3.2 图像—文本联合表征机制

3.3 多模态提示驱动的成像任务

3.4 大模型辅助成像分析与解释

3.5 多模态系统的工程实现思路

第四讲：大模型辅助光学系统设计

4.1 光学结构参数空间表示

4.2 神经代理模型与快速性能预测

4.3 大模型驱动的设计空间搜索

4.4 光学器件逆向设计思路

4.5 光学设计自动化与智能化流程

第五讲：典型案例分析

5.1 超表面与金属透镜智能设计

5.2 镜头系统优化中的学习方法

5.3 无透镜成像与深度重建案例

5.4 显微成像中的大模型应用

5.5 医学成像与工业检测中的相关实践

第四部分：光学设计—成像重建联合优化方法

第一讲：联合优化问题的提出

1.1 光学设计与算法设计分离的局限性

1.2 端到端联合优化的基本思想

1.3 光学层与网络层协同设计框架

1.4 任务驱动型光学系统设计

1.5 联合优化中的关键挑战

第二讲：可微光学与端到端建模

2.1 可微光学的基本概念

2.2 光传播过程的可微表达

2.3 可微PSF建模与参数更新机制

2.4 光学元件的可微参数化表示

2.5 可微仿真平台与实现思路

第三讲：联合损失函数与优化策略

3.1 成像质量损失设计

3.2 感知一致性与语义保持损失

3.3 物理约束与正则化项设计

3.4 多目标联合优化框架

3.5 稳定训练与收敛问题分析

第四讲：仿真平台与实验流程

4.1 光学仿真工具链

4.2 数据生成与仿真数据集构建

4.3 网络训练流程设计

4.4 实验评价与结果可视化

4.5 仿真到真实系统迁移问题

第五讲：系统级案例分析

5.1 端到端成像系统设计案例

5.2 自由曲面与超表面设计案例

5.3 面向分类任务的光学编码设计

5.4 面向重建任务的联合优化设计

第五部分：基于LLM的计算光学成像

第一讲：LLM与计算光学成像的交叉基础

1.1 大语言模型的基本原理与发展脉络

1.2 计算光学成像的任务特点与技术需求

1.3 LLM介入计算成像任务的基本模式

1.4 从视觉重建到语言引导成像的范式转变

1.5 LLM与物理模型协同的总体框架

第二讲：LLM驱动的成像建模与物理先验表达

2.1 光学成像过程的语言化描述方式

2.2 成像退化机理与物理约束的语义表达

2.3 基于提示词的成像任务建模方法

2.4 物理先验、结构先验与语义先验的统一表征

2.5 LLM辅助下的成像模型理解与配置生成

第三讲：LLM辅助的计算成像重建与优化

3.1 LLM辅助重建任务定义与流程设计

3.2 LLM在反问题求解中的先验注入机制

3.3 面向重建网络的提示生成与参数建议

3.4 LLM辅助损失函数设计与优化策略选择

3.5 LLM与生成模型结合的成像恢复框架

第四讲：LLM在光学系统设计与实验流程中的应用

4.1 LLM辅助光学系统方案生成

4.2 LLM辅助实验脚本与仿真代码生成

4.3 LLM支持的光学参数配置与调试分析

4.4 LLM在实验数据整理与结果解释中的作用

4.5 LLM驱动的计算成像自动化工作流

第五讲：基于LLM的计算光学成像前沿专题

5.1 多模态大模型与计算成像融合趋势

5.2 LLM在可解释成像与智能反演中的应用前景

5.3 面向显微成像、无透镜成像与智能传感的拓展

5.4 基于LLM的科研辅助与系统级设计新范式

5.5 课程总结：从计算光学成像到语言驱动智能成像