一、文献阅读

题目信息

题目： 《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》
期刊/会议： NIPS 2015 (Advances in Neural Information Processing Systems)
作者： Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong, and Wang-chun Woo
发表时间： 2015
文章链接： https://arxiv.org/abs/1506.04214

摘要

本文针对降水临近预报这一极具挑战性的天气预报问题，提出了一种基于机器学习的解决方案。作者将降水临近预报建模为一个时空序列预测问题，即输入和预测目标均为时空序列。为了克服传统全连接长短期记忆网络无法有效提取空间特征的局限性，提出了卷积LSTM。通过将LSTM内部的状态到状态、输入到状态的转换操作由全连接改为卷积操作，ConvLSTM能够同时建立时间与空间的相关性模型。实验结果表明，ConvLSTM在合成的Moving MNIST数据集和真实的雷达回波数据集上，均能比FC-LSTM和当时的算法更好地捕捉时空相关性，显著提升了预报准确率。

创新点

1. 提出了卷积LSTM网络架构，传统的FC-LSTM在处理图像序列时需要将二维数据展平为一维向量，导致空间信息丢失。ConvLSTM通过在输入-状态和状态-状态的转换中引入卷积操作，使得模型能够保留输入数据的空间结构，从而同时提取时间及空间特征。
2. 将降水临近预报形式化为时空序列预测问题，不同于传统的基于光流法的方法，这是一个端到端的可训练深度学习模型，直接从雷达回波图序列学习降水的演变规律。
3. 设计了编码器-预测器结构，借鉴了机器翻译中的seq2seq模型，构建了由ConvLSTM堆叠而成的编码器网络和预测器网络，前者用于压缩历史时空信息，后者用于生成未来的预测序列。

网络框架

1. ConvLSTM 单元结构

ConvLSTM是全连接 LSTM 的扩展。
在ConvLSTM中，所有的输入$X_t$、细胞输出$C_t$、隐藏状态$H_t$和门控信号（$i_t,f_t,o_t$）都是三维张量，其最后两个维度为空间维度（行和列）。
核心公式中的矩阵乘法被替换为卷积操作
其中，$\ast$ 表示卷积，$\circ$ 表示哈达玛积：$$\begin{array}{rl}{i}_t& =\sigma (W_{xi}\ast {\mathcal{X}}_t+W_{hi}\ast {\mathcal{H}}_{t-1}+W_{ci}\circ {\mathcal{C}}_{t-1}+b_i)\\ f_t& =\sigma (W_{xf}\ast {\mathcal{X}}_t+W_{hf}\ast {\mathcal{H}}_{t-1}+W_{cf}\circ {\mathcal{C}}_{t-1}+b_f)\\ {\mathcal{C}}_t& =f_t\circ {\mathcal{C}}_{t-1}+i_t\circ \tanh (W_{xc}\ast {\mathcal{X}}_t+W_{hc}\ast {\mathcal{H}}_{t-1}+b_c)\\ o_t& =\sigma (W_{xo}\ast {\mathcal{X}}_t+W_{ho}\ast {\mathcal{H}}_{t-1}+W_{co}\circ {\mathcal{C}}_t+b_o)\\ {\mathcal{H}}_t& =o_t\circ \tanh ({\mathcal{C}}_t)\end{array}$$

输入数据和状态在LSTM 单元内部的处理流程，核心区别在于使用了卷积操来处理二维空间数据，而非传统的全连接乘法。

2. 编码器-预测器模型

为了进行多步预测，模型采用了类似于seq2seq的结构。
编码网络：由多层ConvLSTM组成，接收历史序列输入，将其压缩为隐藏状态张量。
预测网络：同样由多层 ConvLSTM组成，利用编码网络的最终状态作为初始状态，逐步生成未来的预测帧。
网络结构：左侧为编码路径，输入历史雷达图。右侧为预测路径，输出未来雷达图。
两个网络均由堆叠的ConvLSTM层构成

实验

作者在两个数据集上进行了实验，分别是合成的Moving MNIST数据集和真实的雷达回波数据集。

实验一：Moving MNIST 数据集

该实验旨在验证模型学习简单时空移动规律的能力。
数据集由两个在黑色背景上反弹的移动数字组成。
ConvLSTM相比FC-LSTM能够更清晰地预测出数字的移动轨迹和形状，FC-LSTM的预测结果不仅模糊，而且难以捕捉复杂的重叠运动。
ConvLSTM尤其是多层结构，如3层表现最佳。

实验二：雷达回波数据集

使用香港天文台提供的雷达回波数据，包含97个雨天的记录。任务是根据过去5帧预测未来15帧。
预测指标为：降雨率均方误差 (MSE)、CSI 、FAR 、POD 。

ConvLSTM 在各项指标上均优于 FC-LSTM 和当时使用的基于光流法的ROVER算法。
特别是在较长时效的预测中，ConvLSTM的优势更加明显，能够保持较好的降水结构。

结论

本文提出了ConvLSTM架构，用于解决降水临近预报问题。通过将卷积结构引入LSTM，该模型成功克服了传统RNN丢失空间信息的缺陷，能够有效地建立时空序列的相关性模型。实验证明，ConvLSTM在处理包含复杂时空变化的数据时，表现优于全连接LSTM和传统的非机器学习方法，为气象领域的时空序列预测提供了一个强大的基准模型。

不足与展望

虽然比FC-LSTM好，但在长时预测中，ConvLSTM生成的图像仍然会趋于模糊。这主要是由于使用了均方误差作为损失函数，导致模型倾向于输出平均化的结果，未来可以考虑引入生成对抗网络或更感知的损失函数来提升清晰度相比FC-LSTM，卷积操作的计算开销较大，训练和推理速度相对较慢；此外，目前的模型纯粹是数据驱动的，未来的研究可以探索将物理约束融入网络设计或损失函数中，以提高预测的物理一致性。

量子计算学习笔记

相位估计问题的引入

在量子计算中，我们经常需要处理酉算子的特征值和特征向量问题。对于一个给定的酉算子 $U$，其特征值可以表示为 $e^{2\pi i\phi }$ 的形式，其中 $\phi \in [0,1)$ 是相位。

假如给定酉算子 $U$ 和其特征向量 $|u⟩$，如何高效地估计相位 $\phi$

设 $U$ 是一个 $n\times n$ 的酉算子，$|u⟩$ 是其特征向量：

$$U|u⟩=e^{2\pi i\phi }|u⟩$$

其中：$U$：已知的酉算子；$|u⟩$：已知的特征向量；$\phi \in [0,1)$：未知的相位参数
目的是以高概率估计出 $\phi$ 的近似值 $\tilde{\phi }$，使得：

$$|\phi -\tilde{\phi }|\le \epsilon$$

其中 $\epsilon$ 是允许的误差精度。

---

量子相位估计算法

量子相位估计算法的核心思想是利用量子傅里叶变换 的逆变换来提取相位信息。相位 $\phi$ 的二进制展开可以通过受控的 $U$ 幂次操作编码到量子态的振幅中。

相位估计算法使用两组量子比特：
第一寄存器：$t$ 个量子比特，用于存储相位的估计值
第二寄存器：$n$ 个量子比特，用于初始化特征向量 $|u⟩$

初始状态：
$$|0{⟩}^{\otimes t}|u⟩$$

算法流程如下

初始化和叠加态准备

首先对第一寄存器应用Hadamard门：

$$\frac{1}{\sqrt{2^t}}\sum _{j=0}^{2^t-1}|j⟩|u⟩$$

受控幂次操作

对第一寄存器的第 $k$ 个量子比特（从0开始编号），应用受控的 $U^{2^k}$ 操作：

$$\frac{1}{\sqrt{2^t}}\sum _{j=0}^{2^t-1}|j⟩U^j|u⟩$$

由于 $|u⟩$ 是特征向量：
$$U^j|u⟩=e^{2\pi i\phi j}|u⟩$$

因此状态变为：
$$\frac{1}{\sqrt{2^t}}\sum _{j=0}^{2^t-1}{e}^{2\pi i\phi j}|j⟩|u⟩$$

逆量子傅里叶变换

对第一寄存器应用逆量子傅里叶变换 $QF{T}^{†}$：

$$QF{T}^{†}\left[\frac{1}{\sqrt{2^t}}\sum _{j=0}^{2^t-1}{e}^{2\pi i\phi j}|j⟩\right]$$

回忆量子傅里叶变换的定义：
$$QFT|x⟩=\frac{1}{\sqrt{N}}\sum _{y=0}^{N-1}{e}^{2\pi ixy/N}|y⟩$$
其中 $N=2^t$。

测量
对第一寄存器进行测量，得到状态 $|\tilde{\phi }⟩$，其对应的二进制表示即为相位的估计值。

---

量子相位估计算法分析

当相位 $\phi$ 可以精确表示为 $t$ 位二进制分数时：
$$\phi =0.{\phi }_1{\phi }_2\dots {\phi }_t=\sum _{k=1}^t{\phi }_k{2}^{-k}$$

在这种情况下，算法将以概率1得到精确结果：

$$\tilde{\phi }=\phi$$

一般情况下，当 $\phi$ 不能精确表示为 $t$ 位二进制分数时，设其最佳 $t$ 位近似为：

$$a=\lfloor 2^t\phi \rceil /2^t$$

其中 $\lfloor \cdot \rceil$ 表示四舍五入。

测量结果为 $a$ 的概率至少为 $4/{\pi }^2\approx 0.405$。

更精确地，对于任意整数 $c$，测量结果为 $a+c$ 的概率为：

$$P(a+c)=\{\begin{array}{ll}\frac{1}{2^{2t}}{\left|\frac{1-e^{2\pi i{2}^t(\phi -(a+c)/2^t)}}{1-e^{2\pi i(\phi -(a+c)/2^t)}}\right|}^2& \text{if }\phi \ne (a+c)/2^t\\ \frac{1}{2^{2t}}& \text{if }\phi =(a+c)/2^t\end{array}$$

使用 $t$ 个量子比特时，估计误差满足：
$$|\phi -\tilde{\phi }|\le \frac{1}{2^{t+1}}$$

因此要达到精度 $\epsilon$，需要的量子比特数为：
$$t=\lceil {\log }_2(1/\epsilon )\rceil +1$$

最后，通过增幅 技术或重复采样，可以将成功概率提升到接近1。