重新思考变化检测与归因:比较卫星嵌入的方式至关重要

像素尺度的变化检测在遥感领域已是一个成熟问题。然而,变化归因——即识别具体扰动源或过程的能力——仍然是一个开放挑战。

在 Robert Kennedy 博士领导的"环境监测、分析与过程识别实验室 (eMapR)"中,我们以数十年来卫星时间序列分析和景观变化归因的前沿研究为基础。过去一年,我们一直在使用谷歌 AlphaEarth Foundations 模型生成的卫星嵌入,并探索如何将其用于景观变化归因。

从历史上看,卫星变化检测依赖于基于像素的比较,包括光谱值、植被指数或随时间变化的拟合轨迹的差异。这些方法虽然基础,但往往关注像素变化的程度(或幅度),而非这种变化与景观的关系。变化向量分析和时间分割等技术占据主导地位,但常常难以区分在特征空间中产生相似幅度的不同类型变化

近期基础地理空间模型的进展提供了新的机遇。这类模型并非直接使用来自单个卫星传感器的原始光谱波段(以及所需的预处理),而是将来自多个传感器的信息整合并压缩为紧凑的数值表示,称为"嵌入"。卫星嵌入场将每个像素表示为一个向量,该向量概括了跨空间和时间的环境条件。

这种降维数据集的问世引出了一个问题:

我们应该如何比较多年份的卫星嵌入,以检测有意义的景观变化?

为了探索这一点,我们通过一个五大湖案例研究表明,嵌入表示和训练设计与分类器的选择同等重要。我们的比较凸显了上下文信息对于可靠变化归因的重要性。

什么是卫星嵌入?

卫星嵌入是由强大的机器学习模型产生的学习表示,这些模型在海量地球观测数据上训练而成。其输出是编码了空间或其他模式的数值向量。

就 AlphaEarth Foundations 而言,每个 10 米像素由一个 64 维嵌入表示,该嵌入由经过训练以整合以下信息的模型生成:

  • 光学影像(Sentinel-2、Landsat)
  • 雷达(Sentinel-1、ALOS-PALSAR)
  • 高程
  • 激光雷达结构数据
  • 气候变量

你可以将嵌入视为环境上下文的压缩包。该模型不是关注单个光谱波段,而是编码在景观中持续共同出现的重复信息模式。

嵌入场之所以强大,是因为它们能够:

  • 跨传感器整合信息
  • 降低数据维度
  • 在标注数据有限的情况下,跨任务良好迁移

卫星嵌入能全面描述特定时间的环境条件,但无法说明这些条件如何变化或为何变化。要将它们用于变化检测,我们必须决定如何整合来自多个日期的信息。这正是高维嵌入的灵活性所在。年份之间有意义的转变会产生嵌入向量的偏移,通过选择如何构建这种比较,我们可以超越单纯检测变化,进而解释发生了何种变化。

比较两年嵌入的五种方法

给定同一地点两个连续年份的 AlphaEarth Foundations 年度卫星嵌入,我们应该如何将这些向量转化为变化分类器的特征?

在本研究中,我们评估了五种常见的基于嵌入的特征配置,这是描述在分类器中使用嵌入产品各种方法的一种高级说法(图 1)。

  • 仅差值:两年嵌入之间的逐像素差异。捕捉嵌入变化的幅度,但不捕捉初始状态。
  • 仅点积:一个单一的相似性得分,概括了两个嵌入向量的对齐程度。将整个嵌入空间压缩为一个数字。
  • 堆叠嵌入:将两个年度的嵌入连接(堆叠)在一起。没有明确的变化运算,但保留了完整的前后上下文。
  • 基线 + 差值:将基准年的嵌入与年际差值堆叠在一起。将变化明确地锚定到已知的环境状态。
  • 基线 + 点积:基准年的嵌入加上一个相似性度量。带有高度压缩变化信号的上下文。
    在这里插入图片描述

图 1. 表示两年卫星嵌入的五种方式。

尽管这些方法看起来相似,但我们发现,当应用于绘制真实景观地图时,它们的行为差异很大。

五大湖案例研究

为了评估这些不同的配置,我们将焦点放在美国西部五大湖地区的一个研究区域,主要是威斯康星州北部(图 2)。该景观包括林地、农田、水体和不断扩张的城市发展。
在这里插入图片描述

图 2. 蓝色框标出了我们的重点区域,面积约为 16,500 平方公里。金色线条分隔了明尼苏达州(左)和威斯康星州(右)。

变化点的训练数据来自五大湖清查与监测网络 (GLKN),该网络提供了数万个经过人工判读的扰动多边形,用于识别森林采伐和开发 (Kirschbaum 2024¹)。稳定土地覆盖样本则使用 2018 年和 2020 年的高分辨率 NAIP 影像进行人工判读。

根据该地区主要的稳定和变化土地覆盖类型,共建模了六个类别:

  • 森林采伐
  • 开发
  • 稳定森林
  • 稳定城市
  • 稳定农业
  • 稳定水体
随机森林

在我们的研究中,我们使用了随机森林分类器,这是遥感应用中评估特征表示的成熟基线方法。随机森林对相关特征具有鲁棒性,可以降低或忽略无信息的维度,并且在土地覆盖和变化归因应用中有着长期的良好记录。这使得它们非常适合评估性能差异是源于嵌入的结构方式,还是源于模型特定的归纳偏差。

验证依赖于在成对的 NAIP 影像中检查的独立、人工判读的参考点,这为评估分类输出提供了高分辨率的上下文。

相似的精度,截然不同的地图

当比较每种基于嵌入的变化检测方法的总体精度和 Kappa 统计量时,结果似乎大体一致(图 3)。
在这里插入图片描述

图 3. 每种基于嵌入的变化检测方法的总体精度和 Kappa 统计量。

除了"仅点积"方法外,总体精度和 Kappa 统计量大致相似。如果你只看这里,可能会得出结论:表示的选择差异不大。但当从空间上检查分类后的地图时,一个不同的故事出现了(图 4)。
在这里插入图片描述

图 4. NAIP 影像:a. 2018 年,b. 2020 年;分类地图:c. 仅点积,d. 仅差值 (Δ),e. 基准年 (2019) + Δ,f. 堆叠年份 (2019 + 2020),g. 基准年 (2019) + 点积。

保留了基线上下文(2019 年嵌入)的表示方法产生了空间上连贯且可解释的地图(图 4e-g)。堆叠年份(2019 + 2020)和基线锚定的表示似乎都与已知的景观结构吻合良好。"基线 + 点积"配置(65 维)的表现与 128 维表示相当,这表明基线上下文对分类质量的贡献比原始维度本身更大。

相比之下,仅基于幅度的表示表现较差。"仅点积"配置(图 4c)将完整的 64 维嵌入空间压缩为单个相似性得分。这种 1 维表示过于粗糙,无法区分不同的变化类型,产生了广泛的斑点噪声、分散的假阳性,并将大面积区域误分类为稳定水体。这反映了类别可分离性的根本损失。

"仅差值"表示(图 4d)介于这两个极端之间。虽然它能够突出年际差异的区域,但在背景变异性高的异质景观中表现不佳。在这些区域,与土地覆盖转变无关的变异性也会产生较大的嵌入差异,导致预测碎片化、类别混淆增加以及对真实变化的低估。

在我们的案例中,聚合的精度指标掩盖了空间行为上的巨大差异。总体精度相似的模型可能产生的地图,在哪里发生了变化以及变化如何在景观中分布方面,讲述着截然不同的故事。

交互式应用

地图结果之间的差异最好通过空间方式观察——直接在 Earth Engine 应用中探索它们。
在这里插入图片描述

为什么基线上下文很重要

这些发现与变化检测文献中确立已久的原则相一致 (Cohen & Fiorella 1998²; Kennedy et al. 2010³)。数十年的研究表明,仅靠变化幅度通常不足以表征变化类型(图 5)。给定的光谱或特征空间差异,根据其发生在森林、农业还是城市土地上,可能具有截然不同的含义。
在这里插入图片描述

图 5. 改编自 Cohen 1998 年的图。两种不同类型的土地覆盖变化,具有相同大小和方向的光谱或嵌入变化。

嵌入空间可能会加剧这一困难。由于卫星嵌入了来自多个来源的信息,包括气候变异和结构背景,即使土地表面本身并未发生变化,也可能出现较大的年际差异。如果没有基线参考(即一个起始嵌入坐标),基于幅度的比较(如差值和点积)可能会将真实的表面变化与背景环境变异性混为一谈。

保留基线上下文允许分类器提出一个更有意义的问题:相对于以前的状态,这个地点是如何变化的? 通过将变化锚定到已知状态,具有基线感知的表示可以提供一个参考点,并提高空间连贯性。

每个类别使用多少个训练点?

我们还对基于嵌入的分类地图对每个类别训练点数量的敏感性感兴趣。

AlphaEarth Foundations 等嵌入模型的一个核心期望是,它们学到的表示可以减少对大规模人工标注数据集的需求。嵌入被设计为在监督相对有限的情况下,能够有效地跨任务迁移。如果这个期望成立,那么无需每类数百或数千个训练样本,就能实现稳定且可解释的变化地图。

为了检验这个假设,我们系统地改变了分配给稳定类别和变化类别的训练点数量,并观察聚合精度指标和空间预测如何响应。这是使用"基准年 (2019) + 点积"嵌入导出的特征结构完成的,该结构在精度上并列最高,且分类结果视觉上连贯。

增加训练点数量并未持续提高性能(表 1)。最高的总体精度和 Kappa 统计量是在每类 200 个稳定点和每类 200 个变化点的比例下实现的。在我们的案例中,无需极其庞大的标注数据集就实现了高性能。
在这里插入图片描述

表 1. 改变类别点比例及其总体精度和 Kappa 统计量指标。

我们也进行了视觉检查,发现改变稳定类和变化类每个类别的训练点数量讲述了一个更微妙的故事,对分类地图外观的影响相当多变(图 6)。
在这里插入图片描述

图 6. 改变类别点比例。NAIP 影像:a. 2018 年,b. 2020 年;使用基准年 (2019) + 点积的分类地图:c. 200 稳定,200 变化;d. 200 稳定,150 变化;e. 200 稳定,100 变化;f. 200 稳定,50 变化;g. 150 稳定,150 变化;h. 150 稳定,100 变化;i: 100 稳定,100 变化;j: 50 稳定,50 变化。

尽管总体精度指标的变化范围相对较小,但不同训练比例下的空间模式却存在显著差异。

较大的训练集并不一定能提高空间连贯性。变化点数量与稳定点数量相等的地图,尤其是每类 50 或 100 个样本的地图,倾向于在异质区域过度预测开发(图 6i-j)。相比之下,相对变化样本较少(图 6f)的配置减少了广泛存在的过度预测变化的问题,但高估了水体等稳定类别。

这些结果强调了训练比例在塑造变化如何分布于景观中的重要性,而这种影响方式是聚合指标无法捕捉的。我们发现,除了定量评估外,还需要进行视觉诊断。

展望未来

我们的研究侧重于年度卫星嵌入和两种主要的变化过程(采伐和开发)。未来的工作将探索多日期分析、跨区域和扰动类型的可迁移性,以及面积加权精度评估,以便更好地量化不确定性和特定类别的误差。

地理空间基础模型和嵌入方法日趋成熟,我们希望为制定使用这些模型及其输出的最佳实践做出贡献。释放卫星嵌入数据集的全部潜力需要仔细的框架设计、采样设计和评估。关于时间结构、训练数据平衡和空间验证的有意选择,与模型选择同样重要。作为地理学家、遥感科学家及其他领域的研究者,我们通过考虑像素所编码的上下文来超越像素——可靠的变化归因不仅取决于更丰富的地理空间表示,还取决于我们如何深思熟虑地使用它们。

致谢

这项工作基于 AlphaEarth Foundations 卫星嵌入数据集,并受益于与 Google Earth Engine 和五大湖清查与监测网络 (GLKN) 社区的合作。

参考

[1] https://doi.org/10.57830/2306722

[2] https://andrewsforest.oregonstate.edu/sites/default/files/lter/pubs/pdf/pub2235.pdf

[3] https://doi.org/10.1016/j.rse.2010.07.008

编者按俄勒冈州立大学研究员 Mina Burns整理分析。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐