初识LuoJiaSet和LuoJiaNet

相关遥感云计算平台

存在问题：

• 缺乏一个标准的大规模图像智能解读任务的样本数据库，使用户能够有效地检索、访问、标记和分享数据。
• 忽略了遥感数据的幅尺寸大、尺度变化大、多数据通道、地理知识嵌入等特点，从而影响了计算效率和准确性。

LuoJiaSET

LuoJiaSET拥有一个广泛的公开可用的图像解释样本数据库，包括来自各种卫星和航空成像系统的光学和非光学数据类型的遥感样本数据集。所有这些样本数据集在LuoJiaSET中被一个标准的大型数据库很好地组织起来，可以有效地检索、访问、标注和分享，消除了与数据管理和计算有关的障碍。用户可以使用LuoJiaSET应用层的数据服务接口和具有OGC标准的网络控制台提供的操作员库来访问和分析数据。
关于OGC标准：

1. 免费和公开。它们是免费的，不受专利和其他知识产权的限制。
2. 非歧视性。何人、任何组织、任何时间、任何地点都可以使用这些工具，没有任何限制。
3. 无许可证费用。任何时候都不收取使用费。
4. 供应商中立。其内容和实现概念而言，他们是供应商中立的，不偏袒任何供应商。
5. 数据中立。准独立于任何数据存储模型或格式。
6. 基于协商一致意见。们由正式的、成员驱动的共识过程定义、记录和批准。共识小组仍然负责变更，没有一个实体控制标准。

相关链接：
https:// www.ogc.org/projects/groups/trainingdmlswg

多源样本数据整合

对现有开源数据集的原有分类方案进行改造，并映射到LuoJiaSET采用的统一的、可扩展的新分类方案中。所有的样本数据都在LuoJiaSET样本数据库设计的统一编码规则和关系数据库结构下进行转换，并建立全局查询，用于多维度的检索和数据分析。所有样本数据集的信息，包括元数据、属性表、分类方案和版权，都存储在其相应的元数据表中，以方便追溯、质量控制和所有权识别。

人机互动的众包样本采集

在遥感领域，标签采样成本高、工作量大，对样本注释者的专业地理知识要求高。因此，我们提出了一个自动/半自动的组合标签工具，以提高标签采样的效率和准确性。这个工具的主要目的是让参与者与经过训练的网络模型得到的自动解释结果进行互动，并试图减少识别错误。经专业人员在线验证后，符合质量要求的样本将被样本库接受。

样本共享平台

LuoJiaSET开发了一个开源的遥感解译样本共享平台，提供多维检索的全局查询、数据统计分析和数据共享服务等功能。

• 基础设施层由分布式存储系统、DL图形处理单元（GPU）集群、文件系统、数据库系统以及华为武汉人工智能计算中心的对象存储服务的现代网络环境构建。
• 数据存储层提供多源遥感数据的存储、扩展、维护和版权保护的能力。
• 数据访问层提供数据访问和操作的API，支持多维语义查询和数据交付服务。
• 应用层为用户提供更高级的数据访问和分析的在线功能，如时空数据挖掘、样本属性的统计分析和整个数据库的知识发现。

LuoJiaNET

LuoJiaNET遥感专用深度学习框架，是遥感领域首个自主可控的专用机器学习框架。针对遥感数据像幅尺寸大、数据通道多、尺度变化大等特性，具备内存可扩展、尺度通道灵活创建、数据通道自主优选、框架与数据协同处理的特点。其与国产人工智能硬件NPU深度融合，可支持CPU、GPU、NPU等计算设备，形成融合探测机理与地学知识的统一计算图表达、编译优化、图算融合、自动混合并行的新一代遥感智能解译框架。LuoJiaNET构建了针对遥感影像“场景-目标-像素”多层级任务的遥感应用模型，包括场景检索、目标检测、地物分类、变化检测、多视角三维重建等五大类模型。
LuoJiaNET还开发了一个带有可视化建模工具的前端应用平台，提供在线模型服务（如模型创建、模型训练和模型部署），以提高用户的工作效率。用户可以在LuoJiaNET主页上注册，以获得用户指南、教程、模型实例、功能参考和教育课程。

LuoJiaNET支持大幅面处理

基于自研LuoJiaNET框架，使用算子等价分解的分布式计算方式，对整张大幅遥感影像（尺寸为4×6000×6000，分辨率为2m）进行直接处理得到的分类结果：

处理策略对比（Backbone=FCN8S）	GID 数据集（15类地物）
	Overall
	mIoU
基于Pytorch传统影像切分处理（1 x 4 x 7200 x 6800 - > N x 4 x 513 x 513）	53.80
基于LuoJiaNET整幅影像直接读取处理（1 x 4 x 7200 x 6800 - > 1 x 4 x 7200 x 6800）	62.90

间接缓冲区组的映射

LuoJiaNET提出了一个内存可扩展性模块来构建局部特征和全局空间背景的相关缓冲区，以支持大规模的图像加载、映射和学习。大规模图像根据标记的数据被划分为不同的全局相关缓冲区。保留在全局相关缓冲区的指针被称为全局间接缓冲区（GCP）单元。在GCP单元中，构建四叉树空间索引的技术，以获得每个局部情境处理（LCP）单元中的情境特征。GCP单元和LCP单元的特征在内存可扩展性模块中被串联起来，并由网络模型中的通用矩阵乘法单元进行加权，以实现全局-局部语境表示和学习。

分布式运算符分解

在这个策略中，大规模的输入图像需要被切割并分配给多个训练卡。该方法的核心是将原始的大尺度输入特征分解成若干小块特征进行网络计算。这些小的特征通过图像拼接技术进行组合并恢复到原来的尺寸，使得计算结果等同于最初的大规模输入尺寸计算。因此，一张训练卡只需要负责大尺度输入图像的一小块，从而大大降低了对设备内存的要求。

LuoJiaNET支持通道优选

基于自研LuoJiaNET框架，使用数据通道自适应优选模块，对高光谱遥感影像（尺寸为200×145×145，分辨率为20m）进行直接处理得到的分类结果为：

Model	AVIRIS Indian Pines（16类地物）
	Overall	Overall
	kappa	OA
Baseline（ResNet-18）（Input=1 x 200 x 145 x 145 - > 1 x 30 x 25 x 25）	93.46	94.06
+ 数据通道优选（每一类地物优选出256个维度的特征）	95.68	97.03

自适应规模内存池

LuoJiaNET构建了一个尺度存储池，用于自适应存储、学习和优化多尺度堆叠图像特征。该方法的关键技术包括：

1. 多尺度图像金字塔构建。与Laplacian尺度空间构建类似，引入高阶金字塔以减少构建图像金字塔时的尺度变化损失。
2. 尺度记忆池构建。对于每个LCP单元图像特征，其当前尺度、上一尺度和下一尺度图像都存储在尺度存储池中。在每个网络训练迭代中，尺度记忆池堆叠多个尺度特征，并将它们发送到DL网络中进行自适应学习。
   

动态特征选择过滤器

LuoJiaNET提出了一种基于动态特征选择过滤器的自适应优化方法，以适应性地学习和优化数据通道。这种优化方法使用固定的内存阵列大小来动态存储和更新端到端网络训练中的最佳特征。预测值和标签之间的相似度是动态特征选择过滤器中为每个地面物体引入高质量特征的标准。这些高质量的特征将被作为额外的权重来指导网络训练。

LuoJiaNET支持遥感经验知识引导

LuoJiaNET提出了一种嵌入地理知识的自动并行计算策略，用于处理不同类型的遥感图像。通过开发先验地理知识提取（如图像纹理、边界和基于物理的特征提取）的特定算子，将这些先验知识集成到LuoJiaNET框架的多维混合自动并行计算的代价函数中，从而实现在有向无环图在多个硬件设备上的最优计算分配。自动并行的成本函数包含：

1. 设备间传输运算器的延迟和带宽通信成本。
2. 基于自动并行策略的不同设备上的操作成本。
3. 并行训练中基于地理知识的成本。在实验中，我们选择遥感图像的灰度共现矩阵（GLCMs）作为先验地理知识。
   

大量实验表明：在植被指数、干旱指数、建筑物指数、地形指数等多个遥感经验知识模型引导下，深度网络的分类性能可以得到较为明显的提升。

是否利用先验知识	未利用	利用后
Metric	LoU PA UA F-Score	LoU PA UA F-Score
Forest	81.06% 89.42% 89.65% 89.53%	81.58% 92.00% 87.80% 89.85%
Cropland	69.73% 80.92% 83.45% 82.16%	69.33% 79.70% 84.20% 81.88%
Water	81.06% 91.16% 87.97% 89.53%	82.22% 92.16% 88.40% 90.24%
Built-up Area	68.68% 80.92% 81.94% 81.42%	69.57% 80.11% 84.09% 82.05%
Grassland	28.88% 46.33% 43.40% 44.81%	27.65% 41.22% 45.66% 43.32%
Wetland	34.91% 58.32% 46.52% 51.75%	39.31% 55.71% 57.19% 56.44%
Unused Land	33.66% 44.04% 58.81% 50.36%	36.56% 46.79% 62.57% 53.54%
Overall	56.85% 70.15% 70.24% 69.93%	58.03% 69.67% 72.84% 71.04%

参考资料

• https://www.mindspore.cn/largeModel/luojia
• https://www.hiascend.com/software/modelzoo/models/detail/L/519276e10bd211eca5a90242ac110002/1
• https://www.mindspore.cn/news/newschildren?id=2097&highlight=lujianet
• Zhang Z, Zhang M, Gong J, et al. LuoJiaAI: A cloud-based artificial intelligence platform for remote sensing image interpretation[J]. Geo-spatial Information Science, 2023: 1-24.