LuoJiaNET遥感专用深度学习框架,是遥感领域首个自主可控的专用机器学习框架。针对遥感数据像幅尺寸大、数据通道多、尺度变化大等特性,具备内存可扩展、尺度通道灵活创建、数据通道自主优选、框架与数据协同处理的特点。其与国产人工智能硬件NPU深度融合,可支持CPU、GPU、NPU等计算设备,形成融合探测机理与地学知识的统一计算图表达、编译优化、图算融合、自动混合并行的新一代遥感智能解译框架。LuoJiaNET构建了针对遥感影像“场景-目标-像素”多层级任务的遥感应用模型,包括场景检索、目标检测、地物分类、变化检测、多视角三维重建等五大类模型。
LuoJiaSET是遥感领域满足OGC标准的大规模遥感影像样本库,其制定了支持全球范围的遥感影像样本分类标准、标注规范,建立涵盖不同遥感任务的统一分类体系,形成样本要素的采集要求、内容和流程规范,可支持多级别、多类型遥感影像样本库的采集、制作、管理、共享、应用。针对当前现有样本数据集面临的问题:1)分类体系不统一。2)样本数据集传感器种类单一,通常样本库都是全色或者RGB彩色,缺少高光谱、红外、SAR遥感影像的样本;且通常是二维数据,缺乏三维数据。3)现有数据空间跨度有限、时间覆盖不均,导致模型泛化能力弱。4)样本集受标注人员水平限制,质量参差不齐。LuoJiaSET建立统一类别体系,提供大量数据集,其覆盖范围广、时间跨度大、涵盖传感器种类多,同时提供标准化的标注工具,大幅提升影像标注效率。
基于自研LuoJiaNET框架,使用数据通道自适应优选模块,对高光谱遥感影像(尺寸为200×145×145,分辨率为20m)进行直接处理得到的分类结果为:
kappa
OA
93.46
94.06
96.68
97.03
大量实验表明:在植被指数、干旱指数、建筑物指数、地形指数等多个遥感经验知识模型引导下,深度网络的分类性能可以得到较为明显的提升。
LoU
PA
UA
F-Score
81.06%
89.42%
89.65%
89.53%
69.73%
80.92%
83.45%
82.16%
81.06%
91.16%
87.97%
89.53%
68.68%
80.92%
81.94%
81.42%
28.88%
46.33%
43.40%
44.81%
34.91%
58.32%
46.52%
51.75%
33.66%
44.04%
58.81%
50.36%
56.85%
70.15%
70.24%
69.93%
LoU
PA
UA
F-Score
81.06%
89.42%
89.65%
89.53%
69.73%
80.92%
83.45%
82.16%
81.06%
91.16%
87.97%
89.53%
68.68%
80.92%
81.94%
81.42%
28.88%
46.33%
43.40%
44.81%
34.91%
58.32%
46.52%
51.75%
33.66%
44.04%
58.81%
50.36%
56.85%
70.15%
70.24%
69.93%
基于自研LuoJiaNET框架,使用算子等价分解的分布式计算方式,对整张大幅遥感影像(尺寸为4×6000×6000,分辨率为2m)进行直接处理得到的分类结果:
处理策略对比(Backbone=FCN8S) | GID 数据集(15类地物) |
---|---|
Overall | |
mIoU | |
基于Pytorch传统影像切分处理(1 x 4 x 7200 x 6800 - > N x 4 x 513 x 513) | 53.80 |
基于LuoJiaNET整幅影像直接读取处理(1 x 4 x 7200 x 6800 - > 1 x 4 x 7200 x 6800) | 62.90 |
数据集:73个 (武大19个)
原始样本数量:约143万张
折算512×512尺寸:约256万张
多光谱样本:5个 (62万张)
高光谱样本:1个
SAR影像样本:4个(1.3万张)