1. 标题

· 基于边缘约束的多尺度建筑物实例提取网络

· Multi-Scale U-Shaped CNN Building Instance Extraction Framework With Edge Constraint for High Spatial Resolution Remote Sensing Imagery

2. 成果信息

Yuanyuan Liu, Dingyuan Chen, Ailong Ma, Yanfei Zhong, Fang Fang, Kai Xu “A Multi-Scale U-Shaped CNN Building Instance Extraction Framework With Edge Constraint for High Spatial Resolution Remote Sensing Imagery”. IEEE Transactions on Geoscience and Remote Sensing，0196-2892，1558-0644，2020, 10.1109/TGRS.2020.3022410

该工作由装备预研航天科工联合基金项目资助。

3. 成果团队成员

刘袁缘，女，第一作者，中国地质大学（武汉）软件工程系副教授，研究方

向计算机视觉、模式识别；

陈鼎元，男，武汉大学硕士研究生，研究方向遥感目标检测；

马爱龙，男，通信作者，武汉大学特聘副教授，博士，研究方向遥感目标识

钟燕飞，男，武汉大学教授，优青，研究方向高分辨率遥感影像信息提取与

场景分析;

方芳，女，中国地质大学（武汉）软件工程系副教授，研究方向智能信息处

理（图象场景分类及其应用）；

许凯，男，中国地质大学（武汉）测绘系讲师，研究方向高分辨率遥感图像

处理.

4. 成果介绍

基于高分遥感影像的建筑物实例提取，有助于加强军事实力，提升侦察及精确制导的高效性和精准性，对及时获取战场的态势情报，确保战场主动权和取得军事行动的成功都具有重要的作用。然而，全球建筑物在尺度变化、形态结构、地理分布等特性上存在显著差异。基于高分辨率遥感影像进行建筑物提取存在如下科学问题：1）多尺度特性。考虑分辨率差异，该问题可分为两个子问题：跨分辨率遥感影像的多尺度特性和单幅遥感影像中的多尺度特性。同一建筑物在跨分辨率多源遥感数据中存在尺度差异，一个主流研究思路是领域自适应。单幅遥感影像中存在多尺度的建筑物，常用的解决方案是影像金字塔及多尺度特征，但效果并不尽如人意；2）邻近建筑物遮挡。建筑物分布于三维空间，在遥感传感器探测方向上可能发生重叠和遮挡。遮挡的建筑物不仅不利于计数，而且加大建筑面积统计的难度。这给地籍数据入库带来不便，一个研究思路是提取实例掩膜（基于单个建筑物目标的屋顶轮廓）以区分重叠的建筑物；3）建筑物边缘锯齿化。建筑物边缘通常呈光滑的直线形，但大部分提取方法基于像素点的分类，导致建筑物边缘不平滑，与实际形态表征矛盾。

为了解决上述问题，本课题提出基于边缘约束多尺度U形CNN的建筑实例提取框架（Multi.Scale U.Shaped CNN Building Instance Extraction Framework With Edge Constraint，EMU.CNN）自动提取高分辨率遥感影像中建筑物实例掩膜。该模型由三部分组成：1）多尺度融合U形反卷积神经网络（multi.scale fusion U.shaped network，MFUN）；2）基于注意力机制的实例提取网络（instance proposal attention network，IPAN）；3）基于边缘约束的多任务损失（edge.constrained multi.task network，ECMN）。在模型中,MFUN包含三个平行的分支学习多分辨率多尺度深度特征，然后IPAN对建筑物实例进行检测以区分相互遮挡的建筑物，最后，ECMN根据建筑物实例提取精确的实例掩膜并有效避免过拟合。EMU.CNN模型在两个公开的数据集（ISPRS Vaihingen semantic labeling contest dataset、WHU aerial image dataset）上进行测评，结果显示该模型具有良好的性能并在多尺度建筑物提取上有较好的鲁棒性。

图1 EMU-CNN整体框架图

图2 各种复杂情况下的EMU-CNN实例提取效果图