【半监督光谱退化约束网络：Spectral Super-Resolution】

Semisupervised Spectral Degradation Constrained Network for Spectral Super-Resolution

（基于半监督光谱退化约束网络的光谱超分辨）

最近，已经设计了各种基于深度学习的方法来提高多光谱图像（MSI）的光谱分辨率以获得高光谱图像（HSI）。这些方法通常依赖于足够的MSI/HSI对进行监督训练。然而，收集大量的HSI是耗时的。在这封信中，半监督光谱退化约束网络（SSDCN）提出了提高光谱分辨率的MSI。SSDCN是自动编码器类网络，其由用于从输入MSI估计HSI的编码器子网络和用于从估计的HSI重构MSI的解码器子网络组成。提出了一种半监督训练方法来探索MSI/HSI对和没有地面真实HSI的MSI以优化SSDCN。模拟和两个真实的数据库，以证明SSDCN的有效性。

INTRODUCTION

高光谱遥感成像可以记录数百个光谱波段，有助于区分观测场景的内在物质。高光谱图像（HSI）具有各种应用，例如土地覆盖制图和智能农业。然而，由于硬件的限制，难以有效地获取遥感HSI，这会限制HSI的应用范围。幸运的是，多光谱遥感成像技术成熟且快速。由于多光谱图像（MSI）可以收集某些光谱波段，因此MSI的光谱超分辨率已经显示出通过提高MSI的光谱分辨率来有效地获得HSI的巨大潜力。
最近，在遥感界，已经提出了许多方法来光谱超分辨MSI，并且可以大致总结为基于稀疏表示的方法和基于深度学习的方法。基于稀疏表示的方法探索各种HSI先验（例如，低秩先验）从训练样本中提取高光谱字典。然后，所需的HSI可以通过集成提取的高光谱字典和稀疏系数的MSI重建。然而，由于基于稀疏表示的方法通常将3-D MSI视为2-D矩阵，因此不能完全利用MSI的空间信息来重建HSI。由于MSI中的相邻像素可以共享相似的光谱，因此来自相邻像素的空间信息有利于重建HSI。
基于深度学习的方法设计了各种卷积网络来学习MSI和HSI之间的非线性映射。在这些方法中，卷积网络可以简单地分解为多光谱特征提取模块、高光谱特征生成模块和重建模块。首先，在多光谱特征提取模块中将MSI转换为多光谱特征。然后，在高光谱特征生成模块中，将多光谱特征映射为高光谱特征。最后，在重建模块中基于高光谱特征重建期望的HSI。在基于深度学习的方法中，3-D MSI被直接用作输入，其中MSI的光谱特征和空间信息都可以被探索以重建HSI。然而，最近的基于深度学习的方法是监督方法，其需要足够的配对MSI和相应的地面真实HSI用于监督训练。收集大量的HSI作为地面事实是耗时的。在实践中，捕获MSI比捕获HSI更容易。因此，如何利用这些没有地面实况HSI的MSI来提高重建性能是一个迫切的问题。
在这篇论文中，半监督光谱退化约束网络（SSDCN）提出了提高光谱分辨率的MSI。受经典自动编码器网络的启发，将输入图像作为重建对象进行训练，一个类似自动编码器的结构被专门设计用于探索没有地面真实HSI的MSI。然而，经典的自动编码器网络专注于提取图像表示，其不能直接应用于光谱超分辨率MSI。建议的SSDCN利用适当的自动编码器的结构来学习MSI-HSI映射。SSDCN的总体框架如图1所示。在这里插入图片描述
SSDCN由串联的编码器子网络和解码器子网络组成，其中编码器子网络被利用去学习用于从输入MSI估计HSI的MSI-HSI映射，并且解码器子网络用于基于重构的HSI来重构MSI。根据最近基于深度学习的方法的一般结构，这篇论文提出了一个频谱超分辨率子网络（SSRS）作为SSDCN的编码器子网络。

贡献

1）为了探索用于频谱超分辨率的没有地面实况HSI的MSI，提出了一种类似自动编码器的SSDCN，其中编码器子网络用于从输入MSI估计HSI，并且解码器子网络用于从估计的HSI生成MSI。
2）为了确保所提出的方法可以学习适当的MSI-HSI映射，提出了一种半监督训练方法，以充分利用MSI/HSI对和没有地面真实HSI的MSIs来优化SSDCN。
3）在一个模拟数据库和两个真实的数据库上的实验结果证明了SSDCN的有效性。

PROPOSED METHOD

Problem Formulation

设X ∈ $R^{W×H×B~m~}$ 表示一个MSI，Y ∈ $R^{W×H×B~h~}$ 表示它的真实HSI，其中W是宽度，H是高度，B_m是MSI X中的频带数，B_h（B_m<<B_h）是HSI Y中的频带数。根据观测模型，MSI X可以被视为HSI Y的光谱退化，其可以用公式表示为在这里插入图片描述
MSI的光谱超分辨是光谱退化的逆过程，是一个高度不适定的问题。为了增强MSI的光谱分辨率，可以利用深度网络来学习MSI-HSI映射ψ 。令Y’∈ $R^{W×H×B~h~}$ 表示使用MSI-HSI映射ψ从X重构的HSI，其中重构的Y’可以公式化为：在这里插入图片描述
此外，根据（1），如果学习的MSI-HSI映射ψ是最佳的，则重构的HSI Y’可以通过频谱退化映射Φ在频谱上退化到原始MSI X，其可以公式化为
因此，（3）可以用作谱退化约束以促进MSI-HSI映射Φ的学习。然而，遥感中的MSI/HSI成像过程经常受到大气和仪器噪声的干扰，这使得难以获得准确的光谱退化映射Φ。
在这篇论文中，提出了一种自动编码器式SSDCN，将MSI-HSI映射ψ的学习和谱退化映射Φ的估计集成到一个统一的框架中。编码器子网络用于学习MSI-HSI映射ψ。解码器子网络用于估计频谱退化映射Φ，这使得（3）用作频谱退化约束以促进最优MSI-HSI映射ψ的学习。

Proposed SSDCN

如图1中，SSDCN的结构由作为编码器子网络的SSRS和作为解码器子网络的SDS组成。SSRS和SDS的详细介绍如下。在这里插入图片描述

1)SSRS：所提出的SSRS旨在学习用于光谱超分辨MSI的MSI-HSI映射ψ。在MSI中，多光谱像素包含某些光谱特征，这些光谱特征是学习MSI-HSI映射的重要线索。此外，由于MSI中的相邻像素通常对应于相同的对象，因此相邻像素可能具有相似的光谱特征，这也有助于学习MSI-HSI映射。因此，在SSRS中，利用MSI的光谱特征和空间信息来学习MSI-HSI映射ψ。在这里插入图片描述

在SSRS中，为了利用MSI的光谱特征，光谱模块被设计成在光谱维度上从MSI提取光谱特征。为了探索MSI的空间信息，在光谱模块之后添加空间模块以进一步从相邻像素提取空间特征。光谱和空间模块都由两个相同的残差注意块组成。如图2、在残差注意力块中，首先利用两次卷积提取卷积特征。然后，采用现有的光谱注意模块来探索光谱带的校正。光谱注意力模块的细节可以在文献[19]中找到。在谱模块中，卷积的核大小被设置为1 × 1，以提取谱维中的谱特征。在空间模块中，卷积的核大小设置为3 × 3，以从相邻像素中提取空间特征。频谱和空间模块中的卷积核的数量是128。
SSRS的结构类似于最近的基于深度学习的方法。SSRS还包括多光谱特征提取模块、高光谱特征生成模块和用于学习MSI-HSI映射ψ的重建模块。首先，在多光谱特征提取模块中，利用1 × 1卷积来提取多光谱特征。然后，在高光谱特征生成模块中，利用光谱模块和空间模块来获取高光谱特征。最后，在重构模块中，利用1 × 1卷积对HSI进行重构。
2)SDS：为了利用光谱退化约束，SDS的结构受到光谱退化的物理过程的启发，以估计光谱退化映射Φ。根据HSI和MSI成像原理，光谱退化的物理过程可以建模为从HSI Y到MSI X的光谱重采样，其可以通过光谱响应函数（SRF）来近似。事实上，（4）可以被视为1 × 1卷积运算，其中C（t，：）是第t个卷积核。因此，SDS的结构配置有1×1卷积以模拟光谱退化过程，其中该1×1卷积中的内核数量等于MSI的频带数量。如果SRF C已知，则C的值可以直接用作该1 × 1卷积的权重参数。
由于SSDCN是自动编码器类网络，因此SSDCN的损失函数包括MSI重构误差。此外，由于SSDCN需要估计HSI，因此SSDCN的损失函数还包括HSI估计误差。当现有MSI/HSI对用于监督训练时，SSDCN的损失函数可以公式化为在这里插入图片描述

Semisupervised Training

进一步提出了一种半监督训练方法，以利用MSI/HSI对和没有地面实况HSI的MSIs来优化SSDCN。SSDCN是一种类似自动编码器的网络，它不一定依赖于地面实况HSI进行训练。然而，由于没有地面实况HSI的MSI不能提供关于MSI-HSI映射的信息，因此我们不能仅利用没有地面实况HSI的MSI来训练SSDCN。MSI/HSI对对于促进SSDCN学习最佳MSI-HSI映射是必要的。当使用没有地面实况HSI的MSI进行训练时，将不计算HSI估计误差。SSDCN在半监督训练中的损失函数如下：在这里插入图片描述
其中，M是训练批次中不具有地面实况HSI的MSI的数量，N是训练批次中MSI/HSI对的数量，当Xn具有地面实况HSI时，lss（Xn）等于1，否则，lss（Xn）等于0。在半监督训练中，M和N之间的比率δ = M/N是重要的，因为太多没有地面真实HSI的MSI将干扰学习最佳MSI-HSI映射。在第III-B节中，进行实验以获得δ的适当值。由于SDS仅旨在促进SSRS学习最佳MSI-HSI映射，因此在测试期间仅需要SSRS来重构期望的HSI。