您的低质量图像是否在困扰您的工作？或者，您希望在图像中看到更小的特征。本文详细介绍了提高图像分辨率应该知道的前5个基于深度学习的算法。

通过看上面的图片，你现在应该已经猜到了：一个人比其他人有更好的感知质量。在介绍增强图像分辨率的算法之前，让我们先了解一下解决此问题的其他方法有哪些。

提高分辨率的方法有两种：基于硬件的方法和基于算法的方法。

基于硬件的方法需要减小像素大小或增加传感器大小。将像素大小减小到小于阈值将导致像素上的光线较少，这将增加散粒噪波。

增加传感器的尺寸会导致系统电容的增加，从而导致电荷传输速率变慢。此外，基于硬件的方法对于大规模成像设备来说是昂贵的，因此算法方法受到青睐。

我已经看了几篇深度学习研究论文，并提炼出了单图像超分辨率算法你应该知道的前5个算法。

SRCNN：

超分辨卷积神经网络。在赵东的一项开创性工作中，使用了卷积神经网络(CNN)。SRCNN可以分为两个部分：上采样和精化。首先，使用双三次插值对图像进行上采样。然后，产生的图像被传递给CNN，通过学习特征来进一步细化。由于最复杂的部分是由双三次完成的，CNN可以很容易地学会生成高质量的图像。

另一方面，由于所有的操作都是在高维空间上进行的，因此SRCNN的训练在计算上是昂贵的。此外，预定义的上采样通常会引入噪声和模糊。

FSRCNN：

快速超分辨卷积神经网络。顾名思义，潮东改进了他以前的工作SRCNN，去掉了上采样(即双三次)的预处理步骤，并在网络末端引入了反卷积层，以便直接从LR图像中学习关系。由于大部分计算是在低维空间进行的，FSRCNN被发现比SRCNN快40倍。FSRCNN实现了实时视频超分辨率。

SRGAN和SRResNet：

随着深度神经网络结构的发展，SR算法变得越来越好。在SRRseNet中，作者采用了当时最先进的网络ResNet作为SR模型，并取得了良好的效果。

在SRGAN之前，大多数SR技术都是最小化均方误差或最大化PSNR，这往往会错过高频细节并产生纹理平滑。由于PSNR表示像素级损失，因此它并不总是产生照片级真实感图像。SRGAN采用了基于GaN的结构，生成器基于ResNet，鉴别器是标准鉴别器。感性损失–对抗性损失和内容损失的结合，以产生逼真的图像。

EDSR：

这项工作是由以前的工作SRResNet推动的。在SRResNet中，作者采用ResNet体系结构在不做任何修改的情况下解决SR问题。RESNET用于解决高级视觉问题，而SR问题属于低级视觉问题。在EDSR中，作者建议从SRResNet体系结构中删除批处理归一化(BN)层，因为归一化特征会使网络失去范围灵活性。此外，与SRResNet相比，无BN的基线模型在训练过程中节省了40%的内存。

ESRGAN：

在这项工作中，作者在GaN-SRGAN的基础上对以前的SR工作进行了改进。在ESRGAN中，对生成器、鉴别器和损失函数提出了三点改进。由于BN层有助于提高泛化能力和降低计算复杂度，因此从生成器中去掉了BN层。它们不使用基本的鉴别器结构，而是使用相对论鉴别器(RAD)。RAD估计真实图像比假图像更真实的概率；标准鉴别器估计给定图像是真是假。使用Rad的生成器从生成的图像和以对手损失的形式的真实图像中获益。最后的修改是关于知觉损失的。ESRGAN建议将其约束在激活层之前，而不是约束激活层之后的特性。因为先前的约定提供了稀疏的特征，这提供了弱的监督。relativistic discriminator

上述方法是解决超分辨问题的有监督方法。为此，通过对高分辨率图像进行下采样，使用低分辨率和高分辨率图像的配对数据集。在现实世界中，低分辨率图像也可能遭受其他类型的退化。此外，在有监督方法的情况下，他们可以学习下采样插值的逆。因此，非监督方法也在开发中。

有用资源：

图像超分辨率深度学习研究综述Deep learning for image super-resolution: A survey

PTKIN/AWESEY-超分辨率ptkin/Awesome-Super-Resolution

带代码的纸张：超分辨率Paper with code: Super-resolution

亚鹏天/单幅图像超分辨率YapengTian/Single-Image-Super-Resolution

LoSealL/VideoSuperResolutionLoSealL/VideoSuperResolution