1. 磐创AI首页
  2. Medium

基于深度学习算法的超分辨率成像


您的低质量图像是否在困扰您的工作?或者,您希望在图像中看到更小的特征。本文详细介绍了提高图像分辨率应该知道的前5个基于深度学习的算法。

通过看上面的图片,你现在应该已经猜到了:一个人比其他人有更好的感知质量。在介绍增强图像分辨率的算法之前,让我们先了解一下解决此问题的其他方法有哪些。

提高分辨率的方法有两种:基于硬件的方法和基于算法的方法。

基于硬件的方法需要减小像素大小或增加传感器大小。将像素大小减小到小于阈值将导致像素上的光线较少,这将增加散粒噪波。

增加传感器的尺寸会导致系统电容的增加,从而导致电荷传输速率变慢。此外,基于硬件的方法对于大规模成像设备来说是昂贵的,因此算法方法受到青睐。

我已经看了几篇深度学习研究论文,并提炼出了单图像超分辨率算法你应该知道的前5个算法。

SRCNN:

超分辨卷积神经网络。在赵东的一项开创性工作中,使用了卷积神经网络(CNN)。SRCNN可以分为两个部分:上采样和精化。首先,使用双三次插值对图像进行上采样。然后,产生的图像被传递给CNN,通过学习特征来进一步细化。由于最复杂的部分是由双三次完成的,CNN可以很容易地学会生成高质量的图像。

另一方面,由于所有的操作都是在高维空间上进行的,因此SRCNN的训练在计算上是昂贵的。此外,预定义的上采样通常会引入噪声和模糊。

FSRCNN:

快速超分辨卷积神经网络。顾名思义,潮东改进了他以前的工作SRCNN,去掉了上采样(即双三次)的预处理步骤,并在网络末端引入了反卷积层,以便直接从LR图像中学习关系。由于大部分计算是在低维空间进行的,FSRCNN被发现比SRCNN快40倍。FSRCNN实现了实时视频超分辨率。

SRGAN和SRResNet:

随着深度神经网络结构的发展,SR算法变得越来越好。在SRRseNet中,作者采用了当时最先进的网络ResNet作为SR模型,并取得了良好的效果。

在SRGAN之前,大多数SR技术都是最小化均方误差或最大化PSNR,这往往会错过高频细节并产生纹理平滑。由于PSNR表示像素级损失,因此它并不总是产生照片级真实感图像。SRGAN采用了基于GaN的结构,生成器基于ResNet,鉴别器是标准鉴别器。感性损失–对抗性损失和内容损失的结合,以产生逼真的图像。

EDSR:

这项工作是由以前的工作SRResNet推动的。在SRResNet中,作者采用ResNet体系结构在不做任何修改的情况下解决SR问题。RESNET用于解决高级视觉问题,而SR问题属于低级视觉问题。在EDSR中,作者建议从SRResNet体系结构中删除批处理归一化(BN)层,因为归一化特征会使网络失去范围灵活性。此外,与SRResNet相比,无BN的基线模型在训练过程中节省了40%的内存。

ESRGAN:

在这项工作中,作者在GaN-SRGAN的基础上对以前的SR工作进行了改进。在ESRGAN中,对生成器、鉴别器和损失函数提出了三点改进。由于BN层有助于提高泛化能力和降低计算复杂度,因此从生成器中去掉了BN层。它们不使用基本的鉴别器结构,而是使用相对论鉴别器(RAD)。RAD估计真实图像比假图像更真实的概率;标准鉴别器估计给定图像是真是假。使用Rad的生成器从生成的图像和以对手损失的形式的真实图像中获益。最后的修改是关于知觉损失的。ESRGAN建议将其约束在激活层之前,而不是约束激活层之后的特性。因为先前的约定提供了稀疏的特征,这提供了弱的监督。relativistic discriminator

上述方法是解决超分辨问题的有监督方法。为此,通过对高分辨率图像进行下采样,使用低分辨率和高分辨率图像的配对数据集。在现实世界中,低分辨率图像也可能遭受其他类型的退化。此外,在有监督方法的情况下,他们可以学习下采样插值的逆。因此,非监督方法也在开发中。

有用资源:

图像超分辨率深度学习研究综述Deep learning for image super-resolution: A survey

PTKIN/AWESEY-超分辨率ptkin/Awesome-Super-Resolution

带代码的纸张:超分辨率Paper with code: Super-resolution

亚鹏天/单幅图像超分辨率YapengTian/Single-Image-Super-Resolution

LoSealL/VideoSuperResolutionLoSealL/VideoSuperResolution

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2021/08/05/%e5%9f%ba%e4%ba%8e%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e7%ae%97%e6%b3%95%e7%9a%84%e8%b6%85%e5%88%86%e8%be%a8%e7%8e%87%e6%88%90%e5%83%8f/

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息