图像质量评估|调研
作者 | Ricardo Ocampo
编译 | Arno
来源 | Medium
介绍
图像失真
文献回顾
图像质量评估(IQA)方法主要分为两类：(1)参考(reference)和(2)无参考(reference-less or blind)。参考的算法需要原始(参考认为是高质量的)和失真的图像计算质量分数。基于参考的算法已广泛用于衡量在应用诸如图像压缩，图像传输或图像拼接之类的处理后图像的质量。例如，在图像压缩方面需要权衡取舍；压缩率越高，可感知的图像质量越低。作为另一个示例，拥有一种自动测量图像质量的方法可以帮助公司定义最佳压缩参数，以在不影响用户体验的情况下最大化加载速度。另一方面，无参考侧重于无法访问原始图像的过程。
问题描述
方法
Deep CNN-Based Blind Image Quality Predictor (DIQA)
-
训练可学习objective error map的卷积神经网络(CNN)。 -
使用subjective scores微调CNN。
学习 Objective Error Map
学习 Subjective Opinion
在训练了第一个模型以预测objective error maps之后，使用第一个网络并添加两个全连接层来创建一个新的网络。为了利用不同大小的图像，对Conv8应用全局平均池化(GAP)，并将其变成全连接层。为了补偿丢失的信息，将两个手工特征μ和σ连接到FC1(请参见上图)。该阶段的损失函数定义为：
其中v是应用于Conv8的全局平均池化操作。
Blind Image Quality Estimation via Distortion Aggravation (BMPRI)
失真加重
LBP特征提取
为每个MPRI和失真的图像提取LBP特征。最初，这些特征用于对不同类型的纹理进行分类。
其中，
为简单起见，作者建议P = 4和R =1。
失真图像与MPRI之间的相似度
为了计算失真加重的图像和失真图像之间的相似度，我们将Lo定义为失真图像(Ld)和MPRI (Lm)特征图之间的重叠
其中，
然后质量被定义为：
质量预测
在为所有先前定义的加重计算q分数后，我们需要将所有得到的得分连接到一个特征向量q中，该特征向量q包含失真图像的阻塞，振铃，模糊和噪声效果的描述符。
最后，训练一个回归器，将训练集中图像的质量标签(MOS)映射到特征向量q上。
Blind Image Quality Assessment Based on High Order Statistics Aggregation (HOSA)
HOSA方法是一种混合算法，它利用了无监督学习阶段的功能，该阶段可以检测一组失真图像中的相似块。此步骤称为码本构造(codebook construction)。然后，第二步使用训练数据集来查找每个新块与码本中五个最接近的码字(codewords)之间的相似性以训练回归器。
HOSA算法分为两个不同的步骤:
-
码本构造(Codebook construction)：将一组图像分成N个块，用于创建码本。该码本是一组K个质量相关的码字。
-
高阶统计量汇总(High order statistics aggregation):给定一个新的训练数据集，对于每个新块，将使用它们的高阶统计量来关联5个最近的簇。
局部特征提取
该方法的总体思路是为每个图像找到一组N个归一化的B x B图像块I(i，j)(局部特征提取阶段)，每个块都被归一化然后用于创建特征向量。此过程将应用于初始集的所有图片。作者选择了CSIQ数据库。
码本构造
HOSA不是唯一基于码本的方法。它是一个多个作者遵循的框架，用于自动检测对评估图像质量有用的图像特征。码本框架依赖于将图像划分为信息区域的想法。一个信息丰富的区域称为可视码字，一组可视码字构成可视码本。基于码本框架的方法之间的区别在于创建此类码本的算法。在这种方法中，码字的数量为100。
为了创建码本，给定集合X包含初始数据集的局部特征，可以通过使用KMeans最小化累积近似误差来找到K个中心。
对于每个簇，均值，协方差和协偏度被计算。
高阶统计量汇总
对于训练集中的每个单个局部特征x，通过欧几里得距离选择r个最近的码字rNN(x)。作者建议r = 5。计算簇平均值和r个最近码字之间的残差。
实际上，对于两个不同的特征集，簇k的平均值与指定的r个局部特征的平均值之间的软加权差可能会生成相同的m。因此，计算第二和第三阶统计量以进一步区分不同的质量等级图像。
最后，对于训练集中的每个局部特征x，将为码本中的每个簇计算一阶，二阶和三阶统计量，并将其连接起来以创建单个质量相关的特征向量。
使用质量相关特征向量作为描述符训练回归器以来学习subjective scores。
性能比较
SRCC( Spearman rank-order correlation coefficient)用于比较不同的方法。根据结果，这三种方法的效果相似。他们通常使用质量相关学习特征来计算分数。与依靠手工特征的方法BRISQUE相比，SRCC有了显着提升。
总结
简要介绍了三种最新的图像质量评估方法。所有这些都是基于特征学习来检测图像上的失真。根据作者提供的SRCC分数，这些方法始终优于以前的依靠手工特征来计算图像质量的方法。
参考文献
[1] Kim, J., Nguyen, A. D., & Lee, S. (2019). Deep CNN-Based Blind Image Quality Predictor. IEEE Transactions on Neural Networks and Learning Systems. https://doi.org/10.1109/TNNLS.2018.2829819
[2] Mezghani, LinaWilber, K., Hong, H., Piramuthu, R., Naaman, M., & Belongie, S. (2019). Understanding Image Quality and Trust in Peer-to-Peer etplaces. In 2019 IEEE Winter Conference on Applications of Computer Vision (WACV) (pp. 511–520). IEEE. https://doi.org/arXiv:1811.10648v1
[3] Min, X., Member, S., Gu, K., Zhai, G., & Liu, J. (2018). Blind Quality Assessment Based on Pseudo-Reference Image, 20(8), 2049–2062. https://doi.org/10.1109/TMM.2017.2788206
[4] Min, X., Zhai, G., Gu, K., Liu, Y., & Yang, X. (2018). Blind Image Quality Estimation via Distortion Aggravation. IEEE Transactions on Broadcasting, 64(2), 508–517. https://doi.org/10.1109/TBC.2018.2816783
[5] Xu, J., Ye, P., Li, Q., Du, H., Liu, Y., & Doermann, D. (2016). Blind Image Quality Assessment Based on High Order Statistics Aggregation. IEEE Transactions on Image Processing, 25(9), 4444–4457. Retrieved from https://ieeexplore.ieee.org/abstract/document/7501619/
你也许还想看：
欢迎扫码关注：
点击下方原创文章，作者：fendouai，如若转载，请注明出处：https://panchuang.net/2019/11/09/fd65d8b1ae/
fendouai 