你有没有想象过通过文森特·梵高、巴勃罗·毕加索或瓦西里·康定斯基的眼睛看世界–一个充满笔触和画笔的世界。如果我告诉你我们每个人都有一个小小的达利呢？你所需要的只是你最珍贵的照片，你最喜欢的艺术品和一些神经风格的转换-瞧，一个新的艺术家诞生了！

什么是风格迁移，什么是神经风格迁移？

让我们从一些基本的定义开始。在样式传输中，我们希望将内容图像转换为与第二个图像(例如图稿)的样式相匹配。

尽管没有风格的一般定义，但作为一个人，我们仍然可以很容易地提取与风格相关的属性，比如色彩组成、简单的形状或不同的绘画技巧。更重要的是，我们能够定义抽象的、更笼统的特征，比如大气。

传统上，手工制作的样式特征被用来转换图像。神经样式转换自动进行特征提取和样式化。

基本上，人们通过将特征映射的每个位置处的通道激活视为单个样本来定义每个卷积层上的经验度量，从而自然地忽略空间位置。因为我们使用的是预先训练好的CNN，所以假设浅层编码颜色和形状等基本信息，而深层编码样式图像的更抽象的属性。

当前的方法及其瓶颈

目前的方法可分为三大类：最大均值差异法、矩匹配法和最优传输法。这些都是广为人知的数学概念，广泛用于分布对齐，但我们不会在这篇文章中详细解释它们。如果您想更多地了解它们是如何定义的，请务必查看我们的论文。our paper

虽然将样式作为特征分布的想法很吸引人，但从统计角度来看，所有这三个类别都与优化调整特征分布的目标相矛盾。

• 基于MMD的方法依赖于特别非特征的简单核[1，2]。
• 同样，矩匹配的变体只考虑第一和/或第二矩[3]。
• 最优传输受到高计算成本的阻碍，目前在NST中仅使用高斯近似[4]。

神经风格转换的中心矩差

为了克服或至少减少这些限制，我们建议用中心矩差异来定义样式损失[5]。CMD是具有归一化系数向量和集中矩的多项式函数空间上的积分概率度量(IPM)。它的对偶表示由所有高阶集中矩定义。

它显式匹配所有导致自然几何关系(如均值、方差、偏度或峰度)的高阶中心矩。更重要的是，它允许理论上合理的近似，因为当分布定义在紧致区间上时，高阶矩的贡献收敛到零。

从上面的玩具示例可以看出，CMD可以更准确地匹配分布，因此它也可以更好地对齐两幅图像的样式分布，并将其应用于神经样式转换。

示例结果

我们也来看看我们的一些定性结果。下面我们可以看到康定斯基、毕加索、梵高和格哈德·里希特的四幅著名艺术品和他们的肖像。

现在我们用他们自己的作品来设计他们的肖像！

结论

在这篇文章中，我们重新讨论了神经风格转移的解释，即在神经网络的卷积层中对齐特征分布。在这一点上，现有的方法只匹配一阶矩和二阶矩。相反，我们的方法可以被解释为最小化积分概率度量，或者将所有中心矩匹配到期望的阶数，从而更忠实地对齐风格分布。

如果您想了解更多关于现有方法的详细信息和理论背景，请务必查看我们的CVPR21论文和网站https://cmdnst.github.io/.https://cmdnst.github.io/

题名/责任者：The First of the Konrad Schindler，and Konrad Schindler，and Konrad Schindler.“根据特征分布：用于神经风格转换的矩匹配。”IEEE/CVF计算机视觉和模式识别会议论文集。2021年。

参考文献

[1]Leon A Gatys，Alexander S Ecker和Matthias Bethge。基于卷积神经网络的图像风格转换。在CVPR，2016。[2]李阳浩，王乃艳，刘家英，侯晓迪。揭开神经风格转换的神秘面纱。arxiv预印本arxiv：1701.01036,2017年。[3]黄勋、塞吉·贝朗吉。具有自适应实例标准化的任意样式实时传输。在ICCV，2017年。[4]优素福·穆鲁(Youssef Mroueh)。沃瑟斯坦风格转换。在AISTATS，2020年。[5]维尔纳·泽林格、伯恩哈德·A·莫泽、托马斯·格鲁宾格、埃德温·卢格霍费尔、托马斯·纳施莱格和苏珊·萨明格-普拉茨。基于矩对齐的神经网络鲁棒无监督区域自适应。信息科学，483：174-191,2019年。