机器学习照进艺术史，这个AI可以鉴别名画

发布时间：2020-08-10 20:58:47 作者：AIBigbull2050
来源：ITPUB博客阅读：125

选自Nature

作者：David Adam

参与：胡曦月、路

机器学习正在帮助专家找出哪位画家画了哪幅作品。

今年三月，一伙艺术品大盗闯入意大利西北部的一座教堂，他们以为自己偷窃的是佛兰德斯画派大师小彼得·勃鲁盖尔（Pieter Brueghel the Younger）的十七世纪作品。然而事实上，当地警察早已得到消息，并将价值三百万欧元的作品《耶稣受难像》（Crucifixion）替换成了廉价的复制品。

公平地说，勃鲁盖尔许多作品确实看起来几乎可以互换，在宾夕法尼亚州的费城艺术博物馆中就悬挂着同样归于他名下的一幅同名相似画作。而且，这两幅画很有可能是小勃鲁盖尔从他独具开创性的父亲老彼得·勃鲁盖尔（Pieter Bruegel the Elder）的另一幅画复制而来，而老勃鲁盖尔的画作同样也严重影响了他另外一个儿子老扬·勃鲁盖尔（Jan Brueghel the Elder）。在那个艺术家多产的世代，艺术家们复制彼此甚至自己的作品，以至于寻找画作的归属简直是噩梦。

加州大学伯克利分校艺术史学家 Elizabeth Honig 致力于研究这些复杂的问题，以揭示北方文艺复兴时期艺术中某个画家创作了哪些作品，以及他又影响了哪些人。现在，她开始寻求计算机的帮助了。

Honig 拥有一个包含 1500 余幅勃鲁盖尔家族画作数字复制品的数据库，而这些作品大部分都被归到 Jan 的名下。2016 年，她与法国和美国的人工智能研究者发起了一个不同寻常的合作，他们部署了一个当时最先进的计算机视觉系统来逐个追踪这些作品，并分析作品之间的相似性。其他艺术史学家也看到了这其中的机会，利用机器学习为之前局限于观看者主观视角的理论和观点提供经验支持。

Honig 称，计算机可以「更容易地获取更多细节」。以风车为例：她的 Breughel 数据库中包含了数百张包含这一元素的画作。算法从多幅画作中获取相同的结构图像，甚至是翻转的情况。它还可以精确定位狮子、狗和其他人物的副本。许多文艺复兴时期艺术家的工作室是联合创作空间，因此计算机技术还可以帮助 Honig 了解不同艺术家之间的合作方式（无论他们是否属于同一家族）。Honig 说：「彼得·保罗·鲁本斯画了一些人物，然后老扬·勃鲁盖尔画马、狗和狮子，最后将它们结合起来。」

基于历史记录和对作品的近距离观察，许多艺术史学家推测小彼得·勃鲁盖尔和老扬·勃鲁盖尔的许多画作都是按照这种方式完成的。而计算机可以帮助证明这一点。Honig 说：「它解决了关于作品创作过程的许多问题。」

在这个项目中，计算机科学家也有自己的考虑。对于他们而言，Honig 的收藏是一个用来扩展算法的完美数据集。法国国立路桥学校（ÉcoledesPonts ParisTech）的计算机视觉和深度学习专家 Mathieu Aubry 称，用算法处理画作挑战了程序的模式匹配能力。其困难取决于媒介和颜色的差异。他解释道：「在未经训练的情况下，计算机视觉无法识别出素描和油画中的房子是一样的。」素描线条清晰，而油画的边缘较为模糊，这种差异可能会使算法混淆。

标注相同对象或者教计算机寻找形状等特定相似性需要耗费大量时间。因此，Aubry 及其同事使用无监督深度学习技术，令算法在输入图片后自行寻找相似性。他认为得到的结果还可以用于 AI 视觉相关的实际应用中，如自动驾驶汽车等。

今年 3 月，他的团队在 arXiv 上发表了相关研究（https://arxiv.org/abs/1903.02678），该研究被 CVPR 2019 接收。Aubry 表示，尽管无监督深度学习通常需要消耗大量算力，但它可以免受人类先入之见的影响。因此，它可以很好地避免偏见，比如只关注图像主要特征。

计算机辨别趋势

新泽西州立罗格斯大学（皮斯卡特维校区）正在使用类似的技术，描绘不同艺术家的风格如何随着时间而定义和发展。艺术史学家 Marian Mazzone 是罗格斯艺术与人工智能实验室的成员，她说：「我们有一些无法证明的理论，计算机科学也许可以帮助我得到关于这些问题的经验性答案。」她与实验室负责人 Ahmed Elgammal 合作，对文艺复兴时期至流行艺术五个世纪以来的 77,000 件艺术品进行了数字分析（相关研究参见：https://arxiv.org/abs/1801.07729）。令团队惊讶的是，计算机使用无监督学习可以将这些艺术作品按时间顺序排列。该项目证实了二十世纪著名艺术史学家 Heinrich Wolffin 的理论。他认为，艺术风格的转变可以根据五种二元特征进行分析和分类。其中之一是作品是「线描」（轮廓主导，如 Sandro Botticelli 的作品）还是「图绘」（更多地依赖于描绘光和影的笔触，如 Tintoretto 的画作）。罗格斯艺术与人工智能实验室负责人 Elgammal 认为，AI 首次使艺术史成为将理论与观察进行对比的预测性科学。

在其他地方，AI 正在用于解决艺术史物质遗产长期以来遭受的问题：损坏。例如，来自加拿大温哥华初创公司 Arius Technology 的 Verus Art 系统正在部署一个 3D 扫描打印系统，对艺术品进行精确复制，甚至可以复制纹理笔触和颜料色调。该系统最初设计目的是研究达芬奇作品《蒙娜丽莎》的损坏。对于教育、外展和存档而言，「备份」画作可能还有另外一种用途：挫败那些比看不出复制品的盗贼眼光更加敏锐的贼。

论文：Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning

论文链接：https://arxiv.org/abs/1903.02678

摘要：该研究的目的是从大量艺术品中发现几乎重复的图案模式。由于艺术媒介（油画、粉彩画、素描等）的差异以及复制过程中的固有偏差，这一目标比标准实例挖掘难度更大。其中的关键技术在于通过使用自监督学习，在特定艺术收藏上对标准深度特征进行微调，使其适应这一任务，具体来说就是使用相邻特征匹配之间的空间一致性作为监督微调信号。经过调整的特征可以实现更精确的匹配（不受风格差异的影响），并且可以与基于几何验证的标准模式发现方法一起使用，以识别数据集中的重复模式。该方法在多个不同的数据集上进行评估，并显示出了非常好的定性发现结果。而在定量评估方面，研究者在老扬·勃鲁盖尔及其工作室的 1587 件艺术品的数据集中标注了 273 个近似重复的细节。除了艺术作品，研究者还展示了算法在 Oxford5K 照片数据集的定位上以及在 LTLL（Large Time Lags Location）数据集上的历史照片定位方面的改进。