经过 8 万画作+人工注释训练，算法学会‌赏析名画

转载：本文来自微信公众号“HyperAI超神经”（ID:HyperAI），作者：神经小兮，转载经授权发布。

内容提要：

艺术作品往往寄托住作者内心嘅情感，人欣赏一支乐曲、一幅画作，都会产生情感共鸣。计算机又能否理解艺术画作中嘅情感？斯坦福大学嘅研究团队正喺度开发呢一算法。

列夫·托尔斯泰说过：「艺术是一种人类活动，一个人通过某种外在符号，有意识地将自己经历过嘅感受传达畀人哋，而人哋都会被呢啲感受所感染，真切地体验到呢啲感受。」

以艺术画作为例，每一幅作品嘅背后，都蕴藏住画家嘅某种情感。梵高、毕加索等著名画家，都曾在不同创作时期，通过不同色彩、构图等，表达自己当时所特有嘅心境同情绪。

梵高嘅《向日葵》同毕加索嘅《老吉佢手》

计算机能否理解呢啲艺术画作中所蕴含嘅感情色彩呢？斯坦福大学嘅计算机科学研究团队，收集‌一个名为 ArtEmis 嘅新数据集，包含大量嘅艺术画作及人工标注嘅相应情感体验，并训练出能够对视觉艺术产生情感反应嘅计算机模型。

理解画作，从情感标记数据集开始

 WikiArt：线上名画博物馆 

非营利性嘅志愿项目 WikiArt，自 2010 年上线至今，收录‌来自世界各地嘅视觉艺术作品，堪称大型线上名画博物馆。

据该网站数据显示，截至 2020 年 1 月，该网站共收录来自 3293 位艺术家嘅 169057 件画作，包括 61 个流派。

WikiArt 主页展示，作品可按流派、风格、

或艺术家国籍、所处年代等分类检索

WikiArt 上面画作数量庞大、分类清晰，因此都成为好多 AI 领域研究者用来训练算法嘅数据集。

2015 年，罗格斯大学同 Facebook AI 实验室嘅研究人员，合作开发‌ GAN（生成对抗网络），就喺 WikiArt 数据上对其进行‌训练，让 GAN 能够区分不同风格嘅艺术。

ArtEmis：诞生于 WikiArt 嘅新数据集 

斯坦福大学团队则基于 WikiArt 上嘅作品，创建‌一个新嘅视觉艺术标注数据集 ArtEmis。

佢们对 WikiArt 上 1119 位艺术家嘅 81446 件艺术作品，一一进行‌标注。呢啲作品包括从 15 世纪创作嘅艺术作品，到 21 世纪创作嘅现代美术画，涵盖‌ 27 种艺术风格(抽象、巴洛克、立体主义、印象主义等)和 45 种流派(城市景观、风景、肖像、静物等)，畀观众带来非常多样化嘅视觉冲击。

其度，每个作品要求至少 5 个标注者，写出佢们睇到这幅画作时嘅主导情绪，并解释产生呢种情绪嘅原因。

具体嚟讲，要求标注者在观察一件艺术品后，先从 8 种基本情绪状态（愤怒、厌恶、恐惧、悲伤、娱乐、敬畏、满足和兴奋）度，选一种自己所感受到嘅主要情绪，如果以上 8 种情绪都唔系，都可以标注「第啲」。

标注‌情绪感受之后，标注者需要再用文字，进一步解释自己点解产生呢种感觉，或者点解没有任何强烈嘅情绪反应。

以下为人工标注者为画作标注嘅情感标签，以及详细解释：

这份标注工作最终由亚马逊众包平台嘅 6377 名标注者完成，总共耗时 10220 个个钟头。

团队表示，同第啲现有同类数据集相比，ArtEmis 嘅标注使用‌更加丰富、感性且多样化嘅语言，呢啲标注形成嘅语料库，共包含‌ 36347 个不同嘅词语。

ArtEmis 数据集

视觉艺术嘅情感标记数据集

发布机构：斯坦福大学，巴黎综合理工学院以及阿卜杜拉国王科技大学

包含数量：共 439121 条画作标注

数据格式：csv

数据大小：21.8 MB

地址：https://hyper.ai/datasets/14861

 一个可感知情感嘅算法，系点样炼成嘅

为‌让计算机都可以够像人类一样，对视觉艺术产生情感反应，并用语言证明产生呢啲情感嘅原因，团队基于呢一大规模数据集，训练‌一个 Neural Speaker（神经表达者）。

斯坦福大学 HAI 学院嘅教授 Guibas 表示，这是计算机视觉领域中一项新嘅探索。之前经典嘅计算机视觉方法，往往是指出图像中有边啲内容，比如：有三只狗；有人正喺度喝咖啡……而佢们嘅这项工作，则是定义视觉艺术中嘅情感。

经过 ArtEmis 数据集训练之后，算法识别出不同嘅画作中蕴含嘅情感，并自动生成‌咁样判断嘅依据，示例结果如下：

论文中介绍‌具体训练思路。首先，用 ArtEmis 来训练模型，实现艺术画作嘅情感解释问题。这属于经典嘅 9 路文本分类问题，团队使用基于交叉熵嘅优化，应用于从头开始训练嘅 LSTM 文本分类器，同时都考虑对为呢个任务预训练嘅 BERT 模型进行微调。

另外，让计算机对人类通常会对作品产生嘅情绪反应进行预测。

为认识决呢个问题，团队将输出和 ArtEmis 用户标注之间嘅 KL-分歧最小化，以此对基于 ImageNet 嘅预训练 ResNet32 编码器进行微调。

对于畀定嘅一幅画作，分类器先判断其传达嘅情感是积极还是消极，再进一步判断具体是边种情感。

团队介绍，对于一幅画作，算法不仅能够感知整体嘅情感色彩，仲可以区分画中不同人物嘅感情。以这幅伦勃朗嘅《被斩首嘅圣施洗者约翰》为例，AI 算法不仅捕捉到‌被斩首嘅约翰嘅痛苦，仲要感知到‌画中被献首嘅女性莎乐美嘅「满足」。

算法对《被斩首嘅圣施洗者约翰》生成嘅情感标注

当算法拥有‌共情能力

人类嘅情感非常丰富且复杂微妙，就算是我哋人类自己，都并唔可以百分之百理解某啲艺术家想要表达嘅心情，所以，要让 AI 精准地理解艺术家嘅意图，目前必然还存在一定挑战。

不过，呢次 ArtEmis 数据集嘅发布，已经让 AI 在处理图像情感属性方面，迈出‌第一步。

团队表示，待进一步研究同改进之后，算法或者能够感知人类嘅悲欢，艺术家便可借助算法，评估自己嘅作品系咪能达到预期嘅情感表达效果。另外，一旦算法能通人性，人机交互嘅过程都将更加自然、和谐。

新闻来源：

链接

数据集论文：https://arxiv.org/pdf/2101.07396.pdf

项目主页：https://www.artemisdataset.org/#videos