艺术风格智能认知辨识及其机械设计应用研究

摘    要：机械产品美学设计是机械制造中的一个重要组成部分，而设计艺术风格的界定是美学设计中的关键，它主要是人类认知机理的反映，但目前对艺术风格的识别算法多限于将艺术风格进行量化，忽略了人类感知在设计艺术风格分类中的重要作用，存在特征筛选困难、算法内在机制解释性差等问题。对此，创新性提出了一种基于人类认知机理的设计艺术风格智能识别方法。依托深度卷积神经网络模型构建了ACNN网络主线，对设计图像进行了特征提取，通过三种可视化方法对各卷积层进行特征可视化，结合人类对各层特征图的认知调整网络参数，并融入人类认知辅助结构，基于人类认知机理驱动网络，使网络能够重点筛选有效特征，最后通过实验进一步验证了此方法的有效性。研究是设计艺术风格识别方法研究领域的有益补充，可为机械产品提供美学设计指导。

关键词:设计艺术风格分类; ACNN人类认知神经网络;人类认知机理;机械美学;

Research on Intelligent Recognition of Art Design Style Based on Human Cognitive

Mechanism and Its Application in Mechanical Aesthetic Design

ZHOU Miao JIANG Lan YANG Yue-ming

School of Mechanical Engineering and Automation Northeastem University School of Biomedical

Engineering Northeastern University Shengyang Urban Construction University

Abstract：The aesthetic design of mechanical products is an important part of mechanical manufacturing. The recognition of design art style is the key in aesthetic design, it is mainly the reflection of human cognitive mechanism. However, the recognition algorithm of art style is limited to quantify the artistic style, neglecting the important role of human perception in the classification of design art style, which has the difficulty of feature selection and poor interpretability of internal mechanism. In this paper, an intelligent classification method of design art style based on human cognitive mechanism is proposed. Based on the deep convolution neural network model, ACNN network mainline is constructed, and the image feature is extracted. The features of each layer are visualized by three visualization methods. The network parameters are adjusted according to the cognition of human beings on each layer of feature map, and the auxiliary structure of human cognition is integrated. Based on the human cognitive mechanism, the network can focus on screening effective features, Finally, the effectiveness of the method is further verified by experiments. Research is a useful supplement to the field of design art style recognition method, which can provide aesthetic design guidance for mechanical products.

Keyword：Art Design Style Classification; ACNN Artificial Cognitive Neural Network; Human Cognition Mechanism; Mechanical Aesthetics;

在机械设计制造中，产品的美观度直接影响产品的形象，从艺术设计美学视角出发，使功能与审美相符合，以达到最优的综合设计效果。设计艺术风格的智能识别可实现机械设计产品智能数据库风格自动检索及后续特定风格的参数化设计，但现有的设计艺术风格智能识别多仅将艺术风格进行量化，以情感识别和图像浅层特征提取相关的研究为主。如日本多所大学提出感性媒体研究，并实现了Art Meseum和K-DIM等情感图像检索原型系统[1,2]；王伟凝等人给出一个图像情感语义提取的结构框架[3]，指出图像中的各因素和情感之间有很大的关系，实现了图像的情感语义分类和检索；钱文华等人提出一种基于信息熵的艺术风格分类算法，计算图像的颜色熵、分块熵和轮廓熵，并用支持向量机（SVM）实现分类[4]。它们大多忽略了人类审美的主要特点是主观性，Mj.弗里德伦德尔提出：艺术活动首先是一个情感性的精神过程，任何一项科学性的艺术研究必然属于心理学范畴。按照设计艺术学的学科解释，对设计师及其作品的风格研究，同样属于心理学范畴[5]。上述研究由于隔断了人类认知机理和风格分类识别的关系，相对而言存在特征筛选困难、算法内在机制可解释性差等问题。可见，要让计算机对设计作品的风格做出快速、令人信服的判别，必须建立在人的生理反馈、心理情感、风格文脉意义之上，即找到人的认知层与机器学习卷积层映射关系。由此，以人的认知机理为基础来研究设计风格智能分析技术是必要的。

研究以人类认知机理为出发点，结合人类认知神经网络（artificial cognitive neural network, ACNN），创新性地将人类认知机理用于网络决策，对各层特征可视化后结合人类对各层特征图的认知调整网络参数，同时融入人类认知辅助结构使对分类起重要作用的特征得到更好的筛选，对以人类认知机理为出发点的设计艺术风格智能识别方法进了有益的探索并将其用于机械美学设计，有效地解决了人类认知和设计艺术风格识别间的隔断问题和机械产品外观设计问题，具有一定的创新性和优越性。

1 人类认知机理算法表现

人对艺术风格的认知构成分为三个层面，即行为层、本能层和反思层，如图1所示。人之所以能快速准确的对设计作品的艺术风格进行主观判定，是基于原始设计图像的分析（行为、反思层），结合生理、心理感受（本能层）等情感问题的主观推理和判断，需要建立在知识、规则学习和文化、情感传承的基础之上。在逻辑层面，本质上是一个将多维图像特征映射到认知层次的过程。

人类认知的行为层，是对视觉元素获取阶段，在算法中表现图像卷积浅层特征提取，如色彩、形状、纹理及空间方面构成等设计师构成风格手法的行为元素；人类认知的本能层，在算法中表现为语义特征提取，包含了人在审美过程中生理感受（色调、光色、明度）和心理语义（情感因子）等本能层次；人类认知的反思层，在算法中表现为图像卷积深层特征提取，模拟人类通过逻辑推理和识别典型文化符号(如柱头、穹顶、花纹等)引发的文化联想和审美同情，通过语义（文化符号形成的特定文脉、故事、隐喻）匹配判断图像属于某些风格。

2基于人类认知机理的设计风格识别网络总体架构

网络总体架构设计如图2所示，主体由1个输入层、9层卷积层、3层池化层、1个全连接层和1个输出层组成。

基于人类认知机理的设计风格识别网络总体架构根据VGGNet使用数个VGGBlock堆叠的原理，设计了由卷积层、sigmoid激活和池化层构成的Block。此外，VGGNet模型验证了增加网络深度可以有效提升模型性能这一结论，它具有不同的配置体系结构，其中含有8个卷积层的VGGNet-11和含有10个卷积层的VGGNet-13有相对简单的网络结构和较好的分类效果，由此，在主体网络中探索性地设计了9层卷积层以实现计算量和输出特性的最优化，即主体网络分为3个Block,各Block对应的卷积层数量为（2,3,4）。

在主体网络架构完成后，受GoogleNet中inception结构的启发，在网络深度和宽度较大时，为处理庞大数量的参数，可采用聚类的方法提高计算性能。由此，设计了人类认知辅助结构，让对分类识别起决定性作用的层次的卷积输出聚集，为其附加权重，使网络重点提取符合人类认知机理的特征，进一步提高分类的准确率。

先使用建立室内风格图片数据集对主体网络预训练，初步确定各层所对应的参数；在可视化ACNN的各通道特征后，通过设计师对特征人工筛选对室内艺术风格判定发挥重要作用的卷积层，在这些卷积层后添加人类认知辅助结构，为其附加权重，使网络着重训练对艺术风格分类更有效的特征，最终四种分类结果由所有分类器的加权输出决定。

3 ACNN辨别设计图像风格的研究

3.1设计图像特征提取

首先用卷积对设计图像进行特征的提取。每一次卷积相当于一次映射，（1）式中：x—输入的一张三维图像，w—使用的一个三维卷积核，将对应元素相乘求和，其中l和i−l—所在位置的行，m和j−m—所在列，n和k−n—所在页，则输出可表示为[6]：(x⋅w)(i,j,k)=∑i∑m∑nx(l,m,n)w(i−l,j−m,k−n)（1）

若训练集中样本图片达到足够多数量，最终卷积核会训练成线条、纹理等待提取的特征。

卷积获得特征之后，需要利用这些特征去做艺术风格分类。如果把所有计算得到的特征关联到一个分类器上，会导致计算量非常大，且极容易出现过拟合。由此，引入随机池化[7]进行特征压缩和简化计算，,以池化域中每个元素的权重为概率进行依概率抽样，首先通过归一化区域内的激活来计算每个区域的概率，（2）式中：pi —某一特定元素对应的概率，分子ai—这一元素的值，分母为全部元素值的和。

（3）式中：从基于p的多项分布中抽样，l—在区域内选择的一个位置，随机池化的结果为sj：

特征图中的元素按照其概率值大小被随机选择，元素数值大则选中几率大，优点在于风格判定中既能较好地保留整体数据的特征，突出室内设计图像的背景信息；又能保留较多的图像细节纹理特征。

由于softmax分类器能学习、理解非常复杂和非线性的映射关系，ACNN的主体网络和人类认知辅助结构中的分类器都采用软最大输出函数softmax[8]，（4）式中：xi—i通道输入信号；exp(xi)—以自然常数e为底的指数函数。

3.2 ACNN网络可视化

艺术风格是一种高度抽象的信息，它很大程度上是人类认知对外界美的反映。在完成特征提取后，通常直接将提取出来的特征经全连接层输入分类器中进行分类，但深度学习对图像的分类过程往往具有不可见性，多数情况下不能很好地反映人类认知，这样得出的分类结果往往具有盲目性。而利用特征可视化可以窥探ACNN网络内部机理，理解网络节点如何学习特征，帮助优化网络结构，并进一步提高模型对人类认知机理的模拟能力。

由此，ACNN网络特征可视化从横向、纵向、相关组三个角度进行，它的优点主要在于：①了解网络的工作原理，找出网络进行决策判定的依据，提升网络的可理解水平。②利用可视化实现人类认知与网络内部信息的交互，利用现实世界中人类的真实认知构建更好反映人类认知机理的分类网络。

3.2.1 横向可视化分析

横向可视化，即对不同卷积核卷积操作后的输出进行分析，如图4中1a所示。利用激活最大化方法，寻找一个输入图像使某个通道激活响应最大来生成可视化特征图，此可视化图能最大地反映出对应卷积核从全体输入样本中学习到的某种特征，同时将其他特征的干扰降到最小。

训练网络后，设cij(θ,X)为ACNN网络中第j层中单元i的激活，cij是参数θ和输入样本X的函数，即通道特征可视化转化为寻找输入Xmax, Xmax表示当cij(θ,X)最大时X的取值。

为了寻找Xmax，使用梯度上升法对输入图像X进行随机值初始化，然后设置学习速率β，计算cij(θ,X)的梯度，在梯度方向上调整输入图像X，进行迭代：

横向可视化输出图像如图3中2a所示。

3.2.2 纵向可视化分析

纵向可视化，即对不同通道相同空间位置的输出结果的分析，如图4中1b所示。由于单个神经元可视化仅能反映极少数输入图像的特征，而从纵向空间位置角度组合神经元特征能将ACNN网络提取到的输入样本图像特征可视化为符合人类认知，可以理解共情的图形。一个卷积层特定对应位置所有神经元的特征加权和形成空间位置特征，可视化纵向位置格激活向量提取的特征，能够帮助分析和理解输入室内设计图像不同位置纹理、对象的特征信息。

选取通道尺寸a×b，卷积层通道数量为k，设该卷积核大小为t×t, 由此通道可看成at×bt个位置格。设Hxmn为第x通道第m行、第n列位置神经元的特征可视化，则Hx为通道x的特征可视化。由于图像不同位置激活大小存在差异，导致图像不同纵向位置神经元特征有不同的组合。设pxmn为Hxmn对应权重，则纵向可视化特征图A的第m行、第n列位置的可视化图Amn可表示为[9]：

利用公式（7）将各计算完的单元位置格可视化图像拼接组合。纵向可视化输出图像如图3中2b所示。

3.2.3 相关组可视化分析

以上两类可视化分析仅限于表达图像空间位置或者单独一种特征模式。相关组可视化通过非负矩阵分解找到卷积层中高度相关的神经元组以辨别更有意义的神经元组合方式，使可视化分析更容易被人类理解。这样的非负矩阵分组方法反映了人类认知机理过程，即“局部组合推出整体认知”，具有认知语义意义。

（8）式中：L—卷积层激活，设该卷积层有k个大小为a×b的通道，即构成a×b×k维矩阵。可将L近似分解为基矩阵G和系数矩阵F：

即得到结果为系数矩阵F作为权重系数的各通道Hx特征加权和。利用非负矩阵分解特定卷积层中高度相关的神经元组，用公式（8）得到系数矩阵F作为权重，用公式（9）计算通道加权和[10]，得到的可视化结果与人类认知分类存在更好的拟合效果，获得的语义信息也更强。相关组可视化输出图像如图3中2c所示。

3.3设计风格识别网络结构优化

在特征提取和三种网络可视化完成后，通过利用网络索引得到的数据集预训练ACNN网络，结合人类对各可视化特征图的认知将各层参数进行调整，即根据看到的可视化图片信息多少、获得全局特征的优劣和与人类认知三个层次的符合程度进行卷积核大小、步长、个数的调整，参数调整能及时修复网络缺陷，预训练能显著地减少正式实验时训练的时间，调整后网络各层的参数如表1所示。

可视化各卷积层通道特征后，人工观察其中更符合人审美习惯，对艺术风格判定有重要作用的三层通道，可视化示例如图4所示。

卷积层2倾向于提取人类认知行为层面特征，从特征图中可以看出具有明显排列规律的纹理，交错的颜色块和平面凹凸空间分布。卷积层5倾向于提取人类认知本能层面特征，卷积层5可视化后的特征图中多种不同元素组合构成有浓烈情感色彩的意境，其明艳度高，色相较全，元素花纹复杂，突出高贵优雅、奢华大气的场景，给人一种古典繁复鲜艳奢华的情感感受。卷积层8倾向于提取人类认知反思层面特征，其可视化后的特征图中可看出迭级多层次吊顶、直线石膏板线条、轮廓和转折部分有对称而富有节奏感的曲线等典型元素，表现出浓郁的古典主义风格。

选取卷积层2、卷积层5和卷积层8，在其后添加人类认知辅助结构，并附加权重，让人类认知机理的层面融合到网络分类识别中，促使网络重点训练符合人类认知机理过程的特征，加大能对应人类认知的卷积层的特征相应权重。人类认知辅助结构由随机池化（Stochastic Pooling）层、全连接层和Softmax分类器构成，并用Dropout缓解过拟合，详细信息如表2所示。

人类认知辅助结构中随机池化层输出大小和Dropout输出大小取决于对应卷积层通道数量，全连接层和Softmax输出大小由分类类别所决定。

4 实验验证及结果分析

针对有关设计艺术风格图像分类识别相关研究较少，开源数据集难以获得的情况，使用Image-Downloader爬虫工具，分别使用欧式复古（古典主义）、欧式现代（现代主义）、中式复古（明清风格）和中式现代（新中式）等关键词各自爬取了5000张图建立训练库。

据上述对各卷积层所提取特征的可视化情况，提取符合人类认知机理行为、本能、反思三个层面的特征的卷积层2、卷积层5、卷积层8中人类认知辅助结构分别加以0.15的权重参与模型训练和室内设计风格分类，主体网络中的总分类器占0.55权重。这样做能重点训练符合人类认知机理的特征，并使这些特征的作用放大，使其对最终分类结果产生直接影响，减少不必要信息的干扰和重要信息的损失。

引入准确率（Accuracy）来评估网络对艺术风格的分类结果，表示为：

（10）式中：TP—将正类预测为正类的个数（正—正），TN—负-负，FP—负-正，FN—正-负。

对室内设计图像艺术风格的分类识别准确率实验结果如图6所示，横轴为所用于训练的室内设计艺术风格图像数据库容量，四条曲线分别代表欧式复古（古典主义）、欧式现代（现代主义）、中式复古（明清风格）和中式现代（新中式）各自的分类识别准确率，由图可知，四类艺术风格的分类准确率随着训练样本的增加大致呈增加趋势，说明在一定范围内，增加输入样本可以提高网络的分类准确率，且当数据库容量达到5000时，上述四类艺术风格的分类识别准确率分别为：93.7%,92.0%,93.1%,91.6%。

为了验证添加人类认知辅助结构对于室内设计艺术风格分类的有效性、重要性，分别在ACNN网络共9个卷积层分别添加人类认知辅助结构，加以0.15的权重参与模型训练和分类，主体网络中的总分类器占0.85权重。实验结果如表3所示，实验1为对照组，不改动原始网络结构。表中实验3、6、9显示，根据网络可视化分析并结合人类认知机理选取的卷积层2、卷积层5、卷积层8是适合添加人类认知辅助结构的卷积层，它们能较明显地提高分类准确率，而其他卷积层对分类准确率影响较小甚至起到负面影响，这说明ACNN网络结构优化有一定的必要性和先进性。

同时需要说明的是：1、囿于存在不同艺术风格评判标准，研究基于人类认知的艺术风格分类算法可能与基于其他评判标准的算法，在输出艺术风格类别上存在少量差异；2、囿于现有艺术风格存在融合交叉趋势，某些室内设计不能单独用一种艺术风格进行定义，导致符合要求、有确切一种艺术风格定义的数据集难以获得且分类识别过程中输出结果的准确率提升较为困难。

表 3 各层添加人类认知辅助结构后准确率对比

Tab.3 Accuracy Comparison in Interior Design

进一步增加训练数，扩展训练库的图片类型，将输入输出作为映射对存入，建立机械设计艺术风格数据库。当用户输入主空间设计图时，通过ACNN网络识别出对应风格和输出各参数，在数据库中查找符合的子空间配置，测试结果如图6所示。

5结论

基于人类认知机理提出的ACNN网络模型，能通过横向、纵向、相关组可视化找出最能反映人类认知机理三层次的卷积层，并在其后加入人类认知辅助结构优化网络模型，使其对于人类认知机理有较好的拟合效果，更适用于设计艺术风格的智能识别分类任务。实验结果表明ACNN网络模型在分类识别上准确率平均达92.6%，并验证了在适当卷积层添加人类认知辅助结构后准确率平均提升2.23%。其成果可用于提供个性化机械产品设计、提高空间场所内设计风格的一致性、实现艺术风格的数字化管理等，有助于在人类美学认知与智能设计之间搭建桥梁，为机械美学设计提供指导，让智能算法更好地为人类服务。

参考文献

[1] Yoshida K,Kato T,Yanaru T.Image Retrieval System Using Impression Words[C ].1998 IEEE International Conference on Systems, Man, and Cybernetics. San Diego, CA,1998,3(11/12/13/14): 2780-2784.

[2] Bianchi-Berthouze N.K-DIME；A affective image filtering system[J].IEEE Multimedia, 2003,10(3): 103-106.

[3] 王伟凝,余英林.图像的情感语义研究进展[J].电路与系统学报,2003,8(5)：101-109.

[4] 钱文华,徐丹,徐瑾等.基于信息熵的风格绘画分类研究[J]. 图学学报, 2019, 40(06): 991-999.

[5] 王志平,倪晓莉.心理认知图式对视觉艺术发展的影响[J]. 美术观察, 2009(08): 117.

[6] LeCun Y,Bengio Y,Hinton G.Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[7] Zeiler M.D,Fergus R.Stochastic Pooling for Regularization of Deep Convolutional Neural Networks[J/OL].arXiv preprint,2013,arXiv:1311.2901, 

[8] Wu Y,Li J,Kong Y,Fu Y.Deep Convolutional Neural Network with Independent Softmax for Large Scale Face Recognition[J].MM’16:Proceeding of the 24thACM international conference on Multimedia,2016(10):1063-1067.

[9] Yu R,Shi L.A User-based Taxonomy for Deep Learning Visualization[J].Visual Informatics,2018,2(3);147-154.

[10]白耀辉，陈明.利用自组织特征映射神经网络进行可视化聚类[J].计算机仿真，2006 (01) :180-183.