清华权威报告告诉你：人工智能的情感计算是什么？

2.2 多模态计算

虽然人脸、姿态和语音等均能独立地表示一定的情感，但人的相互交流却总是通过信息的综合表现来进行。所以， 只有实现多通道的人机界面，才是人与计算机最为自然的交互方式，它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体，并对这些通道信息进行编码、压缩、集成和融合，集中处理图像、音频、视频、文本等多媒体信息。多模态计算是目前情感计算发展的主流方向。每个模块所传达的人类情感的信息量大小和维度不同。在人机交互中，不同的维度还存在缺失和不完善的问题。因此，人机交互中情感分析应尽可能从多个维度入手，将单一不完善的情感通道补上，最后通过多结果拟合来判断情感倾向。Jwaednc

在多模态情感计算研究中，一个很重要的分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中，使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术，构筑了栩栩如生的情感虚拟头像，并积极转向嵌入式平台和游戏平台等实际应用。Jwaednc

目前， 情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如：在情感语音声学分析的基础上，运用线性统计方法和神经网络模型，实现了基于语音的情感识别原型；通过对面部运动区域进行编码，采用 HMM 等不同模型，建立了面部情感特征的识别方法；通过对人姿态和运动的分析，探索肢体运动的情感类别等等。不过，受到情感信息捕获技术的影响， 以及缺乏大规模的情感数据资源，有关多特征融合的情感理解模型研究还有待深入。随着未来的技术进展，还将提出更有效的机器学习机制。Jwaednc

二、 人才

1、 全球学者概况

学者分布地图对于进行学者调查、分析各地区竞争力现况尤为重要， 下图为情感计算领域全球顶尖学者分布状况。 其中， 颜色越趋近于红色， 表示学者越集中；颜色越趋近于绿色，表示学者越稀少。 从地区角度来看，北美洲、欧洲是情感计算领域学者分布最为集中的地区，亚洲东部地区次之， 南美洲和非洲学者极为匮乏。从国家角度来看， 情感计算领域的人才在美国最多，中国次之，意大利、法国等洲国家也有较多的学者数量，整体上讲其它国家与美国的差距较大。Jwaednc

Jwaednc

情感计算全球专家分布Jwaednc

Jwaednc

情感计算专家国家数量分布Jwaednc

情感计算领域学者的 h-index 分布如下图所示，分布情况整体呈阶梯状，大部分学者的 hindex 分布在中低区域，其中 h-index 在<10 的区间人数最多，有 524 人， 占比 43.4%， 50-60 区间人数最少， 有 46 人， 占比 3.8%。Jwaednc

Jwaednc

情感计算领域学者 h-index 分布Jwaednc

各国情感计算 TOP学者的流失和引进是相对比较均衡的，其中美国是情感计算领域人才流动大国，人才输入和输出幅度领先于其他国家，且从数据来看人才流出大于人才流入。英国、加拿大和印度等国人才迁徙流量小于美国；中国人才流入略高于人才流出。人才的频繁流入流出，使得该领域的学术交流活动增加，带动了人才质量提升的同时，也促进了领域理论及技术的更新迭代， 逐渐形成一种良性循环的过程。Jwaednc

Jwaednc

情感计算专家迁徙图Jwaednc

中国与其他国家在情感计算领域的合作情况可以根据AMiner数据平台分析得到，通过统计论文中作者的单位信息，将作者映射到各个国家中，进而统计中国与各国之间合作论文的数量，并按照合作论文发表数量从高到低进行了排序：Jwaednc

Jwaednc

Jwaednc

情感计算 领域中国与各国合作论文情况Jwaednc

从上表数据可以看出，中美合作的论文数、引用数、学者数遥遥领先，表明中美间在情感计算领域合作之密切；从地域角度看，中国与欧洲的合作非常广泛，前10名合作关系里中欧合作共占5席；中国与瑞士合作的论文数虽然不是最多，但是拥有最高的平均引用数说明在合作质量上中瑞合作达到了较高的水平。Jwaednc