前言


本书中所讨论的共融（服务）机器人是当前智能（服务）机器人的简称。共融机器人的自然交互主要是针对机器人与人共融的应用场景下，实现机器人与人、机器人与环境、机器人之间自然的交互共融。从共融服务机器人实际应用的角度而言，机器人与人之间的自然交互能力是其关键核心技术之一。机器人与人之间的自然交互能力主要涉及人机对话能力、对于人的多模态情感感知能力、人机协同能力等方面。为了实现智能服务机器人此处智能服务机器人包括实体服务机器人、在线虚拟(软)机器人、智能客服等系统或者产品形态。高效的情感感知能力，需要在人机交互的过程中让机器人具备强大的多模态交互信息的情感识别能力。这是实现高效智能化机器人与人对话的核心关键技术之一。2021年12月,中华人民共和国工业和信息化部、中华人民共和国国家发展和改革委员会等十五个部门联合印发的《“十四五”机器人产业发展规划》中将“人机自然交互技术，情感识别技术”等列为机器人核心技术攻关行动的前沿技术，足见共融机器人的自然交互技术在未来机器人产业的重要性。本系列丛书面向产业前沿、技术前沿和研究前沿对机器人自然交互技术中的重要问题与方法开展系统化论述。
本书由浅入深地探讨了如下几个热点研究内容： 多模态情感信息的特征表示、特征融合、多模态交互信息的情感分类。面向自然交互的多模态信息的情感分析是涉及自然语言处理、计算机视觉、机器学习、模式识别、算法、机器人智能系统、人机交互等方面相互融合的综合性研究领域，近年来笔者所在的清华大学计算机科学与技术系智能技术与系统国家重点实验室研究团队，面向共融机器人的自然交互的多模态信息情感分析方面开展了大量有开创性的研究与应用工作，特别是在基于深度学习模型的人脸情感特征识别、多模态情感信息的学习表示、多模态情感特征的融合、模态信息缺失情况下的多模态情感分析的鲁棒性等方面取得了一定的研究成果，相关成果也陆续发表在近年来人工智能领域的顶级国际会议ACL、AAAI、ACM MM和知名国际期刊Pattern Recognition、Knowledge based Systems、Expert Systems with Applications等上。为了能够系统地呈现学术界和笔者团队近年来在共融机器人自然交互领域多模态情感分析方面的最新成果，本书特别地系统化地梳理了相关工作成果内容，以完整系统论述的形式将其呈现在读者面前。
本书是“面向共融机器人的自然交互”系列学术专著的第二册，笔者的研究团队后续将及时梳理和归纳总结相关的最新成果，以系列图书的形式分享给读者。本书既可以作为智能机器人自然交互、智能问答（客服）、自然语言处理、人机交互等领域的教材，也可以作为智能机器人、自然语言处理、人机交互等方面系统与产品研发重要的理论方法参考书。本书相关的内容资料（算法、代码、数据集等）可在开源社区下载。
由于共融型智能机器人的自然交互是一个崭新的快速发展的研究领域，受限于笔者的学识，书中错误和不足之处在所难免，笔者衷心希望读者提出宝贵的意见和建议，意见和建议可发送至bai1j@tup.tsinghua.edu.cn。
最后感谢国家自然科学基金项目（项目编号： 62173195）对于“面向共融机器人的自然交互”系列学术专著的支持。同时更要感谢清华大学计算机科学与技术系智能技术与系统国家重点实验室的赵康、陈小飞、赵少杰、仇元、李晓腾等同学对于书稿整理所付出的艰辛努力，以及余文梦、杨铠成、邹纪云、袁子麒、毛惠生、李炜、张宝政、刘一贺等同学在相关研究方向上不断持续地合作创新。没有各位团队成员的努力，本书无法以体系化的形式呈现在读者面前。

作者2022年11月于清华园