2023年9月15日实验室举行了博士生马绘的博士学位论文答辩会，马绘博士顺利通过博士答辩，获得了博士学位。马绘博士的多项研究成果发表在国内外知名期刊上。马绘的博士论文题目是《面向对话的情感识别与回复生成研究》，其指导教师为王健教授。论文摘要如下：

近年来，随着人工智能技术的不断发展，对话系统引起了广泛的关注，并在智能客服、在线教育、健康医疗等多种应用场景中展现出巨大的潜力。对话系统旨在赋予机器与人交流的能力，是实现人机交互的重要途径。情感在人机交互中发挥着重要的作用，让机器具备理解和表达情感的能力是人工智能领域的长期目标。因此，情感对话成为对话系统中一个重要的研究课题。它主要涵盖对话情感识别和对话情感回复生成两个核心任务，分别研究对话中情感的理解和表达。尽管当前情感对话的研究取得了一定的进展，但对话情感识别在上下文建模和多模态融合等方面仍存在缺陷，对话情感回复生成在产生共情回复方面也面临挑战。鉴于此，本文基于深度学习技术，围绕对话情感识别和对话情感回复生成展开研究，主要研究内容和贡献总结如下：

  (1)在文本模态对话情感识别中，针对对话上下文建模不充分导致信息遗漏的问题，本文提出两种模型旨在从不同角度缓解该问题。考虑到对话具有分层的结构，首先提出一种包含词注意力和话语注意力的分层注意力网络。该模型通过在对话结构中引入注意力机制来更有效地建模话语中词之间和对话中话语之间的长期上下文信息，从而缓解了对话结构中部分长距离上下文信息遗漏的问题。另一方面，为了解决不同话语词之间上下文信息遗漏的问题，本文还提出一种多视图网络，从词级别和话语级别两个不同的视角探索被识别话语的情感表示。该模型将词和话语作为独立的单元，以显式地建模不同话语词之间和对话中话语之间的上下文信息。实验结果表明，有效建模对话结构中的长期上下文信息能够提升情感识别的性能。同时，结果也验证了建模不同话语词级别上下文信息的必要性，有助于进一步提高情感识别的效果。

  (2)在多模态对话情感识别中，针对多模态融合过程中模态交互不充分以及重要程度区分困难的问题，本文提出一种基于Transformer和自蒸馏的多模态融合模型。该模型首先借助Transformer编码器捕捉序列元素之间关联性的能力，构建模态内和模态间Transformers，实现建模对话话语间多模态的动态交互。然后，设计包含两个级别的分层门控融合策略，利用两种不同的门机制在实现过滤冗余信息的同时自适应地学习不同模态特征的重要程度，进而产生融合后的多模态表示。进一步地，设计自蒸馏训练，将模型硬标签和软标签包含的知识分别转移到每个模态中，以提高多模态表示的质量。实验结果表明，提出的模型可以有效地融合多模态信息，改善对话情感识别的效果。特别是引入自蒸馏训练能够产生更有效的多模态表示，进一步提升了模型的性能。

  (3)在对话情感回复生成中，针对生成的回复缺乏对上文共情程度的考虑导致回复质量受限的问题，本文提出一种基于强化学习的共情回复生成框架。该框架设计合理、有效的共情奖励函数，通过强化学习最大化奖励期望，以产生共情的回复。鉴于预训练语言模型具有强大的文本生成能力，该框架将预训练T5模型作为生成器并进一步训练用于初始化策略。为了使生成回复与目标回复关于对话上文具有相似的共情程度，利用设计并预训练好的共情识别器构建包含情感反应、解释和探索三种共情沟通机制的共情奖励函数。为了防止策略过度偏离已训练好的生成器导致生成不流畅的回复，将KL处罚项整合到共情奖励中。最后，利用近端策略优化算法进一步训练策略，从而生成共情的回复。自动和人工评价结果表明，提出的框架能够提高生成回复的质量，使生成回复与目标回复具有更相似的共情性，并产生了包含情感和认知两个方面的共情回复。