简介：
会话中的情绪检测是许多应用的必要步骤，包括对聊天历史的意见挖掘、社交媒体线程、辩论、论证挖掘、理解现场对话中的消费者反馈等等。目前的系统并没有通过适应每个话语的说话者来单独处理对话中的各方。在本文中，我们描述了一种基于递归神经网络的新方法，该方法在整个对话过程中跟踪各个当事人的状态，并使用这些信息进行情绪分类。我们的模型在两个不同的数据集上以明显的优势胜过最先进的方法。
1. 引言
首先我先阐述下任务的定义，利用算法使计算机理解文章语义并回答相关问题的技术。现在的任务主要分为如下类型静态ERC：意味着对话已经完成，因此，可以利用历史和未来语境来检测话语的情感。实时ERC（RTERC）仅依赖历史语境来检测话语的情感。多模态场景中，所有文本、视频和音频特征都被用来识别情感。单峰ERC则独立地利用文本、视频或音频特征。
文章立意：目前，系统并没有通过调整每个话语的说话人来单独对待对话中的各方。在本文中，我们描述了一种基于递归神经网络的新方法，该方法在整个对话过程中跟踪各个参与方的状态，并使用这些信息进行情感分类。模型基于以下假设，以下三个因素与情绪相关：说话人（每个人都有自己的性格）、前面话语的语境（识别到这是期末考试前的对话，下面的情绪很难是开心的）、前面话语的情绪（如果一个人上一秒还在和人吵架很生气，很难马上转换情绪很开心）ERC总体结构：主要遵循三个步骤：分别获得每个话语表征；获取查询语句的上下文信息；以及将上下文信息融合到查询中，以提取查询的情感表示。关于上面的假设模型也对应三个部分：全局GRU、角色GRU、情绪GRU。本文的主要贡献有：首次将对话双方都单独建模，这样建立了说话人各自的性格特征。首次提出了使用RNN来将对话人的性格状态以及对话状态融合为全局状态进行传递。（模型中间有一个GRU就是起到这个作用的）
2. 问题定义
下面介绍一些符号与定义：
l M个参与方\/参与者p1，p2，对话中的pM（对于我们使用的数据集，M=2）
l 这项任务是预测组成语u1、u2、，uN，其中，话语ut由参与方ps（ut）发出
l s是话语与其对应方的索引之间的映射
l ut∈ RDm是话语表达
3. 模型
具体的模型如下所示：
如图所示，模型分为三个部分：Global State (Global GRU)，Party State (Party GRU)以及Emotion Representation (Emotion GRU)。
Global State (Global GRU)
模型的细节如图片标记所示，全局GRU的GRU状态可以用来帮助分析说话人的状态（说话人的状态也就是时刻t的话语表示，表示的就是那句话的信息）
全局GRU的建立是通过：前一刻的全局GRU状态+前一刻说话人的状态（也就是该时刻话语的向量信息）+要情绪分析的那句话，其中2和3拼接在一起输入。
Party State (Party GRU)
对说话人的状态分析：这部分其实是一个简单的GRU结构。
输入：前一刻说话人状态+历史说话信息（与当前要情绪分析的那句话计算了attention权重）与当前要情绪分析的那句话的拼接 进行GRU计算
输出：当前时刻说话人的信息，以及对倾听者的状态进行改变（通过倾听者的视频内容信息，面部表情）
Emotion Representation (Emotion GRU)
实现细节如图所示，对情绪GRU进行分析：
每一次对说话人的状态分析的结果都进行情绪分析
输入：前一刻情绪分析GRU的隐藏状态+当前说话人的状态（当前时刻话语的表示）
4实验
使用数据集分别为： IEMOCAP and A VEC
实验结果
5总结
l 本文基于递归神经网络的新方法，该方法在整个对话过程中跟踪各个参与方的状态，并使用这些信息进行情感分类。
l 在IEMOCAP数据集上达到了SOTA的效果