本文共 1381 字，大约阅读时间需要 4 分钟。

11th PaperDaily: NLP专题

在碎片化阅读盛行的时代，越来越少的人会关注每篇论文背后的探索与思考。然而，在这个栏目中，你将快速获取每篇精选论文的亮点与痛点，持续跟随人工智能前沿成果的发展。

论文亮点总结

1. 论文动机

本文来自华为诺亚方舟实验室，主要探讨如何让AI chatbot生成带有情感的回复。传统的对话系统主要关注语法和语义的合理性，较少关注情感交互。然而，在日常交流中，情感的共鸣至关重要。例如，当一方表达悲伤时，另一方通常会给予适当的安慰。这不仅是对话系统的一个研究方向，也是开放领域的重要课题。

2. 相关工作

作者提到了两篇相关研究：

• Affect Language Model (Ghosh et al., 2017)：在ACL2017上发表，提出了情感语言模型。
• Emotion Chatting Machine (Zhou et al., 2017)：该模型设计优雅，但存在问题：情感输出并非由对话双方决定，而是由上帝指定，这在实际对话中显得不合理。

3. 模型改进

本文在seq2seq框架基础上做了以下改进：

• 情感向量: 使用VAD字典生成情感向量，包含Valence、Arousal和Dominance三个维度。
• 目标函数: 提出了三个不同的损失函数，分别用于优化情感一致性、情感失调以及情感内容丰富性。
• 解码机制: 引入多样化beam search，结合单词情感和整体句子情感进行优化。

4. 实验部分

实验使用康奈尔电影对话数据集，采用普通交叉熵和特定情感目标函数进行训练。实验结果表明，加入情感目标函数后，对话生成的语感和情感一致性显著提升。

5. 对模型的感想

总体来看，本文在seq2seq的三个关键环节中引入了情感因素，尽管方法略显勉强，但为对话系统的情感交互提供了一种初步尝试。

命名实体识别

1. 引言

命名实体识别（Named Entity Recognition，NER）是NLP领域的重要任务，广泛应用于信息抽取、问答系统等。近年来，基于神经网络的深度学习方法在NER中取得了显著进展。

2. 主流模型

• NN/CNN-CRF模型: 通过窗口方法和句子方法结合传统NN/CNN结构，效果与RNN-CRF相当。
• RNN-CRF模型: 代表工作包括双向LSTM-CRF模型，广泛应用于NER领域。

3. 近期研究

• 注意力机制: 在RNN-CRF模型中引入注意力机制，提升模型性能。
• 少量标注数据: 采用迁移学习和半监督学习方法，解决标注数据不足问题。

4. 实验结果

实验表明，双向LSTM-CRF模型在NER任务中表现优异，效果接近于基于丰富特征的传统CRF模型。

QA系统

1. 论文背景

本文基于End-to-End Memory Networks进行改进，引入Gated机制和shortcut connections，用于多hop memory networks的正则化。

2. 模型架构

• Gated机制: 类似于Highway Networks，通过transform gate和carry gate实现动态memory更新。
• 实验结果: 模型在bAbI数据集和对话bAbI数据集上表现优异，权重计算结果显示本文模型更聚焦于关键信息。

如需阅读原文，请访问 PaperDaily 官方网站。

转载地址：http://fflj.baihongyu.com/