0%

Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

面向任务对话论文模型效果排行榜 https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

《Slot-Gated Modeling for Joint Slot Filling and Intent Prediction》

发表在NAACL HLT 2018,自然语言四大顶会之一。

Intruduction:
基于Attention的RNN模型在联合意图识别(ID)和槽位填充(SF)上实现最好性能(其ID和SF的attention权重独立)。然而,其通过损失函数将两者关联只是隐式地关联。由于slot filling通常高度依赖于intent,因此本工作重点介绍如何通过引入插槽选通机制来模拟slot和intent向量之间的显式关系。本文提出slot gate结构,其关注于学习intent和slot attention向量之间的关系,通过全局优化获得更好的semantic frame。通过在ATIS和Snips数据集实验,相比于attention模型semantic frame准确率相对提升了4.2%。

创新点:

  1. 提出slot-gate方法实现了最好的性能表现。
  2. 通过数据集实验表明slot-gate的有效性。
  3. slot-gate有助于分析槽位和意图的关系。

论文主要公式:

论文代码解析图:

更多内容见 yuanxiaosc/Slot-Gated-Modeling-for-Joint-Slot-Filling-and-Intent-Prediction

论文相关资源

论文改进:增加 CRF 输出层

代码 Joint-NLU

实验结果

ATIS数据集 crf softmax
Slot f1 val: 97.39 ; test: 95.15 val: 97.0; test:95.08
Intent Acc val: 98.2; test: 95.41 val: 97.6; test: 95.52
Semantic Acc val: 90.0; test: 83.42 val: 89.0 ; test: 83.53
本站所有文章和源码均免费开放,如您喜欢,可以请我喝杯咖啡