本文 是 NAACL 2018 最佳论文 Deep contextualized word representations 的前作，详细介绍了一种用预训练的双向语言模型提高其它模型（序列标注）效果的半监督方法。

本文 是 NAACL 2018 最佳论文 Deep contextualized word representations 的 ELMo 模型字符卷积的基础。

注意点：

1. 卷积核的高度一般与单词矩阵的高度一致（字符向量维度）；
2. 不同的卷积核宽度代表着不同的 N-gram 语法；
3. 上图一共有 12 个卷积核，宽度一样的卷积核放在一起了（黄色、蓝色和红色）；
   

评估

NAACL 2018最佳论文 Deep contextualized word representations：艾伦人工智能研究所提出新型深度语境化词表征（研究者使用从双向 LSTM 中得到的向量，该 LSTM 是使用成对语言模型（LM）目标在大型文本语料库上训练得到的。因此，该表征叫作 ELMo（Embeddings from Language Models）表征。）。

RNN LSTM 最基本知识

RNNCell

1
2
3
4
5
6
7
8
9
10
11

import tensorflow as tf
import numpy as np

cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128) # state_size = 128
print(cell.state_size) # 128

inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size
h0 = cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态，形状为(batch_size, state_size)
output, h1 = cell(inputs, h0) #调用函数

print(h1.shape) # (32, 128)

点击查看GitHub SMP2018 完整代码和解析

N-gram features

词袋模型不考虑词序的问题，若将词序信息添加进去又会造成过高的计算代价。文章取而代之使用bag of n-gram来将词序信息引入：比如 我来到颐和园参观，相应的bigram特征为：我来 来到 到颐 颐和 和园 园参 参观相应的trigram特征为：我来到 来到颐 到颐和 颐和园 和园参 园参观并使用哈希算法高效的存储n-gram信息。

Hexo 公式渲染