0%

百度艾尼ERNIE

本文计划内容:ERNIE核心资源+论文解析+实战

飞桨-ERNIE 核心资源

ERNIE 2.0 是基于持续学习的语义理解预训练框架,使用多任务学习增量式构建预训练任务。ERNIE 2.0 中,新构建的预训练任务类型可以无缝的加入训练框架,持续的进行语义理解学习。 通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务,ERNIE 2.0 语义理解预训练模型从训练数据中获取了词法、句法、语义等多个维度的自然语言信息,极大地增强了通用语义表示能力。

我们对 ERNIE 2.0 模型和现有 SOTA 预训练模型在 9 个中文数据集、以及英文数据集合 GLUE 上进行效果比较。结果表明:ERNIE 2.0 模型在英语任务上几乎全面优于 BERT 和 XLNet,在 7 个 GLUE 任务上取得了最好的结果;中文任务上,ERNIE 2.0 模型在所有 9 个中文 NLP 任务上全面优于 BERT。

Pre-training Tasks

ERNIE 解读

最新NLP架构的直观解释:多任务学习– ERNIE 2.0(附链接)

FAQ

飞桨ERNIE常用FAQ

五、其它问题

Q1. BERT与ERNIE谁更强?
从效果来看,ERNIE的效果领先于BERT。BERT、XLNet等主流方法都强调通过强力的 Transformer 直接构建语言模型,而 ERNIE 2.0 通过多任务预训练的方法加强模型学到的语言知识。
ERNIE 2.0 通过增量学习的方式更新,也就是说可以通过自定义的 NLP 任务微调已训练模型,加强预训练效果。
ERNIE2.0 模型在英语任务上很多都优于 BERT 和XLNet,在 7 个GLUE 任务上取得了最好的结果;中文任务上,ERNIE 2.0 模型在所有9 个中文NLP 任务上全面优于 BERT。

Q2. ERNIE效果领先BERT是否得益于更多数据?
否。我们对比了不同模型公布的数据量,BERT: 3.3B (tokens), ERNIE:7.9 B (tokens),
XLNet: 32.8B (tokens),目前版本的数据规模是XLNet的1/4,同时ERNIE 没有使用人工直接标注的数据,所有数据可以通过无监督或者弱监督的方式大量得到。

Q3. ERNIE可以理解为是知识图谱+BERT吗?
不是,ERNIE没有利用图谱信息,而是直接从文本中学习知识。

Q4. ERNIE的多任务持续学习是怎么实现的?
ERNIE2.0 的预训练任务是一个逐步增加的过程,先训练 Task1, 然后逐步增加到多个 TaskN,多个 Task 的训练是按照一定的概率分布对 Task 进行采样,比如: 第一个 batch 训练Task1, 第2个batch 训练 Task2 。训练过程中是通过多机多卡训练,有些卡去训练任务1,有些卡训练任务2。由于目前预训练代码还未开源,用户暂时无法添加新任务做预训练。

待实验完成后更新…

本站所有文章和源码均免费开放,如您喜欢,可以请我喝杯咖啡