可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也 ...

雷锋网AI科技评论：继昨天的「知识图谱@ICLR2020」之后，我们今天关注ICLR 2020 上 Transformer的研究动态。 Transformers，作为一种基于注意力的神经架构，在自然语言处理中已经无处不在，在过去一年多的时间里也将自然语言处理推向了新的高度。那么，在ICLR 2020 上 ...

在进行 NLP 模型训练前，请先选择一个好的特征提取器。 在上一篇文章中我们介绍了自然语言处理的基础问题——文本预处理的常用步骤。本文将进阶讲述特征提取方面的相关算法。 如果用一句话总结目前 NLP 在特征提取方面的发展趋势，那就是「RNN 明日黄花 ...