深度学习-NLP（6）【Nan】FastText

发表于 更新于 分类于 ， ， 阅读次数： 本文字数： 1.5k 阅读时长 ≈ 3 分钟

FastText

  • FastText代码详解(一) - BlockheadLS的文章 - 知乎 https://zhuanlan.zhihu.com/p/52154254
  • 【DL&NLP】fasttext不仅仅只做文本分类 - 叮当猫的文章 - 知乎 https://zhuanlan.zhihu.com/p/442768234
  • fastText原理及实践 - 陈运文的文章 - 知乎 https://zhuanlan.zhihu.com/p/32965521

Abstract

“本文探索了一种简单有效的文本分类基准（方法）。我们的实验表明，我们的快速文本分类器fastText在准确性方面与深度学习分类器平分秋色，其训练和评估速度（相比深度学习模型更是）要快许多个数量级。我们可以使用标准的多核CPU在不到10分钟的时间内用fastText训练超过10亿个单词，并在一分钟之内将50万个句子在31万2千个类中做分类。”

作者中又出现了托老师，不知道是不是受他影响，这篇文章在表述上也很有word2vec的味道，更不用说模型本身。fastText和word2vec的卖点都是简单高效（快）。

一、什么是fastText？

先说结论，fastText在不同语境中至少有两个含义：

  1. 在文章Bag of Tricks for Efficient Text Classification[1]中，fastText是作者提出的文本分类器的名字。与sub-word无关！也不是新的词嵌入训练模型！是word2vec中CBOW模型的简单变种。
  2. 作为Facebook开源包，fastText是用来训练词嵌入或句嵌入的，其不仅包括1中论文的代码实现，还包括Enriching Word Vectors with Subword Information[2]及FastText.zip: Compressing text classification models[3]两文的代码实现。

本来觉得这些含义区别不重要，直到连我自己都被弄迷糊了。在写这篇解读前，我心中的fastText一直是第三种含义：用sub-word信息加强词嵌入训练，解决OOV（Out-Of-Vocabulary）表征的方法。结果带着这个预先的理解读Bag of Tricks for Efficient Text Classification，越读越迷惑。

为理清思路，fastText（一）中我们就先讲讲Bag of Tricks for Efficient Text Classification中的fastText，fastText（二）则围绕Enriching Word Vectors with Subword Information。

二、一句话介绍fastText

word2vec的CBOW模型中将中心词替换为类别标签就得到了fastText。

具体到一些小区别：

  • CBOW中词袋的大小由window_size决定，而fastText中就是整个要分类的文本。
  • CBOW实际运行中用Hierarchical softmax，fastText用softmax或Hierarchical softmax，具体试类的数量决定。

这就是一个标配版且可以实际应用的fastText了，我要再强调三点它和CBOW无区别的地方，因为在别的讲该论文的文章中看到了一些错误的理解：

  • CBOW和fastText都是用平均值来预测的。（CBOW不是求和，是求平均）
  • N-gram对于CBOW和fastText都是锦上添花的元素，不是标配。
  • 词向量初始化都是随机的，fastText并没有在word2vec预训练词嵌入的基础上再训练。