【磐创AI 导读】：本文将会带大家在3分钟内理解GPT，BERT和XLNet的概念差异，欢迎大家转发、留言。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
XLNet是一种新的预训练模型，在20项任务中表现优于BERT，且有大幅度的提升。
在不了解机器学习的情况下，不难估计我们捕获的上下文越多，预测就越准确。
因此，模型能够深入而有效地捕获大多数上下文的能力是其提升的原因。
让我们玩一个游戏,在下面的上下文中，[Guess1]和[Guess2]分别是什么呢？
[‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, [Guess1], [Guess2], ‘and’, ‘linguistics’]
答案: [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘machine’,‘learning’, ‘and’, ‘linguistics’]
我们使用符号Pr（Guess | Context） 代表一个基于上下文词的猜测概率。
GPT中，我们从左到右阅读，因此我们不知道 ‘machine’, ‘learning’各自后面的下文：
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’])
Pr (‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘machine’])
知道‘machine’实际上可以帮助你猜‘learning’，因为‘learning’经常跟随‘machine’，而‘machine learning’是现在很火热的术语。
BERT中，与GPT对比，我们能知道预测单词前向和后向上下文，但我们在猜测 ‘machine’和 ‘learning’时都是基于相同的上下文：
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
Pr (‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
拥有‘linguistics’实际上可以帮助你猜测‘machine’ ‘learning’ ，因为你知道自然语言处理是机器学习和语言学的完美结合。即使你不知道，有了‘linguistics’的存在，你至少知道预测单词不是 ‘linguistics’。
你可以看到BERT的明显缺点是，它无法知道 ‘machine’ 和 ‘learning’之间的联系。
XLNet
排列！排列的作用是即使我们只从左到右阅读，排列也允许我们捕捉前向和后向上下文（从左到右阅读，从右到左阅读）。
[‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’, ‘machine’, ‘learning’]
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
Pr(‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’, ‘machine’])
这一次，你拥有完整的上下文，在猜测 ‘machine’之后，你可以立即猜测‘learning’。
你可以清楚地看到XLNet结合了GPT和BERT的优点。
当然，如果你想了解更多细节，请阅读XLNet论文[1]。
为了鼓励大家踊跃在文章留言区分享自己的看法，磐创AI推出了“留言送书”活动~在本文文末留言即可参与活动，留言内容需为主题相关。欢迎大家在日常推文中留言，以后将不定期推出“留言送书”活动。
这次磐小仙精心挑选了本《深入浅出Python机器学习》送给大家。本书本书内容涵盖了有监督学习、无监督学习、模型优化、自然语言处理等机器学习领域所必须掌握的知识，从内容结构上非常注重知识的实用性和可操作性。 书籍详细介绍可以点击文末阅读原文或者点击下方链接查看。
/ 今日赠送书籍 /
《深入浅出Python机器学习》
/ 今日留言主题 /
点击下方 | 阅读原文 | 了解更多
磐创AI：http://www.panchuangai.com/
智能客服：http://www.panchuangai.com/
TensorFlow：http://panchuang.net
推荐关注公众号：磐创AI
原创文章，作者：fendouai，如若转载，请注明出处：https://panchuang.net/2019/11/09/48d3dfa3e1/
fendouai 