1. 磐创AI-开放猫官方网站首页
  2. 机器学习
  3. TensorFlowNews

3分钟了解GPT Bert与XLNet的差异

3分钟了解GPT Bert与XLNet的差异

译者 | Arno
来源 | Medium

【磐创AI 导读】:本文将会带大家在3分钟内理解GPT,BERT和XLNet的概念差异,欢迎大家转发、留言。想要更多电子杂志的机器学习,深度学习资源,大家欢迎点击上方蓝字关注我们的公众号:磐创AI

XLNet是一种新的预训练模型,在20项任务中表现优于BERT,且有大幅度的提升。
这是什么原因呢?
在不了解机器学习的情况下,不难估计我们捕获的上下文越多,预测就越准确。
因此,模型能够深入而有效地捕获大多数上下文的能力是其提升的原因。
让我们玩一个游戏,在下面的上下文中,[Guess1]和[Guess2]分别是什么呢?
[‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, [Guess1], [Guess2], ‘and’, ‘linguistics’]
考虑到3分钟的限制,我就直接揭示答案了。
答案: [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘machine’,‘learning’, ‘and’, ‘linguistics’]
我们使用符号Pr(Guess | Context) 代表一个基于上下文词的猜测概率。
GPT中,我们从左到右阅读,因此我们不知道 ‘machine’, ‘learning’各自后面的下文:
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’])
Pr (‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘machine’])
知道‘machine’实际上可以帮助你猜‘learning’,因为‘learning’经常跟随‘machine’,而‘machine learning’是现在很火热的术语。
BERT中,与GPT对比,我们能知道预测单词前向和后向上下文,但我们在猜测 ‘machine’和 ‘learning’时都是基于相同的上下文:
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
Pr (‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
拥有‘linguistics’实际上可以帮助你猜测‘machine’ ‘learning’ ,因为你知道自然语言处理是机器学习和语言学的完美结合。即使你不知道,有了‘linguistics’的存在,你至少知道预测单词不是 ‘linguistics’。
你可以看到BERT的明显缺点是,它无法知道 ‘machine’ 和 ‘learning’之间的联系。
那么我们如何结合GPT和BERT的优点呢?
XLNet
排列!排列的作用是即使我们只从左到右阅读,排列也允许我们捕捉前向和后向上下文(从左到右阅读,从右到左阅读)。
其中一种排列可以让我们捕捉到前向和后向上下文:
[‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’, ‘machine’, ‘learning’]
Pr (‘machine’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’])
Pr(‘learning’ | [‘Natural’, ‘language’, ‘processing’, ‘is’, ‘a’, ‘marriage’, ‘of’, ‘and’, ‘linguistics’, ‘machine’])
这一次,你拥有完整的上下文,在猜测 ‘machine’之后,你可以立即猜测‘learning’。
你可以清楚地看到XLNet结合了GPT和BERT的优点。
当然,如果你想了解更多细节,请阅读XLNet论文[1]
[1]: https://arxiv.org/pdf/1906.08237.pdf

3分钟了解GPT Bert与XLNet的差异

留言送书福利

3分钟了解GPT Bert与XLNet的差异
3分钟了解GPT Bert与XLNet的差异

为了鼓励大家踊跃在文章留言区分享自己的看法,磐创AI推出了“留言送书”活动~在本文文末留言即可参与活动,留言内容需为主题相关。欢迎大家在日常推文中留言,以后将不定期推出“留言送书活动。

这次磐小仙精心挑选了本《深入浅出Python机器学习》送给大家。本书本书内容涵盖了有监督学习、无监督学习、模型优化、自然语言处理等机器学习领域所必须掌握的知识,从内容结构上非常注重知识的实用性和可操作性。 书籍详细介绍可以点击文末阅读原文或者点击下方链接查看。



/  今日赠送书籍 /

3分钟了解GPT Bert与XLNet的差异

深入浅出Python机器学习


/  今日留言主题 /

谈谈你对XLNet的理解?


3分钟了解GPT Bert与XLNet的差异 


你也许还想
● 深度强化学习(DRL)专栏(一)
● 深度强化学习(DRL)专栏开篇
● 深度学习vs机器学习 | 这些本质区别你知道多少?

欢迎扫码关注:
3分钟了解GPT Bert与XLNet的差异


3分钟了解GPT Bert与XLNet的差异 点击下方 |  | 了解更多
磐创AI:http://www.panchuangai.com/ 智能客服:http://www.panchuangai.com/ TensorFlow:http://panchuang.net 推荐关注公众号:磐创AI

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2019/11/09/48d3dfa3e1/

发表评论

登录后才能评论

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息