Subword 字词模型 三 Model (subworldlibrary模组)

前面学习的 word2vec 和 glove 基本上都是基于word单词作为基本单位的模型，这种方式虽然能够很好的对词 库中每一个词启意向量示意。

但是也有很多无余，比如： 钻研外表，当训练大规模数据集的时刻，深度卷积神经网络并不须要单词层面的意义（包括言语的语法和语义），可以将字符级的文本当做原始信号，并且经常使用一维的卷积神经网络来处置它。

这就是基于 字符（Character） 作为基本单位的模型，这种方式能够很好的对字库中每一个 Char 启意向量示意。

好处是： 但是疑问也有很多，比如： 一种介于 word- level Model 和 Character-level 之间的 Model， Subword Model 可以被分为 Byte Pair Encoding(BPE) 和 SentencePiece。

初始词汇库为: 产生频率最高的ngram pair是(e,s) 9次，所以咱们将es作为新的词汇参与到词汇库中，由于es作为 一个全体出如今词汇库中， 此时，文本库可示意为 这时产生频率最高的ngram pair是(es,t) 9次，将est参与到词汇库中，文本库降级为 新的产生频率最高的ngram pair是(l,o)7次，将lo参与到词汇库中，文本库降级为 以此类推，直到词汇库大小到达咱们所设定的指标。

这个例子中词汇量较小，关于词汇量很大的实践情 况，咱们就可以经过BPE逐渐建造一个较小的基于subword unit的词汇库来示意一切的词汇。

BPE 衍动物 wordpiece model 谷歌的NMT模型用了BPE的变种，称作wordpiece model，BPE中应用了n-gram count来降级词汇库， 而wordpiece model中则用了一种贪心算法来最大化言语模型概率，即选取新的n-gram时都是选用使 得perplexity缩小最多的ngram。

在大少数状况下咱们还是驳回word level模型，而只在遇到OOV的状况才驳回character level模型。

其结构如下图所示， 关于句子中的 cute，其属于 OOV 词汇，为了处置该疑问，咱们须要构建一个 Character-level 示意， 但在 decode 环节中遇到 OOV 的不凡符号示意 时，须要驳回 character-level 的 decode 启动 解码。

该训练环节是end2end的，不过损失函数是word局部与character level局部损失函数的加权叠加。

FastText就是应用subword将word2vec扩大，有效的构建embedding。

基本思维 将每个 word 示意成 bag of character n-gram 以及单词自身的汇合，例如关于where这个单词和n=3的 状况，它可以示意为 <wh,whe,her,ere,re>, ，其中<,>为代表单词开局与完结的不凡标志。

假定关于word，其n-gram汇合用示意，每个n-gram的矢量示意为 ,则每个单词可以 示意成其一切n-gram的矢量和的方式，而center word与context word的分数就可示意成

短语辨析：good on you 还是 good for you ?

Good on You Comes from Australia“Good on You”来自澳大利亚英语The New Partridge Dictionary of Slang says good on you is an Australian phrase dating back to 1907. Anecdotally, two Australian commenters on the LinkedIn page said that good on you is the standard phrase in that country, but one Australian dissenter said that although good on you is common, it is still viewed as slang. [/en]《新帕特里奇俚语词典》中写道,“good on you”是一个澳大利亚短语，可以追溯到1907年。

听说，两位澳大利亚籍评论员在领英页面上称“good on you”在他们国度是规范用语，但是一位持推戴意见的人则示意虽然“good on you”经常使用广泛，但依然属于俚语。

[en]The Concise English Dictionary labels good on you Australian colloquial. 《扼要英语词典》将“good on you”标注为澳大利亚口语。

What Does Good on You Mean?“Good on You”是什么意思？Anna Wierzbicka, of the Department of Linguistics at Australian National University, writes in Semantics, Culture, and Cognition: Universal Human Concepts in Culture-Specific Configurations that the phrase good on you is a working-class expression and reflects Australians deep seated optimism. She says that although good on you is often interchangeable with congratulations or good job, it also has a different meaning: you may say good on you to a friend who has announced he will fight a difficult illness, for example—a situation in which congratulations or well done would be inappropriate.澳大利亚国立大学言语学部的安娜·维尔比卡在《语义，文明与认知：不凡文明格式中人类的广泛认知》一书中写道，“good on you”是工人阶层罕用的表白，反映了澳大利亚人积重难返的失望态度。

她说虽然“good on you”可以和“congratulations”和“good job”调换，它还蕴含了其余意义：比如你的好友发表他将和病魔作奋斗，你可以说“good on you”，但说“congratulations”和“good job”就不适合了。

She concludes:”Saying good on you, the speaker indicates that the addressee has displayed, in a conspicuous way, an attitude which the speaker assumes both she or he and the addressee admire. . . . in good on you, the stress is on peoples potential, on what they can do, rather than on what they have done, and on the kind of person they have shown themselves to be.”她总结道：“说‘good on you’时，谈话人想标明听话人很显著地展现出了一种谈话人和听话人都赞叹的态度……‘good on you’强调的是听话人的后劲，器重他们能做什么而不是曾经做了什么，强调听话人曾经展现出自己是某类人。

”Of course, good for you can be used the same way.当然，“good for you”是雷同的用法。

How Common Is Good on You?“good on you”有多广泛？A Google Ngram search shows that good on you is used in both British and American books. The phrase begins its rise in popularity around 1960, and the scale shows that it is now more common in published American English than in published British English.谷歌言语模型搜查标明英国和美国的书中都经常使用过“good on you”。

1960年左右这个短语经常使用量开局参与，而且数据标明如今“good on you”更多的出如今美式口语中，而不是英式口语中。

British English American English With good on you showing up in a slang dictionary and being labeled colloquial in a regular dictionary, its fair to say that although the phrase is common, it hasnt quite made the leap to being considered Standard English.由于“good on you”出如今一本俚语字典中，而且又在普通字典中被注明是行动用语，可以说虽然它十分广泛，但还不能算作规范英语。

no pains, no gains是失误用法吗？

no pains, no gains不是失误用法。

不少同窗或者会用nopains，nogains来示意“一分耕耘，一分收获”，不少英语教员或者也是这么教的。

但实践上nopain，nogain才是正确说法，它曾经成了一个固定短语，反倒是国际经常看到的nopains，nogains在英文环球中极少产生。

依据维基百科的消息，nopain，nogain的另一个写法是no gain without pain，该短语是从1982年以后开局盛行起来的。

过后美国演员Jane Fonda做了一系列有氧健身视频，在视频中她经常使用＂Nopain，nogain＂以及＂Feel the burn＂这两个行动禅来激励人们保持锻炼，即使感遭到了肌肉酸痛也要继续下去。

起初＂nopain，nogain＂这一行动禅就逐渐在健身以及其余畛域传达开来。

但有医学专家指出该短语传达进去的健身理念是不正确的，由于在肌肉酸痛的状况下还继续锻炼很或者会对身材形成挫伤。

那么no gains, no pains算错吗？严厉意义过去说它也不能算错，只是如今没有人用。实践上no pain, no gain最早的方式就是no pains, no gains，早在1650年英国诗人Robert Herrick 在他的诗歌Hesperides中就有这样的句子：

NO PAINS, NO GAINS.

If little labour, little are our gains:

Mans fate is according to his pains.

美国开国元勋本杰明·富兰克林（BenjaminFranklin）在他的文章外面也有这样的说法：

Industry need not wish, as Poor Richard says, and he that lives upon hope will die fasting. There are no gains, without pains.

但目前英文环球的干流用法是no pain, no gain，谷歌Ngram Viewer的对比结果显示，经常使用no pain, no gain的状况要远远多于另一种，因此在英文考场写作等正式场所，咱们要经常使用干流用法。

网络搜查no pains, no gains，咱们会看到这一说法在中文互联网上还被少量经常使用。

但假设换个搜查引擎结果会不一样。

必应搜查国际版搜进去的是英文互联网的结果，这关于判别英语用法比拟好用。

比如搜查no pains, no gains，它会指向干流用法，即no pain, no gain，不会形成误导。