聊聊LM的故事和近况

言语模型是人造言语处置畛域的关键组成局部。

早期言语模型以Word2Vec和nGram为代表，其中nGram模型经过统计文本中n-1个词前面一个词的概率，构成一个词到下一个词概率的查找表。

但是，这类模型在处置不同长度的序列时不够灵敏，且紧缩效率较低。

随着GRU和LSTM等基于深度神经网络的模型的引入，言语模型的功能获取了清楚优化。

DNN的一个清楚长处是其弱小的紧缩才干，能够更高效地预测恣意长度序列的下一个词。

比如，训练一个字级别的GRU/LSTM言语模型，可以极大地降落词表的大小和模型参数量，这种小模型在谷歌搜查的揭示词场景中体现出了低劣的综合功能。

在语音识别、翻译等畛域，GRU/LSTM模型逐渐逾越了传统的言语模型。

虽然LSTM在成果上稍胜一筹，但其计算开支较大，GPU优化不时是个应战。

为了处置这一疑问，产生了如cudnnLSTM这样的优化技术。

为了缓解长序列忘记疑问，双向LSTM（bi-directional LSTM）技术应运而生，经过从返回后和从后往前区分处置序列，而后将结果concatenate，以改善模型功能。

Transformer的产生，以其算法对序列长度疑问的优化和适应配件开展趋向的个性，为言语模型畛域带来了反派性的变动。

相较于RNN，Transformer在计算效率和并行性上取得了清楚优化，使得模型处置长序列义务时愈加高效。

在运行畛域，BERT作为encoder模型，仰仗其在人造言语处置义务上的杰出体现，成为推进Transformer技术开展的关键力气。

BERT模型的亮点在于其共同的encoder设计，相较于之前的decoder-only模型，它在某些义务上展现出更弱小的功能。

在GPT系列模型的推进下，言语模型畛域取得了清楚提高。

GPT-3的参数量到达了惊人的175B，这一里程碑式的打破引发了业界的宽泛关注。

GPT-3的产生标记着言语模型在参数量和生成才干上到达了新的高度。

视觉-言语模型（VLM）是以后钻研的热点之一。

OpenAI将视觉才干引入GPT系列，推出GPT-4，进一步推进了跨模态义务的开展。

VLM的钻研旨在探求如何将视觉消息与言语模型有效联合，以成功更弱小的多模态了解与生成才干。

这被以为是迈向通用人工智能（AGI）的关键一步。

在模型架构翻新方面，近年来虽有提高，但更多关注于训练技巧的优化，如指令调优、强化学习与人类反应（RLHF）、少量数据集的应用、散布式训练方法、数据标注战略和参数调整等。

这些技术的改良，使得言语模型在实践运行中的体现愈加杰出。

但是，大模型的宽泛运行也带来了一些应战。

如端到云的计算依赖疑问，尤其是关于须要实时照应、不能齐全依赖云服务的场景，如智能驾驶等，如何将大模型才干有效部署到边缘计算设施成为了一个关键钻研方向。

未来，随着技术的不时提高，言语模型在跨模态了解、多模态生成以及通用人工智能畛域的开展前景值得等候。

短语辨析：good on you 还是 good for you ?

Good on You Comes from Australia“Good on You”来自澳大利亚英语The New Partridge Dictionary of Slang says good on you is an Australian phrase dating back to 1907. Anecdotally, two Australian commenters on the LinkedIn page said that good on you is the standard phrase in that country, but one Australian dissenter said that although good on you is common, it is still viewed as slang. [/en]《新帕特里奇俚语词典》中写道,“good on you”是一个澳大利亚短语，可以追溯到1907年。

听说，两位澳大利亚籍评论员在领英页面上称“good on you”在他们国度是规范用语，但是一位持推戴意见的人则示意虽然“good on you”经常使用普遍，但依然属于俚语。

[en]The Concise English Dictionary labels good on you Australian colloquial. 《扼要英语词典》将“good on you”标注为澳大利亚口语。

What Does Good on You Mean?“Good on You”是什么意思？Anna Wierzbicka, of the Department of Linguistics at Australian National University, writes in Semantics, Culture, and Cognition: Universal Human Concepts in Culture-Specific Configurations that the phrase good on you is a working-class expression and reflects Australians deep seated optimism. She says that although good on you is often interchangeable with congratulations or good job, it also has a different meaning: you may say good on you to a friend who has announced he will fight a difficult illness, for example—a situation in which congratulations or well done would be inappropriate.澳大利亚国立大学言语学部的安娜·维尔比卡在《语义，文明与认知：不凡文明格式中人类的普遍认知》一书中写道，“good on you”是工人阶层罕用的表白，反映了澳大利亚人积重难返的失望态度。

她说虽然“good on you”可以和“congratulations”和“good job”调换，它还蕴含了其余意义：比如你的好友发表他将和病魔作奋斗，你可以说“good on you”，但说“congratulations”和“good job”就不适合了。

She concludes:”Saying good on you, the speaker indicates that the addressee has displayed, in a conspicuous way, an attitude which the speaker assumes both she or he and the addressee admire. . . . in good on you, the stress is on peoples potential, on what they can do, rather than on what they have done, and on the kind of person they have shown themselves to be.”她总结道：“说‘good on you’时，谈话人想标明听话人很清楚地展现出了一种谈话人和听话人都赞叹的态度……‘good on you’强调的是听话人的后劲，器重他们能做什么而不是曾经做了什么，强调听话人曾经展现出自己是某类人。

”Of course, good for you can be used the same way.当然，“good for you”是雷同的用法。

How Common Is Good on You?“good on you”有多普遍？A Google Ngram search shows that good on you is used in both British and American books. The phrase begins its rise in popularity around 1960, and the scale shows that it is now more common in published American English than in published British English.谷歌言语模型搜查标明英国和美国的书中都经常使用过“good on you”。

1960年左右这个短语经常使用量开局参与，而且数据标明如今“good on you”更多的出如今美式口语中，而不是英式口语中。

British English American English With good on you showing up in a slang dictionary and being labeled colloquial in a regular dictionary, its fair to say that although the phrase is common, it hasnt quite made the leap to being considered Standard English.由于“good on you”出如今一本俚语字典中，而且又在普通字典中被注明是行动用语，可以说虽然它十分普遍，但还不能算作规范英语。

booksngramviewer怎样关上

谷歌迷信上网关上。

经查问关系资料显示，Books Ngram Viewer，是以图示方式显示/对比查问词在1800-2000年间图书中的词频，包括英、法、德、俄、西、汉六种文字的工具。

可以经过谷歌迷信上网关上。