谷歌大模型PaLM 3400亿参数 2细节遭曝光 3.6万亿token (谷歌大模型palm2)

谷歌外部文件显示，新一代大模型PaLM 2在训练数据量上是前代的近5倍，参数量约为前代的三分之二左右。

在2023谷歌I/O大会上，谷歌CEO皮查伊宣布推出与GPT-4相抗衡的PaLM 2，并发布预览版本，该模型改良了数学、代码、推理、多言语翻译和人造言语生成才干。

PaLM 2提供四个不同规模的模型版本，从Gecko到Unicorn，易于针对各种运行部署。

轻量级的Gecko模型可以在移动设施上运转，速度快且无需联网就能在设施上口头杰出交互式运行程序。

但是，谷歌在I/O大会上并未具体泄漏PaLM 2的技术细节，仅示意它构建在谷歌的最新JAX和TPU v4之上。

据报道，PaLM 2的训练数据量到达3.6万亿token，远超前代的7800亿token。

与其它大型言语模型相比，PaLM 2的参数量3400亿清楚低于Meta的LLaMA（1.4万亿token）和OpenAI的GPT-3（3000亿token）。

谷歌和OpenAI选用不泄漏其训练数据的具体消息，或者是由于业务的竞争属性。

但是，随着AI比赛的继续加剧，提高透明度的要求在钻研界越来越遭到关注。

暴露的谷歌外部文件标明，第三方力气“开源”在AI大模型畛域中崛起。

虽然文件的实在性尚未失掉验证，谷歌并未对此宣布评论。

网友们对PaLM 2的参数量和训练老本启动了预测，推测其规模在80B至100B之间，估量打造PaLM 2须要耗资1亿美元。

随着PaLM 2训练token的暴露，人们开局思索在AGI来到前，须要多少token才干迎来一次性严重转机。

关系链接：[/2023/05/16/goo...]。

以往回忆包含基础常识、最新论文解析等。

小Fan周报 | OpenAI 发布首个视频生成模型Sora；Vision Pro环球首拆；Google 开源大模型 Gemma

「技术饭」—— 技术人员的资讯圈！

每个星期7分钟，小fan带你看看本周都有哪些值得咱们技术人关注的关键资讯!

1. OpenAI 发布首个视频生成模型Sora

OpenAI 近日发布了 Sora 模型，可以依据用户输入的文本形容，生成一段视频内容。

该模型可以深度模拟实在物理环球，标记着人工默认无了解实在环球场景并与之互动的才干方面成功了严重飞跃。

Sora 会严厉依据用户输入的揭示词，可以制造长达一分钟的视频，坚持较高的视觉品质。

关于任何须要制造视频的艺术家、电影制片人或在校生来说，这都带来了有限或者。

2. Vision Pro环球首拆，细节曝光

环球专业拆解小户iFixit正式发布了环球首个苹果Vision Pro拆解视频。

售价3499美元的Vision Pro，被拆解到每一块电路板、每一颗螺丝钉、每一颗摄像头，苹果这个终极大招一切的秘密，第一次性无保管的暴露在众人面前。

经过拆解，咱们看到了苹果Vision Pro更多设计上的细节、技术上的思索，其外部精细水平、复杂水平也远超市面上此前一切同类产品。

同时整个外部看起来又遵照着苹果自始自终的“科技美学”，可以说是果味十足。

3. Google 开源大模型 Gemma

北京期间2月21日晚21点，美国科技巨头谷歌宣布推出环球功能最弱小、轻量级的开源模型系列Gemma，分为2B（20亿参数）和7B（70亿）两种尺寸版本，2B版本甚至可间接在笔记本电脑上运转。

谷歌示意，Gemma驳回与 Gemini 模型相反的钻研和技术，由Google DeepMind 和谷歌其他团队开发，专为担任任的 AI开发而打造。

谷歌宣称，Gemma 模型在18个言语了解、推理、数学等关键基准测试中，有11个测试分数逾越了Meta Llama-2等更大参数的开源模型。

平均分数方面，Gemma -7B 的基准测试平均分高达56.4，远超越Llama-13B（52.2）、Mistral-7B（54.0），成为目前环球最弱小的开源模型。

4. 三星显示或者会在可折叠 OLED 面板边框上经常使用喷墨印刷打算

据韩媒近日报道称，三星显示器正在思索驳回喷墨印刷技术来制造三星电子定于往年下半年发布的新款可折叠手机的显示屏边框。

自动手机无机发光二极管（OLED）屏幕边缘的边框用于笼罩OLED的外部布线或金属电极。

显示器中显示消息的局部称为图像显示区域，其他局部称为非显示区域。

5. 微软发布 Visual Studio 2022 17.10 首个预览版更新

微软目前发布了 Visual Studio 2022 17.10 首个预览版本，该版本重点改良了 GitHub Copilot，并对设置、裁减组件等方面启动了一系列更新。

微软宣称，GitHub Copilot 在 Visual Studio 2022 17.10 中从“聊天机器人”更新到了“开发同伴”，在该版本中，Copilot 能够“更好地从名目中搜集消息”，进一步为开发者以后的开发环境提供更无心义的答案，同时开发者还能够间接在名目中与 Copilot 互动并失掉倡导，并“轻松失掉生成式 AI 运行开发倡导”。

6. 最强开源多模态生成模型MM-Interleaved

上海人工默认试验室联结香港中文大学多媒体试验室（MMLab）、清华大学、商汤科技、多伦多大学等多家高校、机构，独特发布了一个多才多艺的最强开源多模态生成模型 MM-Interleaved，借助全新提出的多模态特色同步器刷新多项义务 SOTA。

它领有对高分辨率图像细节和巧妙语义的精准了解才干，允许恣意交叉的图文输入和输入，带来了多模态生成大模型的崭新打破。

7. ICLR 2024 | 依据紧缩比率管理生成样本难度

数据集蒸馏旨在以生成的模式将一个大的数据集紧缩成一个小的数据集。

得益于生成数据的高消息密度，在紧缩率较高时，数据集蒸馏的成果远超数据集剪枝等其他数据紧缩方法。

但是，随着紧缩率的逐渐降落，现有数据集蒸馏方法的成果逐突变差，甚至弱于从原数据集中随机选取等量数据。

这造成现有数据集蒸馏方法局限于高紧缩率场景，不可成功对原数据集的无损紧缩。

在本文中，作者剖析了生成数据的难易以及其对紧缩成果的影响，发现应该依据紧缩比率管理生成数据的难易。

经过运行这一战略，作者提出了第一个可以在低紧缩率坚持有效的数据集蒸馏方法，并初次成功了无损数据集蒸馏。

AI推进英伟达市值超亚马逊和谷歌

2022年底以来，AI风潮不时，最直观的表现是美国芯片巨头英伟达不时下跌的股价和市值。

2023年，英伟达市值下跌超越两倍，而往年仅一个半月，英伟达的股价又再次下跌了超50%。

截至外地期间2月16日收盘，英伟达市值到达了1.79万亿美元。

与之相较，亚马逊市值1.76万亿美元；谷歌母公司Alphabet市值为1.75万亿美元。

英伟达一跃成为继微软、苹果和石油巨头沙特阿美之后的环球市值第四大的公司，逾越了亚马逊和Alphabet。

往年以来，Open AI为代表的人工默认公司仍在继续引领这一轮AI改革。

2月16日，OpenAI发布了文生视频模型Sora，初次由AI生成了1分钟的多镜头长视频，且成功了高恢复度实景生成、多种运镜连贯、多角度画面出现等，酝酿着AI行业又一轮改造。

另一方面，据彭博社于外地期间2月17日报道，一直对AGI抱有激情的软银团体开创人孙正义正在寻求高达1000亿美元的资金成立一家芯片企业，以与英伟达竞争并供应与AI亲密关系的半导体。

据悉，关系名目的代号为“Izanagi”，孙正义宿愿Izanagi与软银旗下的芯片设计公司Arm Holdings构成互补，以打造一个新的AI芯片巨头。

另据瑞银剖析师近日分享给投资者的备忘录，英伟达大幅缩短了AI GPU的交付周期，从去年年底的8-11个月缩短到了如今的3-4个月。

该机构以为英伟达此举面前有两种或者：该公司正在布局新的打算提高产能，满足未来的订单；英伟达目前已具有足够的产能，可以解决积压的订单，同时也不扫除两个起因叠加的成果。

外地期间1月9日，英伟达还在2024年国内生产电子展（CES）揭幕前，发布了三款针对AI PC的新显卡，包含RTX 4080 SUPER、RTX 4070 Ti SUPER和4070 SUPER GPU（图形解决器）芯片产品，雷同促使其今日的股价大涨。

此外，随同着人工默认的研发和运行，各小孩儿工默认公司对英伟达高功能GPU的需求也在不时参与，meta Platforms等大型科技公司曾经购置了数十亿美元的英伟达图形解决器。

另据路透社于外地期间1月11日报道，为增强者工默认云服务，印度数据核心和主机经营商Yotta继去年向英伟达订购了1.6万团体工默认芯片H100后，将再向英伟达订购1.6万枚H100和GH200，总价值将到达5亿美元。

截至目前，二者之间的总订单额曾经到达了10亿美元。

在机构方面，继高盛和美银之后，摩根士丹利也于外地期间2月7日发布了失望报告，将英伟达的指标价从603美元提高到了750美元，剖析师约瑟夫·摩尔在客户报告中示意，“Al需求继续激增”。

值得留意的是，上一次性英伟达市值超越亚马逊，还是在2002年，但过后两者的市值均不到60亿美元。

相似的追逐和逾越还出当初了Open AI最大的股东——微软身上。

在英伟达之前，微软曾经于2024年1月超越了苹果，成为了环球范围内市值最高的公司。

2023年11月22日，英伟达发布了2024财年截至2023年10月的第三季度财报。

财报显示，英伟达期内成功支出181.2亿美元，同比下跌206%；净利润92.43亿美元，同比回升1259%；毛利率为74%，较上年同期优化20.4%。

自去年以来，英伟达就不时坚持着迅猛的增势。

外地期间2月21日，英伟达将发布2024财年Q4及全年财报。