介绍算法 五 (算法的五个)

本文目录导航：

• 介绍算法(五)——谷歌经典 Deep&Cross Network原理及代码通常
• 谷歌搜查一年改良890屡次，外围算法能否真的每天一变？
• 谷歌相机算法逻辑选哪个

介绍算法(五)——谷歌经典 Deep&Cross Network原理及代码通常

本文为介绍系统专栏的第五篇文章，内容围绕Deep&Cross的原理及代码开展，文末附有其改良的v2版本。

DCN是2017年由谷歌和斯坦福大学联结出品的CTR预估模型。

论文传送门：代码传送门：DCN是基于Wide&Deep的改良版，它把wide侧的LR换成了cross layer，可显式的结构有限阶特色组合，并且具备较低的复杂度。

2 原理2.1 Embedding and stacking layer该层为嵌入层，关于浓密的数值特色(Dense feature)坚持不变，关于稀疏的类别特色(Sparse feature)启动嵌入，即乘上一个嵌入矩阵映射到低维，获取低维浓密向量(Embedding vec)，而后将类别特色、数值特色拼接即为该层的输入，而后作为前面两局部的共享输入。

2.2 Cross Network特色交叉的数学表白式：图形表白式：关于第[公式] 层的输入 [公式] ，每次都会乘上原始的输入 [公式] ，向量中的元素两两相乘，以此来结构更高一阶的特色组合；而后乘上[公式] 启动线性转换并加上一个偏置 [公式] ，相当于对特色组合启动了一次性线性转换 [公式] ；最后会加上该层的输入[公式]，假设前一项的线性转换值凑近 0，则这种计算方式相当于引入了残差衔接，能够有效缓解梯度隐没疑问，可累加多层来结构高阶特色；Tips：2.3 Deep network规范的全衔接层，论文图中每层的维度坚持分歧，实践中可自己设定每个隐层的维度。

2.4 Combination layer未来自cross layer的输入与deep layer的输入concat到一同，而后乘上矩阵[公式]将其映射到1维，经过sigmoid获取概率输入。

DCN的损失函数为交叉熵损失，并添加了正则项（每一层权重向量[公式]的[公式]正则），降落模型过拟合危险。

3 总结好处：2. cross layer具备线性复杂度，可累加多层结构高阶特色交互，并且由于其相似残差衔接的计算方式，使其累加多层也不会发生梯度隐没疑问；3. 跟deepfm相反，两个分支共享输入，可更准确的训练学习。

缺陷：1. cross layer是以bit-wise方式结构特色组合的，最小粒度是特色向量中的每个元素，这样造成DCN不会思考域的概念，属于同一特色的各个元素应等同看待；裁减：DCN有一个改良版，叫做DCN-matrix，以上引见的DCN也叫做DCN-vector。

DCN-matrix只是将cross layer中做线性映射的向量$W$交流成了矩阵，并且为了不引入过多的参数量，作者又将$W$矩阵合成成了两个高瘦矩阵的乘积，并且在第一个矩阵映射后还可以加一个激活函数启动非线性转换，以此来提高模型的表白才干，这就是DCN-matrix相关于DCN-vector的不同之处。

DCN-matrix也提出了一种串行拼接方式，就是将cross layer最后一层的输入作为deep layer的输入，串行的拼接两局部。

串行与并行拼接方式在不同场景中体现不同，说不上孰好孰坏。

这就是DCN的改良版本DCN-matrix。

4 代码通常Layer搭建：Model搭建：完整的可训练代码可在文末仓库中检查。

写在最后下一篇预报：介绍算法(六)——xDeepFM原理详解及代码实战完整的介绍算法复现代码可参考仓库：宿愿看完此文的你能够有所收获...

谷歌搜查一年改良890屡次，外围算法能否真的每天一变？

谷歌搜查一年改良890屡次，外围算法突飞猛进

谷歌搜查业务担任人艾米特·辛格哈尔泄漏，过去一年内，谷歌对搜查引擎启动了总计超越890次的清楚改良，这一数字远超之前发布的数据。

自2009年起，谷歌对搜查技术的优化速度逐年优化，从最后的350到400次，再到2010年的550次，当初突飞猛进，外围搜查算法简直每日都在出现变动。

辛格哈尔强调，这些改良并不只限于搜查算法，还包含用户界面、智能成功、Google Now等多个主要畛域。

比如，早在2004年，谷歌就推出了智能成功配置，预测用户或者输入的单词或短语，成功即时搜查，如寻觅丝滑姜味节瓜汤的菜谱。

而翻译服务也从早期的测试版开展到当初的日均10亿次翻译，允许80种言语。

地图服务的更新使得搜查事实环球的或者性大大增强，只有提问交通路途，谷歌就能提供避开拥挤的出行打算。

搜查结果整合多种类型内容，无论是文本、视频还是其余方式，都能为用户提供最相关的消息。

此外，谷歌还针对移动设施和新屏幕启动了优化，包含语音搜查，允许38种言语，以及经过搜查运行间接口头义务，如发送消息、检查提示等。

常识图谱的构建更是谷歌对消息环球了解的一大打破，它提醒了事实环球中事物之间的相关，使得搜查愈加精准和共性化。

这些改良继续推进着谷歌搜查技术的提高，让用户在日常生存中体验到无缝的搜查体验。

谷歌相机算法逻辑选哪个

SuperResZoom算法逻辑好。

谷歌相机是一款由谷歌开发的高品质照片拍摄和解决运行程序，SuperResZoom：这个算法逻辑可以让你在没有光学变焦的状况下，经过软件解决获取愈加明晰的照片。

它经常使用多张图像的组合来捕捉更多的细节，并经过机器学习技术来提高图像品质。