五 介绍算法 (五种算法)

本文目录导航：

• 介绍算法(五)——谷歌经典 Deep&Cross Network原理及代码通常
• ai算法三大框架ai算法三大框架是什么
• 题目:Google PR值是什么意思?

介绍算法(五)——谷歌经典 Deep&Cross Network原理及代码通常

本文为介绍系统专栏的第五篇文章，内容围绕Deep&Cross的原理及代码倒退，文末附有其改良的v2版本。

DCN是2017年由谷歌和斯坦福大学联结出品的CTR预估模型。

论文传送门：代码传送门：DCN是基于Wide&Deep的改良版，它把wide侧的LR换成了cross layer，可显式的结构有限阶特色组合，并且具备较低的复杂度。

2 原理2.1 Embedding and stacking layer该层为嵌入层，关于浓密的数值特色(Dense feature)坚持不变，关于稀疏的类别特色(Sparse feature)启动嵌入，即乘上一个嵌入矩阵映射到低维，获取低维浓密向量(Embedding vec)，而后将类别特色、数值特色拼接即为该层的输入，而后作为前面两局部的共享输入。

2.2 Cross Network特色交叉的数学表白式：图形表白式：关于第[公式] 层的输入 [公式] ，每次都会乘上原始的输入 [公式] ，向量中的元素两两相乘，以此来结构更高一阶的特色组合；而后乘上[公式] 启动线性转换并加上一个偏置 [公式] ，相当于对特色组合启动了一次性线性转换 [公式] ；最后会加上该层的输入[公式]，假设前一项的线性转换值凑近 0，则这种计算形式相当于引入了残差衔接，能够有效缓解梯度隐没疑问，可累加多层来结构高阶特色；Tips：2.3 Deep network规范的全衔接层，论文图中每层的维度坚持分歧，实践中可自己设定每个隐层的维度。

2.4 Combination layer未来自cross layer的输入与deep layer的输入concat到一同，而后乘上矩阵[公式]将其映射到1维，经过sigmoid获取概率输入。

DCN的损失函数为交叉熵损失，并添加了正则项（每一层权重向量[公式]的[公式]正则），降落模型过拟合危险。

3 总结好处：2. cross layer具备线性复杂度，可累加多层结构高阶特色交互，并且由于其相似残差衔接的计算形式，使其累加多层也不会发生梯度隐没疑问；3. 跟deepfm相反，两个分支共享输入，可更准确的训练学习。

缺陷：1. cross layer是以bit-wise形式结构特色组合的，最小粒度是特色向量中的每个元素，这样造成DCN不会思考域的概念，属于同一特色的各个元素应等同看待；裁减：DCN有一个改良版，叫做DCN-matrix，以上引见的DCN也叫做DCN-vector。

DCN-matrix只是将cross layer中做线性映射的向量$W$交流成了矩阵，并且为了不引入过多的参数量，作者又将$W$矩阵合成成了两个高瘦矩阵的乘积，并且在第一个矩阵映射后还可以加一个激活函数启动非线性转换，以此来提高模型的表白才干，这就是DCN-matrix相关于DCN-vector的不同之处。

DCN-matrix也提出了一种串行拼接形式，就是将cross layer最后一层的输入作为deep layer的输入，串行的拼接两局部。

串行与并行拼接形式在不同场景中体现不同，说不上孰好孰坏。

这就是DCN的改良版本DCN-matrix。

4 代码通常Layer搭建：Model搭建：完整的可训练代码可在文末仓库中检查。

写在最后下一篇预报：介绍算法(六)——xDeepFM原理详解及代码实战完整的介绍算法复现代码可参考仓库：宿愿看完此文的你能够有所收获...

ai算法三大框架ai算法三大框架是什么

目前常常出现的AI框架有TensorFlow、PyTorch、Caffe、Keras、MXNet、DLib、CNTK等。

TensorFlow是由谷歌开发的开源框架，它允许多种言语，提供了一整套用于机器学习和深度学习的工具。

PyTorch是Facebook开发的深度学习框架，它允许Python和C++等多种编程言语，可以用来构建各种神经网络模型。

Caffe是一个由加利福尼亚大学伯克利分校开发的深度学习框架，它重要用于计算机视觉运行程序的构建和训练。

Keras是一个基于Python的神经网络框架，用于构建和测试深度学习模型。

MXNet是一个开源的深度学习框架，它允许多种编程言语，可以用于构建和训练大型神经网络模型。

DLib是一个开源的机器学习和深度学习库，可以用于构建各种模型、计算特色和检测对象。

CNTK是微软开发的开源深度学习框架，允许多种编程言语，可以用于构建和训练各种深度学习模型。

1. 有，三大框架区分是TensorFlow、PyTorch和CNTK。

2. TensorFlow是由谷歌公司开发的一种深度学习框架，它允许多种编程言语，并且有十分弱小的散布式计算才干，因此成为了以后最受欢迎的深度学习框架之一。

3. PyTorch是由Facebook开发的一个开源深度学习框架，相比于TensorFlow更具备灵敏性，而且具备灵活计算图的好处，因此在一些须要灵活计算图的上班中获取了宽泛的运行。

4. CNTK是微软公司开发的一个深度学习框架，驳回了散布式训练和计算的形式，因此在解决大规模数据时具备很好的功能，但运行比拟少。

1. 监视学习 (Supervised Learning)：该框架的指标是经过已知的输入和输入数据来构建一个模型，以预测新的输入数据的输入结果。

常常出现的算法包括线性回归、逻辑回归、决策树、允许向量机、神经网络等。

2. 无监视学习 (Unsupervised Learning)：该框架的指标是从未标志的数据中发现形式和结构。

常常出现的算法包括聚类、降维、关联规定开掘等。

3. 强化学习 (Reinforcement Learning)：该框架的指标是经过与环境启动交互来学习最佳行为战略，以最大化预期的累积鼓励。

常常出现的算法包括Q-learning、SARSA、DQN等。

题目:Google PR值是什么意思?

这个是在SEO的角渡过去说的一个疑问。

Seo（网络搜查引擎提升）PR值有两个概念。

一个最艰深的就是，发明谷歌网页排名算法的那个工程师的名字首字母是PR。

起初就有人猜想也或者就是那个工程师发明了这个物品取的名字。

第二个是：PR即page rank,翻译过去就是网页排名的意思。

便捷点来说就是，你随意在谷歌搜查一个关键词，都会进去1000个网页，PR值的排名越高，那么就代表蕴含你搜查的那个关键词的网页越在前面。

PR是一个数值，是评价一个网站的数据，普通是0-9 这10个数字。

数值越高就代表这个网站越优质。

PR值在网络这边就没有。

相应的，在网络这边有一个专门的名词来替代，就是权重。

PR值越高的网站，它的排名就越高。