有哪些方面 提升方法的实践体系 (有哪些方面提案)

本文目录导航：

• 提升方法的实践体系 有哪些方面
• 5.如何选用适宜的PLS算法参数来提升模型功能
• 提升算法笔记（二）提升算法的分类

提升方法的实践体系 有哪些方面

1、一维提升方法2、多维无解放提升方法3、多维有解放提升方法4、线性提升方法5、多指标提升方法6、团圆变量提升方法7、基于其他实践的提升方法8、经常出现的提升算例9、关键文献 方法/步骤（一）一维提升方法。

关键有以下三类：1）基于盲人探路思维的试探法。

以步长加倍战略将极值点确定在距离以后点单步步长之内，再以步长减半战略，使以后点接近于极值点。

关键有确定极值点所在区间的进退法（运行推论1）、一维盲人探路法（在进退法基础上参与一个模块）、一阶导数符号法（运行推论2）等。

2）区间削去法。

比拟区间内两点的指标函数值或计算一点的导数符号，依据单峰假定将极值点所在区间削短。

关键有对称等比例、对称变比例区间宰割法、平分法、切线交点法、自顺应二分法等。

3）拟合函数寻点法。

关键是二次拟合函数法（抛物线法）、三角拟合函数法、二次拟合函数定点法、一次性拟合导函数法等。

（二）多维无解放提升方法。

关键有：1）负梯度方向法及基于盲人探路思维的折线负梯度方向法。

2）多维二阶近似式方向法及其近似算法。

3）坐标系拟平均变换法，也称为坐标变换法，包含部分坐标系的建设。

4）取得共轭方向的方法，关键有定义法、几何法、待定系数法、两次同方向寻优取得法、延续两次沿负梯度方向寻优取得法（四寻法、六寻法、三寻法）等。

5）共轭方向轮换法，关键有几何法、待定系数法、正交向量组法等，包含方向组的概念。

6）寻优方向的数值算法成功，基于二次函数假定的数值偏导数、方导游数计算式，结构二阶偏导数矩阵法、大步长探测等算法实例。

7）拟合函数法，关键有多维二次拟合函数法和线性拟合梯度法。

8）不求偏导数的方向组轮换法，关键有坐标方向轮换法、自顺应坐标降低法、经典Powell基本算法和改良算法、结构共轭方向法等。

9）无界多面体变形法，也称为单形交流法或单纯形法，与多维有解放复合形法的寻优思维相反。

（三）多维有解放提升方法。

关键有：1）可行域内直接求解法，关键包含网格法、有界多面体变形法（复合形法）、随机方向法等。

2）优选可用方向法，寻优到解放边界之后，寻优最好的方向继续寻优，是船到桥头人造直的正确思绪。

3）半步法，没有寻优到解放边界的时刻驳回无解放提升方法，寻到之前进半步从新选用新的寻优方向，是未雨抽聊的钻研思绪。

4）化简法，关键有基于二阶近似式结构寻优方向法、基于一阶近似式线性化法。

5）结构无解放提升疑问序列法，驳回加权组合的形式将指标函数和解放函数转化为无解放提升疑问，权依照肯定规律变动，从而结构出一系列的无解放提升方法，关键有围墙法（内点处罚函数法，须加固围墙）和土堆法（外点处罚函数法）。

（四）线性提升方法。

关于指标函数和解放函数均为设计变量线性函数的提升疑问，其解放边界和指标函数等值线均为直线，可行点的汇合造成一个凸集，且为凸多面体。

假设存在最好处，则必为该凸集的某个顶点。

寻觅最好处就是在该凸多面体上确定最优的顶点。

关键方法为单纯形法，在可行域多面体的某一个顶点登程，逐渐滑向更好的顶点，最终取得最好处。

（五）多指标提升方法。

关键有以下几类：1）穷举类方法。

直接求出一切分指标函数的最好处，而后在各个指标之间启动协调，使其相互间作出适当“退让”，以便取得全体最优方案，选用较好的设计点。

或许列出一切方案，驳回专家评议、指导摇头等形式确定最优方案。

2）直接重构单指标函数法。

直接由各分指标函数结构一个新的指标函数，从而将多指标的提升疑问转化为单指标的。

如关键指标法、线性加权组非法、取最大分指标函数值法、分指标乘除法、分层序列法等，其中线性加权组非法最具备适用性。

3）直接重构单指标函数法。

将原分指标函数适当处置后结构一个新的指标函数。

如现实点法、功率系数法（几何平均法）、协调曲线法等。

（六）团圆变量提升方法。

关键有三类：1）按延续变量处置法。

取得最好处后，再圆整。

团圆变量依次确定，原提升疑问依次降维。

2）随机法。

依据实践状况随机确定一些设计点，而后从当选取最好处。

或许在初始点周围以随机形式寻觅多个设计点，取其最优者作为以后点继续寻优。

3）穷举法。

如分支定界法、网格法。

（七）基于其他实践的提升方法。

实践上，存在很多不能由规范数学模型形容的提升疑问，其数学模型的建设与评估均没有固定的形式，可行域不延续，甚至只是一些零散的可行点，并且各可行点的优劣难以用一致的规范权衡，比如游览商最佳门路疑问、背包疑问等。

在日常生活当中也存在着相似的疑问，如股市运作，何时何股入市最优；抗争动员，何时何地以什么形式最无利；团体学习方案，先学习还是先上班，学什么课程做什么上班最好。

借用其他学科的实践常识，可开展一些提升方法，如遗传算法、神经网络算法、基于常识的专家系统算法、蚁群算法、模拟退火算法、分形与混沌算法等。

这些方法均以全域提升疑问为钻研对象，基于概率论和随机实践，使多个盲人按相反规律寻求全域极值点，因此也称为智能提升算法。

其独特特点是“无序中寻求有序，偶然中探求肯定”。

（八）经常出现的提升算例。

1）一维单峰函数。

用于一维提升方法的测验。

2）二维二次函数。

可绘图直观地示意寻优环节，，测验算法最直接有效。

由于提升方法都是在单峰假定下提进去的，即假定指标函数为二次函数，测验结果可信。

3）多维二次函数。

结构共轭方向的提升方法关于二维提升疑问成果显著，然而须要在多维设计空间当中测验。

4）复杂函数。

最典型的是Rosenbrock函数，由于存在一个弯弯的峡谷，成为许多提升方法的滑铁卢。

5）指标函数没有数学表白式的提升疑问。

如指标函数的求取须要借助于其他计算算法。

6）笼统提升疑问。

设计变量没有优选值疑问、指标函数和解放函数难以用数学表白式示意。

比如背包疑问、游览商疑问、交通讯号灯布局疑问等。

关于这些疑问，穷举法是最牢靠的算法。

（九）关键文献。

上述综述关键是基于一下翻新性文献而成功的：1]例证多维二阶近似式法的适用性J]. 德州学院学报, 2017,33(6):12-14.2]多维二次拟合函数提升方法J]. 甘肃迷信学报, 2017, 29(5):26-28.3] 基于指标函数梯度向量的相邻方向共轭法J].甘肃迷信学报,2017,29(05):15-21.4]指标函数提升的切线交点法J]. 机械设计与钻研(外围), 2017, 33(2):17-19,24.5]The program verification of the three-seeking and six-seeking method based on the conjugate directionA]. . 2017 5th International Conference on Machinery, Materials and Computing Technology(ICMMCT2017), March 25-26, 2017 Beijing, China. Advances in Engineering, volume 126, pp109-114.6]基于盲人探路寻优思维的二阶近似式定点法钻研J]. 中国石油大学学报（人造迷信版）, 2017, 41(1): 144-149.7]盲人探路负梯度方向法J]. 甘肃迷信学报, 2016, 28(5):116-122.8] Blind-walking optimization methodJ]. Journal of Networks, 2010, 5(12):1458-1466.9]提升方法M]. 西北大学出版社, 2009.1010]随机方向法改良及其验证J]. 计算机仿真, 2009, 26(1):189-192.11]具备畸形解放极值点疑问的提升J]. 中国科技论文在线学报, 2008, 3(8):562-565.12]笼统化教学方法在“机械提升设计”课程中的运行J]. 中国石油大学学报(社科版), 2008, 25(S): 90-9213]加固围墙的内点处罚函数法防越界验证J]. 机械设计, 2007, 24(S):111-112.14]延续负梯度方向取得共轭方向的六寻提升方法J]. 计算机迷信与探求, 2019, 13(0).特意说明：经过以上关于提升方法的实践体系 有哪些方面内容引见后，置信大家会对提升方法的实践体系 有哪些方面有个新的了解，更宿愿可以对你有所协助。

5.如何选用适宜的PLS算法参数来提升模型功能

5.如何选用适宜的PLS算法参数来提升模型功能?如何选用适宜的PLS算法参数来提升模型功能？偏最小二乘回归（PLS）是一种罕用的多元线性回归方法，可以用于变量选用和建设预测模型。

其中，PLS算法参数的选用关于模型的功能提升十分关键。

上方将引见如何选用适宜的PLS算法参数来提升模型功能。

首先，须要了解PLS算法的详细步骤。

PLS算法经过对自变量和因变量之间的协方差启动合成，找到主成分，从而建设预测模型。

PLS算法的关键参数包含主成分的个数、放缩矢量的选用方法以及交叉验证的抽样形式。

关于主成分的个数，普通的做法是从少到多依次建设模型，并应用拟合误差和交叉验证误差来选用最优的主成分个数。

当误差开局稳固或变动不大时，就可以选用对应的主成分个数。

须要留意的是，选用过多的主成分会造成模型适度拟合，选用过少的主成分则会降低模型的预测才干。

关于放缩矢量的选用方法，普通有中心化、规范化和智能放缩三种方法。

其中，规范化方法可以消弭变量间不同的变同性，但不适用于变量间有显著的相关性的状况。

智能放缩办规律可以同时适用于变量间有相关性和无相关性的状况。

最后，关于交叉验证的抽样形式，可以驳回k-折交叉验证、留一法交叉验证等方法。

其中，k-折交叉验证是比拟罕用的方法，经过将样本数据分红k个部分，每次将其中一个部分作为验证集，其他部分作为训练集，重复迭代建设模型并计算误差，从而失掉最终的模型。

总之，选用适宜的PLS算法参数能够提高模型的预测功能，详细方法包含选用适宜的主成分个数、放缩矢量的选用方法以及交叉验证的抽样形式。

须要依据详细疑问的特点启动详细的选用与调整，以到达最优的成果。

提升算法笔记（二）提升算法的分类

（以下形容，均不是学术用语，仅供大家快乐的浏览） 在分类之前，咱们先罗列一下经常出现的提升算法（不然咱们拿什么分类呢？）。

1遗传算法Genetic algorithm　2粒子群提升算法Particle Swarm Optimization　3差分退化算法Differential Evolution　4人工蜂群算法Artificial Bee Colony　5蚁群算法Ant Colony Optimization　6人工鱼群算法Artificial Fish Swarm Algorithm　7杜鹃搜查算法Cuckoo Search　8萤火虫算法Firefly Algorithm　9灰狼算法Grey Wolf Optimizer　10鲸鱼算法Whale Optimization Algorithm　11群搜查算法Group search optimizer　12混合蛙跳算法Shuffled Frog Leaping Algorithm　13烟花算法fireworks algorithm　14菌群提升算法Bacterial Foraging Optimization　以上提升算法是我所接触过的算法，没接触过的算法不能随意下论断，知之为知之，不知为不知。

其实到目前为止提升算法或许曾经有几百种了，咱们无法能也不须要片面的了解一切的算法，而且提升算法之间也有较大的特性，深化钻研几个之后再看其他提升算法上手速度会灰常的快。

提升算法从提出到如今不过50-60年（遗传算法1975年提出），虽种类单一但大多较为相似，不过这也很反常，比拟香蕉和人的基因相似度也有50%-60%。

当然算法之间的相似度要比香蕉和人的相似度更大，毕竟人家都是提升算法，有着相反的指标，只是成功形式不同。

就像条条大路通罗马，咱们可以走去，可以坐汽车去，可以坐火车去，也可以坐飞机去，不论经常使用何种形式，咱们都在去往罗马的路上，也不会说坐飞机去要比走去更好，交通工具只是一个工具，最终的方案还是要看咱们的选用。

上方罗列了一些经常出现的算法，即使你一个都没见过也没相关，前面会对它们启动详细的引见，然而对前面的分类或许会有些许影响，不过疑问不大，就先当总结看了。

再对提升算法分类之前，先引见一下算法的模型，在笔记（一）中绘制了提升算法的流程，不过那是个较为便捷的模型，此处的模型会愈加复杂。

上方说了提升算法有较大的相似性，这些相似性关键体如今算法的运转流程中。

提升算法的求解环节可以看做是一个集体的生活环节。

有一群原始人，他们要在朝外中寻觅食物，一个原始人是这个集体中的最小单元，他们的最终指标是寻觅这个环境中最容易失掉食物的位置，即最易存活上去的位置。

每个原始人都去独自寻觅食物，他们每团体每天失掉食物的战略只要采集果实、制造圈套或许守株待兔，即在一天之中他们不会扭转他们的位置。

在下一天他们会依据自己的战略变卦自己的位置。

到了某一天他们又聚在了一同，选用了他们到过的最容易失掉食物的位置定居。

一群原始人=提升算法中的种群、集体；　一个原始人=提升算法中的集体；　一个原始人的位置=提升算法中集体的位置、基因等属性；　原始人变卦位置=提升算法中总群的降级操作；　该位置失掉食物的难易水平=提升算法中的顺应度函数；　一天=提升算法中的一个迭代；　这群原始人最终的定居位置=提升算法所得的解。

提升算法的流程图如下： 对提升算法分类得有个规范，依照不同的规范分类也会失掉不一样的结果。

首先说一下我所经常使用的分类规范（灵活降级，有了新的感悟再加）： 按由来分类比拟好了解，就是该算法受何种现象启示而发明，实质是对现象分类。

可以看出算法依据由来可以大抵分为有人类的实践发明而来，向生物学习而来，受物理现象启示。

其中向生物学习而来的算法最多，其他类别由于举例有偏向，不是很准确，而且物理现象也经过人类总结，有些与人类现象相交叉，但仍将其独立进去。

类别分好了，那么为什么要这么分类呢？　当然是由于要凑字数啦，啊呸，当然是为了更好的了解学习这些算法的原理及特点。

向生物生活学习而来的算法肯定是一种行之有效的方法，能够保障算法的效率和准确性，由于，假设经常使用该战略的生物无法存活到咱们可以对其启动钻研，咱们也无法得悉其生活战略。

（而这也是一种幸存者偏向，咱们只能看到行之有效的战略，但并不是咱们没看到的战略都是渣滓，毕竟也出现过小行星撞地球这种小概率消灭性事情。

讲个冷笑话开cou心zhi一shu下:一只小恐龙对他的小同伴说，好开心，我最青睐的那颗星星越来越亮了（完）。

）然而由于生物的局限性，人们所发明出的算法也会有局限性：咱们所熟知的生物都生活在三维空间，在这些环境中，影响生物生活的条件比拟有限，反响到算法中就是这些算法在处置较低维度的疑问时成果很好，当遇到超高维（维度>500）疑问时，结果或许不容失望，没做过试验，我也不敢乱说。

按降级环节分类相对复杂一点，关键是依据提升算法流程中降级位置操作的形式来启动分类。

降级位置的操作按我的了解可大抵分为两类：1.追随最优解；2.不追随最优解。

还是上方原始人的例子，每天他有一次性去往其他位置狩猎的时机，他们驳回何种形式来选择当天自己应该去哪里呢？ 假设他们的战略是“追随最优解”，那么他们选取位置的形式就是按肯定的战略向集体已知的最佳狩猎位置（历史最佳）或许是以后集体中的最佳狩猎位置（当天最佳）接近，至于是直线跑过去还是蛇皮走位绕过去，这个要看他们集体的战略。

当然，他们的目的不是在最佳狩猎位置汇合，他们的目的是在过去的途中看能否能发现愈加好的狩猎位置，去往曾经到过的狩猎地点再次狩猎是没无心义的，由于每个位置失掉食物的难易水平是固定的。

有了指标，大家都会朝着指标行进，总有一日，大家会在谋个位置左近相聚，相聚虽好但不利于后续的寻食容易堕入部分最优。

什么是部分最优呢？假定在以后环境中有一“桃花源”，领有上帝视角的咱们知道这个中央就是最适宜原始人们生活的，然而此地入口隐蔽“山有小口，好像若有光”、“初极狭，才通人。

”，是一个难以发现的中央。

假设没有任何一个原始人抵达了这里，大家向着已知的最优位置接近时，也难以发现这个“桃源之地”，而当大家越聚越拢之后，“桃源”被发现的或许性越来越低。

只管原始人们失掉了他们的解，但这并不是咱们所求的“桃源”，他们汇集之后失去了寻求“桃源”的或许，这群原始人便堕入了部分最优。

假设他们的战略是“不追随最优解”，那么他们的战略是什么呢？我也不知道，这个应该他们自己选择。

毕竟“是什么”比“不是什么”的范畴要小的多。

总之不追随最优解时，算法会有自己特定的步骤来降级集体的位置，有或许是随机在自己左近找，也有或许是随机向他人学习。

不追随最优解时，原始人们应该不会极速汇集到某一处，这样一来他们的选用更具多样性。

依照降级环节对上方的算法分类结果如下 可以看出上方不追随最优解的算法只要遗传算法和差分退化算法，他们的降级战略是与退化和基因的重组无关。

因此这些不追随最优解的算法，他们大多依据退化实践降级位置（基因）我把他们叫做退化算法，而那些追随集体最优解的算法，他们则大多依赖集体的配合单干，我把这些算法叫做群智能算法。

目前我只总结了这两种，分类方法，假设你有愈加低劣的分类方法，咱们可以交流一下：目录 上一篇 提升算法笔记（一）提升算法的引见 下一篇 提升算法笔记（三）粒子群算法（1）