经典网络结构搜查算法 SPOS 极速成功模型紧缩 (经典网络结构是什么)

本文目录导航：

• 经典网络结构搜查算法 SPOS，极速成功模型紧缩
• 1. SPOS算法引见
• 2. MMRazor简介
• 3. MMRazor中超网的构建模式
• 4. SPOS在MMRazor中的成功
• 5. 总结
• 结构优化可以做到什么水平?
• MS软件中Forcite结构优化时经常使用什么算法

经典网络结构搜查算法 SPOS，极速成功模型紧缩

Single Path One Shot（SPOS）算法是一种高效、低老本的神经网络结构搜查方法，相较于传统的基于强化学习、退化算法等方法，SPOS算法清楚降低了搜查老本。

MMRazor是一个深度学习模型紧缩算法库，支持包括网络结构搜查、剪枝、蒸馏在内的干流技术方向，为OpenMMLab其余算法库提供即插即用、可自在组合的模型紧缩算法，使得模型轻量化更为简便快捷。

本文将对SPOS算法原理、搜查空间、MMRazor以及在MMRazor中的成功启动详细的解读，内容干货满满。

1. SPOS算法引见

1.1 原理引见

SPOS算法在ECCV2020年提出，针对传统NAS算法中网络权重耦合渡过高的疑问，SPOS提出将网络权重的训练与网络结构的搜查启动解耦。

首先训练超网络的权重，而后从超网络中搜查最优的子网络架构，最后对最优子网启动从头开局的训练。

整个运转环节分为三个步骤：

1.2 搜查空间引见

SPOS论文中提到的搜查空间丰盛，包括choiceblock搜查、通道搜查和混合精度量化搜查。

以后官网源码中仅提供了choiceblock搜查局部。

SPOS的搜查空间结构如下表所示，CB代表choiceblock，共蕴含20个CB。

CB外部操作关键受ShuffleNetv2启示，提供了四种操作。

2. MMRazor简介

MMRazor是一个深度学习模型紧缩算法库，支持网络结构搜查、剪枝、蒸馏等干流技术方向，为OpenMMLab其余算法库提供即插即用、可自在组合的模型紧缩算法，成功模型轻量化更为简便快捷。

MMRazor的全体设计思维与OpenMMLab坚持分歧，支持多种算法库。

其组织架构分为组件层、算法层和运行层。

3. MMRazor中超网的构建模式

神经网络结构搜查算法中，超网的成功至关关键。

算法框架至少须要具有以下配置：搜查对象是可变动的，如SPOS中的不同候选操作；搜查算法能够指定选用某个候选操作的配置。

MMRazor经过引入Mutable和Mutator对象成功上述配置：经过PlaceHolder提供占位符配置，用户定义的可变位置，在调用Mutator中的convert方法后转化为Mutable对象。

经过这种模式使超网变成可搜查对象Mutable，后续与Mutator进一步成功NAS义务。

4. SPOS在MMRazor中的成功

4.1 环境装置

装置教程请参考：[MMRazor文档链接]。

以cuda11.1、pytorch1.9为例，首先装置cuda、torch、mmcv包，其中mmcv-full示意驳回预编译包的装置模式，还需留意对应cuda以及torch的版本。

mmcv装置详细模式以及cuda、torch、mmcv版本对应相关可见：[mmcv文档链接]。

以torch1.9为例启动环境装置。

装置MMRazor介绍经常使用MIM装置或间接经常使用pip装置：pip install MMRazor。

也可以经过源码装置。

4.2 Config引见

因为训练SPOS分为三个阶段，对应三个config：

以spos_supernet_shufflenetv2_8xb128_为例，config中关键有model、algorithm、mutator三个对象，其中algorithm中蕴含architecture对象，architecture对象中则蕴含model。

在初始化algorithm的环节中，algorithm会初始化architecture，并依据能否传入mutator、pruner、distiller来选择能否初始化这三个对象。

4.3 超网权重训练（Pre-training）

成功以上预备上班后，启动第一个阶段训练：超网权重训练。

这个环节须要始终地从超网中采样子网，迭代优化子网参数，最终获取优化后的超网。

训练命令如下所示，SPOS中超网训练经过随机采样的模式优化网络，每次前向训练一个batch的环节中会随机采样一个子网络。

4.4 网络结构搜查（Evolution search）

此环节初始化候选池，从预训练好的SuperNet中获取Subnet在测试集上的结果，依据得分降级候选池的Topk并口头Mutation和CrossOver操作，获取最优子网的网络结构。

训练命令如下所示，这里须要用到上一步超网权重的门路$STEP1_CKPT。

详细Searcher选用的是EvolutionSearcher。

4.5 重训练子网（Retrain）

在上一步经过退化算法获取最优子网结构后，将其对应的子网络从头启动训练，获取最终的可用网络模型。

训练命令如下所示，须要将_cfg参数传入，该参数为上一步获取的yaml文件位置。

训练环节与训练普通分类网络齐全分歧。

5. 总结

本文详细解读了经典的网络结构搜查算法SPOS及其在MMRazor中的成功流程。

SPOS算法能够与各类代码库搭配经常使用，如与MMDetection库的配合，成功方便的DetNAS算法。

MMRazor不只蕴含NAS相关算法，还有蒸馏和剪枝等配置。

欢迎体验，如对您有协助，欢迎点个star。

更多内容可检查[相关链接]。

结构优化可以做到什么水平?

结构优化法在修树立计中表演关键角色，旨在经过拓扑优化，找到在特定解放条件下，结构性能最佳的外形、外形与尺寸。

面对当今资料资源充足、环境影响与技术竞争的应战，寻求轻质、低老本且可继续开展的结构设计显得尤为关键。

近三十年，随着高速计算机的问世与算法的极速开展，结构优化从后来的学术兴味，迅速转向实践运行畛域。

工程师与修建师宽泛驳回渐进结构优化法（ESO）与双向渐进优化算法（BESO），以优化结构设计效率与性能。

ESO算法，最早在20世纪90年代提出，经过逐渐去除结构中的低应力资料，最终构成最优外形，环节方便快捷，易于与商业有限元剖析（FEA）软件如ABAQUS、ANSYS等，以及CAD软件如犀牛（Rhinoceros）、玛雅（Maya）启动整合。

BESO算法在此基础上更进一步，不只准许资料去除，还支持在结构中成长，提供更灵敏的优化门路。

在修树立计中，结构优化法已被成功运行于多个名目。

以日本AKITAGWA河畔办公楼为例，名目驳回ESO算法优化西、南、北立面设计，同时思考竖向静荷载与横向地震荷载。

卡塔尔国内会议核心的入口设计，应用BESO算法，构成了对称支柱的无机外形，表现了却构与设计的完美联合。

西班牙圣家族大教堂的钻研中，运行ESO算法探求安东尼奥•高迪设计原理中的结构优化或者性，构成基于主应力的结构外形。

经过对比剖析，发现高迪的设计与ESO算法之间存在惊人的相似性。

大跨度人行桥设计名目，墨尔本BKK修建事务所与钻研团队协作，运行BESO算法优化结构性能，提出大块实心体与穿孔壳体设计两种打算，展现出结构与美学的完美融合。

修树立计中的结构优化虽已取得必定停顿，但仍存在应战，如数学运算的复杂性与不足直观软件工具。

为处置这一疑问，谢亿民传授基于犀牛（Rhinoceros 3D）开发了外形优化软件“BESO3D”，并提出设计流程，准许修建师在犀牛平台启动优化设计。

经过BESO3D插件，设计者可在犀牛软件中构建结构模型，启动优化计算，从而成功翻新设计。

总之，结构优化法在修树立计中的运行展现出其在翻新与性能优化方面的渺小后劲。

经过逐渐优化与高效整合现代技术，结构优化有望在未来的修树立计通常中施展更大作用。

MS软件中Forcite结构优化时经常使用什么算法

mart算法中蕴含了共轭梯度法，最速降低法以及牛顿法，他会依据模型的状况智能调配一个适合的算法下来。

普通构型优化间接用smart就行。

晚辈，想咨询您下：假设我想构建的是非周期性模型钻研单个分子的，在结构优化时 其余参数怎样设置呢？ 求指点