AB测试及清楚性测验 (ab 测试)

本文目录导航：

• AB测试及清楚性测验
• 揭秘AB测试：因果验证的迷信艺术
• 正交实验详细资料大全
• 正交实验的数据剖析

AB测试及清楚性测验

揭秘AB测试：因果验证的迷信艺术

AB测试，这个源自医学双盲实验的翻新理念，当初已深化互联网环球的每一个角落，它的外围目的是经过谨严的因果推断，精准权衡和优化收益。

它的运作基石包括对照组的设立、随机分组的智慧和短缺样本的保证，以确保每个决策的迷信性。

从实验的起始，咱们需启动详尽的前期预备，接着在流量切分环节，应用hash算法的同质性保证，分层正交设计则防止了搅扰要素的参加。

在这个环节中，假定测验是关键，经过Z、t、卡方、F等统计方法，咱们遵照小概率反证法，警觉两种失误——弃真（第一类失误）与弃伪（第二类失误，通常以1-β权衡效用，β通常设定在20%以下）。

为了降及第二类失误，咱们经过增大样本量来提高效用。

在假定测验的抉择中，咱们更偏差于管理第一类失误，选择双侧或单侧测验，p值则提醒了却果的清楚性——越小的p值，示意咱们的结果越具有压服力。

在AB测试中，确定样本量是至关关键的，它取决于咱们关注的外围目的，无论是相对优化还是相对值的改良。

关于参数预计，咱们运用了诸如正态散布的T、Z测验，以及Edgar C Fieller的论文和delta method的简化算法，确保置信区间计算的准确性。

但是，随着数据量的增长，delta method的优势愈发清楚。

同时，咱们还要警觉辛普森悖论的圈套，它或者会混杂咱们的实验分支结果，这时，管理混杂变量和营销短信的影响就显得尤为关键。

在计算全体转化率时，不只须要思考条件概率，还得联合分支的占比，由于辛普森悖论提示咱们，转化率的调整肯定基于全局而非繁多分支。

例如，原转化率9.0% * 38.7% + 2.6% * 61.3% 为5.1%，调整后的9.0% * 39.9% + 2.6% * 60.1% 变为5.2%，而8.4% * 39.9% + 2.3% * 61.1% 为4.7%，这样的调整确保了却果的准确性。

在介绍系统AB实验中，流量大小的平衡至关关键。

小流量下的实验更能保证排序模型的训练与测试分歧性，而召回实验则在小流量下无利于新召回item的成果展现。

但是，随着流量的扩展，或者会搅扰大盘数据散布，影响实验结果的准确性。

正交实验详细资料大全

正交实验设计(Orthogonal experimental design)是钻研多要素多水平的又一种设计方法，它是依据正交性从片面实验中筛选出局部有代表性的点启动实验，这些有代表性的点具有了“平均扩散，齐整可比”的特点，正交实验设计是分式析因设计的关键方法。

是一种高效率、极速、经济的实验设计方法。

日本驰名的统计学家田口玄一将正交实验选择的水平组合列成表格，称为正交表。

当析因设计要求的实验次数太多时，一个十分人造的想法就是从析因设计的水平组合中，选择一局部有代表性水平组合启动实验。

因此就出现了分式析因设计(fractional factorial designs)，但是关于实验设计常识较少的实践上班者来说，选择适当的分式析因设计还是比拟艰巨的。

例如作一个三要素三水平的实验，按片面实验要求，须启动3^3=27种组合的实验，且尚未思考每一组合的反双数。

若按L9(3^4)正交表布置实验，只需作9次，按L15(3^7)正交表启动15次实验，显然大大缩小了上班量。

因此正交实验设计在很多畛域的钻研中曾经获取宽泛套用。

基本引见中文名 ：正交实验 外文名 ：Orthogonal experimental design 类别 ：一种实验设计方法 特点 ：“平均扩散，齐整可比” 基本思维,正交表,打算设计,数据剖析,基本思维正交实验设计法，就是经常使用曾经造好了的表格--正交表--来布置实验并启动数据剖析的一种方法。它繁难易行，计算表格化，经常使用者能够迅速掌握。下边经过一个例子来说明正交实验设计法的基本思维。 例1]为提高某化工产品的转化率，选择了三个无关要素启动条件实验，反响温度(A)，反响期间(B)，用碱量(C)，并确定了它们的实验范围： A：80-90℃ B：90-150分钟 C：5-7% 实验目的是搞清楚因子A、B、C对转化率有什么影响，哪些是关键的，哪些是无所谓的，从而确定最适消费条件，即温度、期间及用碱量各为多少能力使转化率高。试制订实验打算。 这里，对因子A，在实验范围内选了三个水平；因子B和C也都取三个水平： A：A1=80℃，A2=85℃，A3=90℃ B：B1=90分，B2=120分，B3=150分 C：C1=5%，C2=6%，C3=7% 当然，在正交实验设计中，因子可以是定量的，也可以是定性的。而定量因子各水平间的距离可以相等，也可以不相等。 这个三因子三水平的条件实验，通常有两种实验启动方法： (Ⅰ)取三因子一切水平之间的组合，即A1B1C1，A1B1C2，A1B2C1， ……，A3B3C3，共有 3^3=27次 实验。用图示意就是图1 立方体的27个节点。这种实验法叫做片面实验法。 片面实验对各因子与目的间的相关剖析得比拟清楚。但实验次数太多。特意是当因子数目多，每个因子的水平数目也多时。实验量大得惊人。如选六个因子，每个因子取五个水平时，如欲做片面实验，则需5^6=次实验，这实践上是无法能成功的。假设套用正交实验法，只做25次实验就行了。而且在某种意义上讲，这25次实验代表了次实验。图1 片面实验法取点。 (Ⅱ)繁难对比法，即变化一个要素而固定其余要素，如首先固定B、C于B1、C1，使A变化之： 图1↗A1 B1C1 →A2 ↘A3 (好结果) 如得出结果A3最好，则固定A于A3，C还是C1，使B变化之： ↗B1 A3C1 →B2 (好结果) ↘B3 得出结果以B2为最好，则固定B于B2，A于A3，使C变化之： ↗C1 A3B2→C2 (好结果) ↘C3 图2实验结果以C2最好。于是就以为最好的工艺条件是A3B2C2。 这种方法普通也有肯定的成果，但缺陷很多。首先这种方法的选点代表性很差，如按上述方法启动实验，实验点齐全散布在一个角上，而在一个很大的范围内没有选点。因此这种实验方法不片面，所选的工艺条件A3B2C2不肯定是27个组合中最好的。其次，用这种方法比拟条件好坏时，是把单个的实验数据拿来，启动数值上的繁难比拟，而实验数据中肯定要蕴含着误差成分，所以单个数据的繁难比拟不能剔除误差的搅扰，肯定形成论断的不稳固。 繁难对比法的最大优势就是实验次数少，例如六因子五水平实验，在不重复时，只用5+(6-1)×(5-1)=5+5×4=25次实验就可以了。 思考统筹这两种实验方法的优势，从片面实验的点当选择具有典型性、代表性的点，使实验点在实验范围内散布得很平均，能反映片面状况。但咱们又宿愿实验点尽量地少，为此还要详细思考一些疑问。 如上例，对应于A有A1、A2、A3三个平面，对应于B、C也各有三个平面，共九个平面。则这九个平面上的实验点都应当一样多，即对每个因子的每个水平都要等同看待。详细来说，每个平面上都有三行、三列，要求在每行、每列上的点一样多。这样，作出如图2所示的设计，实验点用⊙示意。咱们看到，在9个平面中每个平面上都恰恰有三个点而每个平面的每行每列都有一个点，而且只要一个点，总共九个点。这样的实验打算，实验点的散布很平均，实验次数也不多。 当因子数和水平数都不太大时，尚可经过作图的方法来选择散布很平均的实验点。但是因子数和水平数多了，作图的方法就不行了。 实验上班者在常年的上班中总结出一套方法，发明出所谓的正交表。依照正交表来布置实验，既能使实验点散布得很平均，又能缩小实验次数，图2正交实验设计图例而且计算剖析繁难，能够明晰地说明实验条件与目的之间的相关。用正交表来布置实验及剖析实验结果，这种方法叫 正交实验设计法 。 正交表的性质(1)每列中不同数字出现的次数是相等的，如L9( )，每列中不同的数字是1，2，3，它们各出现3次； (2)在恣意两列中，将同一行的两个数字看成有序数对时，每种数对出现的次数是相等的，如L9( )，有序数对共有9个：(1，1)，(1，2)，(1，3)，(2，1)，(2，2)，(2，3)，(3，1)，(3，2)，(3，3)，它们各出现一次性。 由于正交表有这两条性质，用它来布置实验时，各要素的各种水平的搭配是平衡的。正交表为了叙说繁难，用L代表正交表，罕用的有L8( )，L9( )，L16( )，L8(4× )，L12( )，等等。此符号各数字的意义如下： L8( ) 7为此表列的数目（最多可布置的因子数） 2为因子的水平数 8为此表行的数目（实验次数） L16(2× ) 有7列是3水平的 有1列是2水平的 L16(2× )的数字通知咱们，用它来布置实验，做16个实验最多可以调查一个2水平因子和7个3水平因子。 内行数为mn型的正交表中(m，n是正整数)，实验次数(行数)=Σ(每列水平数-1)+ 1 如L8( )， 8=7×(2-1)+l 应用上述相关式可以从所要调查的因子水平数来选择最低的实验次数，进而选择适宜的正交表。比如要调查五个3水平因子及一个2水平因子，则最少的实验次数为5×(3-1)+1×(2-1)+1=12（次） 这就是说，要内行数不小于13，既有2水平列又有3水平列的正交表当选择，L18(2× )适宜。 正交表具有两条性质：(1)每一列中各数字出现的次数都一样多。(2)任何两列所形成的各有序数对出现的次数都一样多。所以称之谓正交表。 例如在L9( )中(见表1)，各列中的1、2、3都各自出现3次；任何两列，例如第3、4列，所形成的有序数对从上向下共有九种，既没有重复也没有遗漏。其余任何两列所形成的有序数对也是这九种各出现一次性。这反映了实验点散布的平均性。 表1打算设计布置实验时，只需把所调查的每一个因子恣意地对应于正交表的一列(一个因子对应一列，不能让两个因子对应同一列)，而后把每列的数字翻译成所对应因子的水平。这样，每一行的各水平组合就形成了一个实验条件(不思考没布置因子的列)。 关于例1]，因子A、B、C都是三水平的，实验次数要不少于 3×(3-1)+1=7(次) 可思考选择L9( )。因子A、B、C可恣意地对应于L9( )的某三列，例如A、B、C区分放在l、2、3列，而后实验按前启动，顺序不限，每一行中各要素的水平组合就是每一次性的实验条件，从上到下就是这个正交实验的打算，见表2。这个实验打算的几何解释正好是图2。 表2三个3水平的因子，做片面实验须要3*3*3=27次实验，现用L9( )来设计实验打算，只需做9次，上班量缩小了2/3，而在肯定意义上代表了27次实验.。 再看一个用L9( )布置四个3水平因子的例子。 例2]某矿物气体恢复实验中，要思考恢复期间(A)、恢复温度(B)、气体流速(C)、恢复气体比例(D)这四个因子对全铁含量X〔越高越好)、金属化率Y(越高越好)、二氧化钛含量Z(越低越好)这三名目的的影响。宿愿经过实验找出关键影响要素，确定最适工艺条件。 首先依据专业常识以确定各因子的水平： 期间：A1=3(小时)，A2=4(小时)，A3=5(小时) 温度：B1=1000(℃)，B2=1100(℃)，B3=1200(℃) 流速：Cl=600(毫升/分)，C2=400(毫升/分)， C3=800(毫升/分) CO:H2：D1=1:2，D2=2:1，D3=1:1 这是四因子3水平的多目的(X、Y、Z)疑问，假设做片面实验需3^4=81次实验，而用L9( )来做只需9次。详细布置如表3。同片面实验比拟，上班量少了8/9。由于缩短了实验周期，可以提高实验精度，期间越长误差搅扰越大。并且关于多目的疑问，驳回繁难对比法，往往捉襟见肘，最适工艺条件很难找；而套用正交表来设计实验时可对各目的通盘思考，论断明白牢靠。 表3数据剖析正交表的另一个好处是简化了实验数据的计算剖析。还是以例1]为例来说明。依照表2的实验打算启动实验，测得9个转化率数据，见表4。 经过9次实验，咱们可以得两类收获。 第一类收获是拿到手的结果。第9号实验的转化率为64，在所做过的实验中最好，可取用之。由于经过L9( )曾经把实验条件平衡地打散到不同的部位，代表性是好的。假设没有漏掉另外的关键要素，选择的水平变化范围也适宜的话，那么，这9次实验中最好的结果在全体或者的结果中也应该是相当好的了，所以不要随便放过。 第二类收获是意识和展望。9次实验在全体或者的条件中(远不止3^3=27个组合，在实验范围内还可以取更多的水平组合)只是一小局部，所以还或者扩展。如虎添翼。寻求更好的条件。应用正交表的计算分折，分辨出主次要素，预测更好的水平组合，为进一步的实验提供有份量的依据。 其中I、Ⅱ、Ⅲ区分为各对应列（因子）上1、2、3水平效应的预计值，其计算式是： Ⅰi(Ⅱi,Ⅲi)=第i列上对应水平1（2，3）的数据和 K1 为1水平数据的综合平均=Ⅰ/水平1的重复次数 Si为变化平方和= 例1]的转化率实验数据与计算剖析见表4。 先思考温度对转比率的影响。但单个拿出不同温度的数据是不能比拟的，由于形成数据差异的要素除温度外还有其余要素。但从全体上看，80℃时三种反响期间和三种用碱量全遇到了，85℃时、90℃时也是如此。这样，关于每种温度下的三个数据的综合数来说，反响期间与加碱量处于齐全对等形态，这时温度就具有可比性。所以算得三个温度下三次实验的转化率之和： 80℃： ⅠA=x1+x2+x3=31+54+38=123； 85℃： ⅡA=x4+x5+x6=53+49+42=144； 90℃： ⅢA=x7+x8+x9=57+62+64=183。 区分填在A列下的Ⅰ、Ⅱ、Ⅲ三行。再区分除以3，示意80℃、85℃、90℃时综合平均意义下的转化率，填入下三行K1、K2、K3。R行称为极差，标明因子对结果的影响幅度。 雷同地，为了比拟反响期间；用碱量对转化率的影响，也先算出同一水平下的数据和IB、ⅡB、ⅢB，IC、ⅡC、ⅢC，再计算其平均值和极差。都填入表4中； 由此区分得出论断：温度越高转化率越好，以90℃为最好，但可以进一步探求温度更好的状况。反响期间以120分转化率最高。用碱量以6%转化率最高。所以最适水平是A3B2C2。 正交实验的方差剖析(一)假定测验 在数理统计中假定测验的思维方法是：提出一个假定，把它与数据启动对照，判别能否舍弃它。其判别步骤如下： (1)设假定H0 正确，获取一个实践论断，设此论断为R0 ； (2)再依据实验得出一个实验论断，与实践论断相对应，设为R1 ； (3)比拟R0 与R1 ：若R0 与R1 没有大的差异，则没有理由疑心H0 ，从而判定为：不舍弃H。(驳回H。)；若R0 与R1 有较大差异，则可以疑心H0 ，此时判定为：舍弃H0 。 但是，R1 /R0 比值为多少能力舍弃H0 呢？为确定这个量的界限，须要应用数理统计中F散布的实践。 若yl听从自在度为φ1的χ2散布，y2听从自在度为φ2的χ2散布，并且yl、y2相互独立，则（y1/φ1）/(y2/φ2)听从自在度为(φ1，φ2)的F散布。F散布是延续散布，散布模数是两个自在度(φ1，φ2)。称φ1为分子自在度，称φ2为分母自在度。在自在度为(φ1，φ2)的F散布中，某点右正面积为p，也就是F比此值大的机率为p，把这个值写为 (p)。若测验的清楚性水平(或风险率)给定为α时，则可以把 (α)作为临界值来测验假定。 这里，Se/σ2听从自在度为φe，的χ2散布；当H。成立，σ2=0时，SA/σ2也听从自在度为φA的χ2散布；又SA与Se相互成立，所以(SA/(φAσ2)/ Se/(φeσ2))=VA/Ve听从自在度为(φA，φe)的F散布。这就是假定H。正确时的实践论断R。。而实验论断Rl要与实践论断R。相比拟。由给定的清楚性水平，通常是α=0．05；分子自在度φ1=φA=a-1，分母自在度φ2=φe=a(n-1)；查F散布表得出 (α)。所以H。：α1=α2=……=αa=0(σA2=0)的测验是：(清楚性水平α) FA=VA/Ve> (α) → 舍弃H0； FA=VA/Ve≤ (α) → 不舍弃H0； 通常， (α)普通性地示意成Fα（φA,φB）。 假定因子A对实验结果的影响不清楚，那么A的两个水平的效应该体现为相等或相近，即假定H0 ：α1=α2=0。假设因子A清楚，则舍弃假定。 为了判别因子A能否清楚，首先要计算比值显然，这个比值越大，因子A对目的的影响越清楚；反之，因子A就不清楚。在给定置信度α后，如α=0.05，查F散布表，自在度φA是因子A的，自在度φe是误差的，其临界值Fα(φA,φe)，假设FA>Fα(φA,φe)就舍弃假定，可以以为因子A是清楚的；假设FA≤Fα(φA,φe)就没有理由否认假定，而只能以为因子A是不清楚的。由于依照F散布表的物理念义，F值小于Fα(φA,φe)的机率是95%，即有95%的时机出现小于Fα(φA,φe)的F值，既然出现了这种状况，就有了95%的掌握，所以就没有理由否认假定，只能接受假定，以为因子A不清楚。另一方面，F值大于Fα(φA,φe)的机率是5%，也就是只要5%的时机出现大于Fα(φA,φe)的F值，这是小机率事情，假设小机率事情居然出现了，则可以为状况意外，假定无法信，肯定否认假定，因子A是清楚的。对其余因子的清楚性测验齐全相似。 (二)方差剖析表 由总平方和与各要素平方和即可求得误差平方和，亦称残余平方和。是总平方和减各要素平方和所得。如正交表有一空列，则该列的平方和就是误差平方和。但在正交表饱和实验的状况下，即一切各列所有排满时，误差平方和普通用各要素平方和中几个最小的平方和之和来替代，同时，这几个要素不再作进一步的剖析。 自在度：φT=实验次数一1 φA,B…=水平数一1 φA×B=φA×φB φe=φT-φA-φB-……-φD 表5

正交实验的数据剖析

正交表的另一个好处是简化了实验数据的计算分折。

还是以例1]为例来说明。

依照表2的实验打算启动实验，测得9个转化率数据，见表4。

经过9次实验，咱们可以得两类收获。

第一类收获是拿到手的结果。

第9号实验的转化率为64，在所做过的实验中最好，可取用之。

由于经过L9()曾经把实验条件平衡地打散到不同的部位，代表性是好的。

假设没有漏掉另外的关键要素，选择的水平变化范围也适宜的话，那么，这9次实验中最好的结果在全体或者的结果中也应该是相当好的了，所以不要随便放过。

第二类收获是意识和展望。

9次实验在全体或者的条件中(远不止3^3=27个组合，在实验范围内还可以取更多的水平组合)只是一小局部，所以还或者扩展。

如虎添翼。

寻求更好的条件。

应用正交表的计算分折，分辨出主次要素，预测更好的水平组合，为进一步的实验提供有份量的依据。

其中I、Ⅱ、Ⅲ区分为各对应列（因子）上1、2、3水平效应的预计值，其计算式是：Ⅰi(Ⅱi,Ⅲi)=第i列上对应水平1（2，3）的数据和K1 为1水平数据的综合平均=Ⅰ/水平1的重复次数Si为变化平方和=例1]的转化率实验数据与计算剖析见表4。

先思考温度对转比率的影响。

但单个拿出不同温度的数据是不能比拟的，由于形成数据差异的要素除温度外还有其余要素。

但从全体上看，80℃时三种反响期间和三种用碱量全遇到了，85℃时、90℃时也是如此。

这样，关于每种温度下的三个数据的综合数来说，反响期间与加碱量处于齐全对等形态，这时温度就具有可比性。

所以算得三个温度下三次实验的转化率之和：80℃： ⅠA=xl+x2+x3=31+54+38=123；85℃： ⅡA=x4+x5+x6=53+49+42=144；90℃： ⅢA=x7+x8+x9=57+62+64=183。

区分填在A列下的Ⅰ、Ⅱ、Ⅲ三行。

再区分除以3，示意80℃、85℃、90℃时综合平均意义下的转化率，填入下三行Kl、K2、K3。

R行称为极差，标明因子对结果的影响幅度。

雷同地，为了比拟反响期间；用碱量对转化率的影响，也先算出同一水平下的数据和IB、ⅡB、ⅢB，Ic、Ⅱc、Ⅲc，再计算其平均值和极差。

都填入表4中；由此区分得出论断：温度越高转化率越好，以90℃为最好，但可以进一步探求温度更好的状况。

反响期间以120分转化率最高。

用碱量以6%转化率最高。

所以最适水平是A3B2C2。

正交实验的方差剖析(一)假定测验在数理统计中假定测验的思维方法是：提出一个假定，把它与数据启动对照，判别能否舍弃它。

其判别步骤如下：(1)设假定H。

正确，可导出一个实践论断，设此论断为R。

；(2)再依据实验得出一个实验论断，与实践论断相对应，设为R1；(3)比拟R。

与Rl，若R。

与Rl没有大的差异，则没有理由疑心H。

，从而判定为：不舍弃H。

(驳回H。

)；若R。

与R1有较大差异，则可以疑心H。

，此时判定为：舍弃H。

。

但是，R1/R。

比l大多少能力舍弃H。

呢？为确定这个量的界限，须要应用数理统计中关于F散布的实践。

若yl听从自在度为φ1的χ2散布，y2听从自在度为φ2的χ2散布，并且yl、y2相互独立，则（y1/φ1）/(y2/φ2)听从自在度为(φ1，φ2)的F散布。

F散布是延续散布，散布模数是两个自在度(φ1，φ2)。

称φ1为分子自在度，称φ2为分母自在度。

在自在度为(φ1，φ2)的F散布中，某点右正面积为p，也就是F比此值大的概率为p，把这个值写为 (p)。

若测验的清楚性水平(或风险率)给定为α时，则可以把 (α)作为临界值来测验假定。

这里，Se/σ2听从自在度为φe，的χ2散布；当H。

成立，σ2=0时，SA/σ2也听从自在度为φA的χ2散布；又SA与Se相互成立，所以(SA/(φAσ2)/ Se/(φeσ2))=VA/Ve听从自在度为(φA，φe)的F散布。

这就是假定H。

正确时的实践论断R。

。

而实验论断Rl要与实践论断R。

相比拟。

由给定的清楚性水平，通常是α=0．05；分子自在度φ1=φA=a-l，分母自在度φ2=φe=a(n-1)；查F散布表得出 (α)。

所以H。

：αl=α2=……=αa=0(σA2=0)的测验是：(清楚性水平α)FA=VA/Ve> (α) → 舍弃H。

FA=VA/Ve≤ (α) → 不舍弃H。

通常， (α)普通性地示意成Fα（φA,φB）。

假定因子A对实验结果的影响不清楚，那么A的两个水平的效应该体现为相等或相近，即假定H。

：α1=α2=0。

假设因子A清楚，则舍弃假定。

为了判别因子A能否清楚，首先要计算比值显然，这个比值越大，因子A对目的的影响越清楚；反之，因子A就不清楚。

在给定置信度α后，如α=0.05，查F散布表，自在度φA是因子A的，自在度φe是误差的，其临界值Fα(φA,φe)，假设FA>Fα(φA,φe)就舍弃假定，可以以为因子A是清楚的；假设FA≤Fα(φA,φe)就没有理由否认假定，而只能以为因子A是不清楚的。

由于依照F散布表的物理念义，F值小于Fα(φA,φe)的概率是95%，即有95%的时机出现小于Fα(φA,φe)的F值，既然出现了这种状况，就有了95%的掌握，所以就没有理由否认假定，只能接受假定，以为因子A不清楚。

另一方面，F值大于Fα(φA,φe)的概率是5%，也就是只要5%的时机出现大于Fα(φA,φe)的F值，这是小概率事情，假设小概率事情居然出现了，则可以为状况意外，假定无法信，肯定否认假定，因子A是清楚的。

对其余因子的清楚性测验齐全相似。

(二)方差剖析表由总平方和与各要素平方和即可求得误差平方和，亦称残余平方和。

是总平方和减各要素平方和所得。

如正交表有一空列，则该列的平方和就是误差平方和。

但在正交表饱和实验的状况下，即一切各列所有排满时，误差平方和普通用各要素平方和中几个最小的平方和之和来替代，同时，这几个要素不再作进一步的剖析。

自在度：φT=实验次数一1φA,B…=水平数一1φA×B=φA×φBφe=φT-φA-φB-……-φD