A comparative study of FDR-Based multiple hypothesis testing procedures in local statistics of spatial association

He Zhanjun, Liu Qiliang, Deng Min

(Central South University, Department of Geo-Informatics)

Abstract: Multiple hypothesis testing is a key problem in spatial pattern detection using local statistics of spatial association. Procedures controlling the false discovery rates (FDR) has been applied widely in domains such as statistics. However, the issue has received little attention in the geographical literature. This article reviewed nine representative procedures dealing with the problem and presented a comparative study of these FDR-based procedures on local Moran’s I and G* indicators. The results revealed that all these procedures cannot limit the false discovery rate to the expected controlling level due to the dependence among local indicators. Also, significant differences are found among these procedures and there is difference between two local indicators. Finally, some suggestionson choosing an appropriate procedure were given according to results of significance analysis. 

Keywords:Cartography and Geographical information engineering; multiple hypothesis tests; local statistics of spatial association; false discovery rate; significant testing analysis

1 引言

空间模式往往是在地理事物和现象的空间异质和空间关联的双重作用下形成的。局部空间关联指标顾及了空间相关和异质的双重属性，可以较好分析不同空间位置上存在的局部空间模式。利用局部空间关联指标探测空间模式中一个核心任务是对局部空间统计量进行假设检验。然而，由于每个空间位置都对应一个局部空间统计量，当对所有局部空间统计量同时进行统计推断时，多重假设检验就是一个不容忽略的问题。Anselin早在研究LISA时就指出，在局部空间统计中存在对零假设过度拒绝的现象，实际就是多重假设检验的问题[1]。近几年，局部空间关联的多重假设检验也引起空间分析领域众多专家的关注。在最近一份关于空间统计发展趋势的调查中，空间分析领域众位专家将局部空间统计量的多重检验列为空间分析未来发展中的机遇和挑战之一[2]。

多重假设检验是海量数据分析与大规模统计推断问题中的重要问题。假设检验中，每一个检验都会不同程度地犯两类错误，其中第一类错误是由于样本的随机性拒绝本来正确的原假设，第二类错误是由于样本随机性接受本身错误的原假设。在原本容量固定时，犯两类错误的概率是相互制约的，也就是无法保证两类错误出现的概率同时尽可能减小。因此，通常做法是控制犯第一类错误的概率不超过α，这类检验即为显著性检验，α被称为显著性水平。每个显著水平都对应一个错误拒绝原假设的概率，如显著性水平为0.05，则意味着错误拒绝原假设的概率为5%，这对于单一假设检验是可以接受的。然而，但大量的假设检验同时进行时(假定每个检验相互独立)，则错误拒绝原假设的数目认为是不可以接受的。例如，当1000个假设检验同时进行，若显著性水平为0.05，则约有50个原假设会被错误拒绝。同单重假设检验类似，对于m重假设检验，也需考虑犯一类错误和二类错误的情况，表1对m重检验结果进行了分类总结。

多重假设检验将m 次检验作为一个整体看待, 常用的错误度量指标有族错误率FWER(Family-Wise Error Rate)和错误发现率FDR(False Discovery Rate)。其中，FWER表示至少有一个正确原假设被错误拒绝的概率，FDR表示在所有被拒绝原假设中错误拒绝的比率。此外，通常用检验能力Power来衡量一种检验方法正确拒绝原假设能力，各指标定义如下：

(1)

多重假设检验纠正方法按照错误控制类型通常分为两类，基于FWER控制的多重假设检验和基于FDR控制的多重假设检验。第一类方法的代表性成果有Sidak、Holmy等[3-5]，该类方法的不足是其检验过程比较保守，检验能力较低。基于FDR控制的多重检验方法由于有着更好的检验能力为大规模统计推断提供了新的思路，因此，近年来不同基于FDR控制的多重假设方法陆续被提出并应用于不同领域[6-17]。对于局部空间关联的统计推断，基于FDR控制的多重检验方法同样受到学者们的青睐。Castro等首次将基于FDR控制的多重假设检验思想引入局部空间关联分析中，并结合G*指数分析了基于FDR控制的多重假设检验方法在探测局部空间聚集中的优越性[18]；Brunsdon等对英国自愿服务者分布进行热点分析，同样证实了基于FDR控制的多重检验方法优于基于FWER控制的检验方法[19]。

然而，不同于一般统计量，局部空间关联指标有着自身特有的依赖性。相邻局部空间关联指标之间的依赖实质包含两方面[18]：(1)属性依赖，即分布在邻近空间位置的属性值可能是相近或相似的，如图1中a-a相邻或b-b相邻，对应非空间数据的属性相关；(2)几何依赖，即邻近空间统计量在计算中会涉及相同的空间位置。如图1所示，在采用8邻域计算A，B位置对应统计量时，阴影区域即为两者的几何依赖。因

此，尽管随着多重假设检验研究的逐步深入，不同基于FDR控制的检验方法陆续被提出来，但由于局部空间关联指标特有的依赖性，这些多重检验方法在空间分析领域中的检验效果尚有待验证。同时，不同方法间究竟存在多少差异及哪种检验方法结果较优的问题也有待探究。因此，本文结合局部空间关联指标，对不同基于FDR控制多重假设检验方法进行了对比分析，旨在加深对多重假设检验的理解，并为局部空间关联检验方法的选择提供一些指导。

2基于FDR控制的多重假设检验方法

自Benjamini提出FDR概念以来[6]，不同的基于FDR控制的多重检验方法陆续被提出。依据检验统计量间是否独立，这些方法大致可分为两类，独立假设下的多重假设检验和顾及依赖的多重假设检验。下文对这些方法进行分类介绍。

2.1 独立假设下的多重假设检验

(1) BH检验法

Benjamini等首次提出基于FDR控制来进行多重假设检验。记m重假设检验原假设为Hi (i=1,...,m)，对应检验p值集合为P{p1, ..., pm}。将p值按从小到大顺序排列，并记p值有序集合为p(1)≤p(2) ≤…≤p(m)，对应原假设为H(1),H(2), … ,H(m)。不失一般性，将原假设为真的个数记为m0，原假设非真的个数记为m1。该方法检验步骤如下。

步骤1. 从p(m)开始对p值逐逐个检验，记。其中，，α为预设FDR控制水平，αi为一组检验阈值。

步骤2. 若存在，则拒绝对应的原假设，否则接受全部原假设。

BH检验法也被称为线性逐步向上法(Linear Step Up，LSU)，所谓逐步向上就是从最不显著原假设H(m)对应p(m)开始检验，若p(m)<ɑm，拒绝所有原假设，否则依次检验H(m-1)、H(m-2)...，直到p(i)<αi。类似的，逐步向下法是从最显著的原假设H(1)对应p(1) 开始检验，若p(1)>ɑ1，则接受所有原假设，否则依次检验H(2)、H(3)...，直至p(i)<αi。然而，尽管BH检验法预设FDR控制水平为α，但事实上其上限为α*m0/m，其中m0/m表示原假设为真的比例。因此，当原假设中只有少量原假设为真时，该检验方法会将FDR控制在一个较低水平，检验能力较为保守。

在BH检验法的基础上，通过估计原假设中真实原假设的数目，对检验阈值做出调整，进而将FDR水平更加准确的控制在预设水平的方法称为自适应方法。该类方法首先对真实原假设数目m0做出估计，进而估值调整检验阈值，不同检验方法的主要区别在于m0估计方法差异，包括以下方法：

(2) TST检验法

Benjamini等通过两次应用BH检验给出一种自适应多重检验方法TST[10]，具体操作如下：

步骤1.将FDR控制水平设置为，在该水平下应用BH检验，并将拒绝原假设数目记为R。若R=0,终止算法并接受全部原假设；若R=m，算法终止并拒绝所有原假设；否则进行步骤2；

步骤2.取m0估计值，再次使用BH检验，并将FDR控制水平设为。

(3) Storey检验法

Storey则采取一种全新的思路，没有首先设定可接受的FDR水平，而是通过设定拒绝域进而得到FDR水平的估计[8]，其自适应多重假设检验过程为：

步骤1.设定拒绝域[0,λ],取m0估值，其中;

步骤2.使用BH检验法且将FDR控制水平设置为；

(4) BR检验法

Blanchard与 Roquain针对检验统计量独立与依赖的情形，分别给出了两步自适应检验法[14]，记独立假设下自适应多重检验方法为BR法。该方法第一步中实现对m0的估计，其检验阈值设置为：

(2)

(5) GBS检验法

两步法自适应检验可进一步拓展为多步法自适应检验，即继续利用第二步中原假设被拒绝的数目估计m0，以此类推，直到被拒绝的数目不再增加。Gavrilov等对逐步向下式的多步法自适应检验方法(记为GBS)进行分析验证，论证了其控制FDR的有效性[12]。该方法中检验阈值为：

(3)

<!--[if !supportLists]-->2.2 <!--[endif]-->顾及依赖的多重假设检验

上述方法均基于检验统计量相互独立的假设，而事实上统计量值之间是可能存在一定依赖关系的。对存在相互依赖关系的检验统计量，最常用的是Benjamini及Yekutieli给出的多重假设检验方法[7]。

(6) BY检验法

考虑到检验统计量之间可能存在的依赖关系，Benjamini等给出一种顾及依赖的多重检验方法(BY检验法)。与BH检验法类似，该方法是一种基于p值的逐步向上检验法，其采用检验阈值为：

(4)

其中，m1=m-m0;

(7) Sarkar检验法

Sarkar则给出一种单步多重检验方法[11](记为SK1S),该方法顾及检验统计量间依赖关系，且在一定条件下优于BY法，其检验阈值为：

(5)

(8) GR检验法

Guo等指出，当检验统计量之间存在联合分布时，采取逐步向上的方法不可能进一步提高检验能力[10]。进而给出一种逐步向下检验方法，该方法同样不需对p值依赖做任何假设，可用于存在依赖关系的统计量，且比BY检验法有着更好的检验能力。该方法是一种逐步向下检验方法，且设检验阈值，其中：

(6)

(9)BRA检验法

Blanchard等还首次给出顾及依赖的两步自适应多重检验方法(记为BRA)，检验阈值函数形式如下：

(7)

其中，v可视为在0-m区间的先验概率分布[13]。

3实验设计

3.1 研究策略

首先，通过定性对比证实了局部空间关联多重假设检验的问题及采取基于FDR控制多重检验方法的必要性。进而，结合局部空间关联指标Moran’s I 和G*，对不同检验方法对应的FDR及Power值进行了定量对比分析；最后，借助非参数统计方法，从统计学角度对不同方法的检验结果进行了显著性分析。

3.2实验数据

本文旨在对局部空间关联分析中不同基于FDR控制多重检验方法的检验结果进行定量对比分析，而对检验结果做出准确定量分析需要掌握数据本身的先验知识，即真实数据的聚集分布模式，因此，实验只采用了模拟数据。为证实局部空间关联的多重假设检验问题，实验首先模拟了随机模式，即从正态分布N(4,1)中随机独立抽取2500个样本值，采取0.05双侧分位点确定极值点，即小于下侧分位点视为低值，大于上侧分位点视为高值，进而利用局部空间关联指标进行空间聚集模式的探测。为定量分析不同检验方法的检验结果，实验进而通过对数据中极值点重新排列模拟生成了大、中、小不同规模包含不同位置、不同形状、不同大小极值聚集簇的数据共15组，其中大规模数据量设为50×50, 中、小规模数据分别为30×30和15×15。

3.3 评价指标

上文介绍了9种当前较为经典的多重检验方法，其中BH法不仅是最早基于FDR控制的检验方法，也是应用最为广泛的方法。文献[18-19]中，在局部空间关联分析与异常探测时，均采取了BH方法作为FDR控制的多重检验方法。为此，本文以经典BH方法为基准，主要关注检验检验结果FDR与Power值，并进一步定义了PRR(Power Recovery Ratio)和RFDR(Relative False Discovery Rate )两个指标以实现不同检验方法与BH方法的对比分析，具体定义如下：

(8)

式中，Power和FDR代表某种检验法对应的检验结果，PowerNon表示未对FDR进行控制的一般检验方法对应检验能力，FDRC表示多重检验预设FDR控制水平(实验中取0.05)，PowerBH和FDRBH表示BH法对应的检验结果。显然，理想的检验方法应该有着较高检验能力，同时可以较好的控制FDR水平。易知，正PRR值表示检验方法的检验能力优于经典BH方法，而负RFDR值表示检验方法比BH法有着更好的FDR控制能力。

4 实验与分析

4.1 多重假设检验的证实分析

为证实局部空间关联多重假设检验的问题，实验对随机分布在50×50空间数据的Moran’s I进行显著性检验，显著性水平取0.05，检验结果如图2所示。图中，红色“△”表示该位置高值(低值)周围存在同样高值(低值)，而蓝色“□”表示该位置高值(低值)被低值(高值)所包围，其中a对应未对FDR控制的一般假设检验结果，b对应基于FDR控制的多重检验结果。检验显著的局部Moran’s I表示极值的聚集现象，而由于数据呈随机分布，理论上不应该探测出任何极值空间聚集或只有少数聚集的现象。对比可知，a中探测到大量的极值聚集，与实际情况不符，相比而言b更符合预期检验结果。事实上，当不对FDR进行控制时，检验结果显著并不一定表明该位置周围存在极值点的聚集分布，而只能说明该位置可能为极值点，因为其检验显著性很可能仅仅是由于假设检验本身误差所致。由此可见，在大规模应用局部关联指数分析空间集聚模式时，若采用基于FDR控制的多重检验方法，一方面可以减少仅由检验本身导致的错误显著结果，另一方面也能够更有效的发现显著的极值聚集模式。可见，局部空间关联分析中存在多重假设检验的问题，应用基于FDR控制的多重假设检验方法中是有必要的。

4.2 基于FDR控制多重假设检验方法的对比分析

进而，分别结合局部Moran’s I 及Getis-Ord’ Gi*指标，对不同多重检验方法进行定量对比分析。为准确计算不同检验方法的FDR和Power结果，实验分别对15组包含不同位置、形状和大小的极值聚集簇的模拟数据的Moran’s I 和G*结果进行显著性检验，最终检验FDR与Power值取15组检验结果的均值，不同方法检验结果如图3所示。

分析图3检验结果可发现：(1)尽管不同检验方法对局部Moran’s I 和G* 指数检验结果在数值上略有差异，但整体上存在类似的影响；(2)当采取未对FDR控制的一般检验方法时(Non对应结果)，无论是局部Moran's I还是G* 指数，检验结果的FDR值均很大，即其显著检验结果中很大一部分是错误发现。当采用基于FDR控制的多重检验方法时，FDR水平大幅度下降，再次说明采取FDR控制多重检验方法的必要性；(3)实验中FDR预设控制水平为0.05，但由于局部空间关联指标间复杂的依赖关系，这些基于FDR控制的多重检验方法尚不能将FDR水平有效的控制在预设水平，实际检验中FDR水平要高于预设水平；(4)对于不同的多重检验方法，整体而言，顾及依赖的多重检验方法可以比自适应方法更有效的控制FDR水平，但同时也伴随着检验能力的下降。

最后，以BH方法为基准，借助PRR、RFDR指标，不同检验方法间的定量对比结果如表2所示。

表2 不同多重检验方法定量对比

由表2可知：(1) 不同方法检验结果的FDR与Power水平均存在对应关系，即对显著值有较好检验能力方法总是对应较高的错误发现水平，如：GBS的PRR值为正，表示其比BH法有着较高的检验能力；同时，RFDR值也为正，说明GBS法比BH法有着更多的错误发现；(2) 自适应方法（包括TST、Storey、BR法），尽管在其他应用领域中其检验效果略优于经典BH法，但对于局部空间关联指标的统计检验，检验结果与BH法基本没有差别；(3)顾及依赖一类的检验方法均比BH更好的错误发现控制能力（负RFDR值），但就检验能力而言，这些方法均不如BH方法，且检验能力依次为GR、BY、BRA及SK1S。

4.3 多重假设检验结果的显著性分析

实验最后从统计学角度出发，借助非参数检验方法[20]对不同多重检验方法的结果进行显著性分析。对整体检验结果的显著性分析采用了Friedman检验。一方面，Friedman检验作为一种非参数检验方法，不需要已知数据的概率分布，实验数据模拟了位置、形状、大小各不相同的空间聚集簇，检验统计量分布未知，因此更适合非参数检验；另一方面，实验中应用了大、中、小不同规模的模拟数据，即数据间存在区组的差异，但本文着重分析方法间的差异，并不关注区组差异。基于上述两点，对整体显著性分析采用Friedman检验，对应的原假设和备择假设如下：

H0 : 不同方法检验结果之间无显著差异；

H1 : 不同方法检验结果之间存在显著差异；

对不同多重检验方法进行Friedman检验，检验结果显著，即不同检验结果之间存在显著差异。为得知究竟何种方法之间差异显著，尚需进行成对比较分析。在此，采用Wilcoxon秩和检验法，检验结果如表3-6所示，其中0表示无显著差异，1表示差异显著。

表3  局部Moran’s I指数 FDR的成对比较结果

表4  局部Moran’s I指数 Power的成对比较结果

由表3、表4可知：(1) 多重检验结果受到局部空间关联指标间依赖的严重影响。FDR对比结果显示，几种独立假设检验方法之间，只有GBS法与其他方法差异显著，其他方法之间无明显差异；而顾及依赖的检验方法中，除GR法外，其他几种方法与独立假设下的检验方法都体现了显著差异。可见，多重检验结果受到局部空间关联指标之间依赖性的影响，顾及依赖的检验方法可以适当减小局部空间统计量间的依赖程度，从而实现较低的FDR水平；(2) 对于局部Moran’s I，不同检验方法间的差异主要体现在FDR控制水平。实验比较了9种多重检验方法，共计36组对比。其中FDR成对比较结果中，共22组呈现显著差异，而Power比较结果中只有SK1S法与4种独立假设检验方法有着显著差异。由于检验结果Power值之间并无显著差别，此时应主要关注FDR控制水平。BY、BRA等顾及依赖的方法比BH法有着显著低的FDR控制水平，实际应用中可以被优先考虑。

表6  G*指数Power的成对比较结果

类似的，由表5、表6中成对比较结果可知：(1)与Moran’s I 检验结果类似，不同检验方法结果受到局部空间关联指标间依赖的影响。在此，FDR与Power对比结果类似，所有独立假设检验方法之间均无显著差异，顾及依赖检验方法之间大多也无显著差异，但独立假设检验方法与顾及依赖的检验方法均呈现显著的差异。可见，顾及依赖的检验方法可减弱局部空间关联指标间依赖的影响，与独立假设检验方法有着显著差异；(2)与局部Moran’s I 相比，不同检验方法对G* 指数的Power结果影响更为显著，即不同方法对不同局部关联指标的影响并不完全相同。在G*指数对应36组对比中， FDR比较中共23组呈现显著差异，Power比较中共22组呈现显著差异。此时，由于两种指标检验结果大致相同，而对于实际的地理事件探测分析中，总是期望可以发现较多的极值聚集区域，此时建议采取GBS、BH等独立假设下的纠正方法。

5结论

局部空间关联指标可以用来分析地理现象的空间模式，但同时对大量局部空间统计量做统计推断会导致多重检验检验的问题。当前，多重假设检验的问题在空间分析领域中尚没有引起足够的重视，不同纠正方法之间缺少定量对比分析。为此，本文介绍了常见的九种基于FDR控制的多重假设检验方法，并结合局部Moran’s I 和G*指标对这些方法在空间分析领域中的检验效果做了对比分析。实验结果表明：(1)局部空间关联的多重假设检验是个不容忽略的问题。在利用局部空间关联指标探测空间模式时，采用一般的检验方法时结果中会存在大量的错误发现，而采用基于FDR控制多重检验方法可大大减低错误发现的比率。然而，由于受到局部空间关联指标间特有依赖的影响，这些基于FDR控制的多重检验方法尚不能将错误发现控制在预设水平; (2)是否顾及检验统计量之间的依赖关系会导致检验结果的显著差异。其中，顾及依赖的检验方法可以减弱局部空间关联指标间依赖的影响，因而比独立假设下检验方法有着更好的FDR控制能力，但同时也伴随着检验能力的下降；(3) 不同的局部空间关联指标对多重检验方法响应略有不同。本文分别对局部Moran’s I 和G* 进行了假设检验，结果表明：不同方法在局部Moran’s I假设检验中的差异主要体现在FDR控制水平，而在G*的显著检验结果中，FDR和Power水平差异大致相同。

地理现象聚集模式往往与资源配置及防护控制措施等相关联，有时需要综合考虑错误识别和真正异常的检验能力。理想的检验方法应该有着较高检验能力的同时有着尽可能少的错误发现。然而，这两个目标之间却存在着矛盾关系，难以同时现实。本文通过定义PRR等指标对不同的多重检验方法在空间分析领域中的检验效果进行了定量对比分析，并结合显著性对比分析给出关于不同方法抉择的建议。下一步需从数学证明的角度深入研究局部关联指标间空间依赖对检验方法的影响机理，以期能给出一种能更好适用于局部空间关联指标的检验方法。

参考文献

 [1]Anselin L. Local indicators of spatial association—LISA. Geographical analysis，1995，27(2): 93-115.

 [2]Nelson T A. Trends in spatial statistics. The Professional Geographer，2012，64(1): 83-94.

 [3]Tobler W R. Cellular geography, 1979: 379-386.

 [4]Holm S. A simple sequentially rejective multiple test procedure. Scandinavian journal of statistics，1979: 65-70.

 [5]Tukey J W, Ciminera J L, Heyse J F. Testing the statistical certainty of a response to increasing doses of a drug. Biometrics，1985，41(1): 295.

 [6]Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society. Series B (Methodological)，1995: 289-300.

 [7]Benjamini Y, Yekutieli D. The control of the false discovery rate in multiple testing under dependency. Annals of statistics，2001: 1165-1188.

 [8]Storey J D. A direct approach to false discovery rates. Journal of the Royal Statistical Society: Series B (Statistical Methodology)，2002，64(3): 479-498.

 [9]Benjamini Y, Krieger A M, Yekutieli D. Adaptive linear step-up procedures that control the false discovery rate. Biometrika，2006，93(3): 491-507.

[10]Guo W, Bhaskara Rao M. On control of the false discovery rate under no assumption of dependency. Journal of Statistical Planning and Inference，2008，138(10): 3176-3188.

[11]Sarkar S K. Two-stage step up procedures controlling FDR. Journal of Statistical Planning and Inference，2008，138(4): 1072-1084.

[12]Gavrilov Y, Benjamini Y, Sarkar S K. An adaptive step-down procedure with proven FDR control under independence. The Annals of Statistics，2009: 619-629.

[13]Blanchard G, Roquain E. Adaptive false discovery rate control under independence and dependence. The Journal of Machine Learning Research，2009，10: 2837-2871.

[14]Noble W S. How does multiple testing correction work? Nature biotechnology，2009，27(12): 1135-1137.

[15]Gavrilov Y, Benjamini Y, Sarkar S K. An adaptive step-down procedure with proven FDR control under independence. The Annals of Statistics，2009: 619-629.

[16]Benjamini Y, Gavrilov Y. A simple forward selection procedure based on false discovery rate control. The Annals of Applied Statistics，2009，3(1): 179-198.

[17]Guo D. Local entropy map: A nonparametric approach to detecting spatially varying multivariate relationships. International Journal of Geographical Information Science，2010，24(9): 1367-1389.

[18]Caldas De Castro M, Singer B H. Controlling the false discovery rate: a new application to account for multiple and dependent tests in local statistics of spatial association. Geographical Analysis，2006，38(2): 180-208.

[19]Brunsdon C, Charlton M. An assessment of the effectiveness of multiple hypothesis testing for geographical anomaly detection. Environment and Planning-Part B，2011，38(2): 216.

[20]García S, Fernández A, Luengo J et al. Advanced nonparametric tests for multiple comparisons in the design of experiments in computational intelligence and data mining: Experimental analysis of power. Information Sciences，2010，180(10): 2044-2064.