作者：石川

摘要：本文介紹三種常見(jiàn)的以控制族錯(cuò)誤率為目標(biāo)的多重檢驗(yàn)算法，并給出基于 A 股市場(chǎng)異象的實(shí)證分析。

0?引言

近日，長(zhǎng)期戰(zhàn)斗在抵制金融學(xué)領(lǐng)域虛假發(fā)現(xiàn)一線的 Campbell Harvey 教授和他的 co-authors 在 Review of Asset Pricing Studies 上發(fā)表了一篇關(guān)于多重假設(shè)檢驗(yàn)方法的綜述性文章（Harvey, Liu, and Saretto 2020）。該文系統(tǒng)的梳理了常見(jiàn)的控制多重檢驗(yàn)、計(jì)算 t-statistic 閾值的方法，并給出了 code（雖然是 Matlab……）。憑借豐富的經(jīng)驗(yàn)，三位學(xué)者在文中也給出了在研究金融學(xué)問(wèn)題（例如異象研究或者基金選擇）時(shí)如何選擇方法的建議，極具實(shí)踐意義。

鑒于多重檢驗(yàn)問(wèn)題日益嚴(yán)峻，我決定給《出色不如走運(yùn)》開(kāi)個(gè)“番外篇”，就叫《常見(jiàn)多重檢驗(yàn)方法及其實(shí)證》系列。本文是這一系列的第 (I) 篇，介紹以控制族錯(cuò)誤率為目的的算法，并針對(duì) A 股中的代表性異象給出實(shí)證結(jié)果。下文的行文順序?yàn)椋旱谝还?jié)簡(jiǎn)要介紹基礎(chǔ)知識(shí)，包括多重假設(shè)檢驗(yàn)和 stationary bootstrap，后者是一大類(lèi)多重檢驗(yàn)算法的基礎(chǔ)；第二節(jié)討論三種多重檢驗(yàn)算法；第三節(jié)介紹實(shí)證結(jié)果；第四節(jié)給出金融學(xué)應(yīng)用建議。

1?基礎(chǔ)知識(shí)

1.1 多重假設(shè)檢驗(yàn)

多重假設(shè)檢驗(yàn)問(wèn)題公眾號(hào)已經(jīng)介紹了很多了（見(jiàn)《出色不如走運(yùn)》系列），本小節(jié)僅簡(jiǎn)單說(shuō)明。使用同樣的數(shù)據(jù)同時(shí)檢驗(yàn)多個(gè)原假設(shè)就是統(tǒng)計(jì)學(xué)中的多重假設(shè)檢驗(yàn)（multiple hypothesis testing，簡(jiǎn)稱(chēng) MHT 問(wèn)題）。以研究異象為例，對(duì)著同樣的歷史數(shù)據(jù)挖出成百上千個(gè)異象就是多重假設(shè)檢驗(yàn)問(wèn)題。MHT 問(wèn)題的存在使得單一檢驗(yàn)的 t-statistic 被高估，即里面有運(yùn)氣的成分。當(dāng)排除了運(yùn)氣后，該異象很可不再顯著。如果仍然按照傳統(tǒng)意義上的 2.0 作為 t-statistic 閾值來(lái)評(píng)價(jià)異象是否顯著，一定會(huì)有很多偽發(fā)現(xiàn)（false discoveries 或 false rejections）。因此，排除 MHT 影響的核心就是控制偽發(fā)現(xiàn)發(fā)生的概率。以此為目標(biāo)，很多不同的多重檢驗(yàn)算法被提出。學(xué)術(shù)界提出的不同算法可以分為三大類(lèi)，借助下表說(shuō)明。

假設(shè)一共研究了 S 個(gè)異象，其中 S_0 個(gè)在原假設(shè)下為真（即收益率為零），S_1 個(gè)在原假設(shè)下為假（即收益率不為零）。假設(shè)根據(jù)事先選定的顯著性水平（通常為 5%），有 R 個(gè)假設(shè)被拒絕了，而其中包括 F_1 個(gè) false rejections（因?yàn)樗鼈兊脑僭O(shè)為真）。使用 F_1 和 R 可以定義一些不同的統(tǒng)計(jì)量，而不同的 MHT 算法是以控制不同的統(tǒng)計(jì)量為目標(biāo)。這些統(tǒng)計(jì)量包括三大類(lèi)，分別為族錯(cuò)誤率（family-wise error rate，F(xiàn)WER）、偽發(fā)現(xiàn)率（false discovery rate，F(xiàn)DR）和偽發(fā)現(xiàn)比例（false discovery proportion，F(xiàn)DP）。它們都是描述一類(lèi)錯(cuò)誤，即錯(cuò)誤拒絕原假設(shè)的統(tǒng)計(jì)量。

族錯(cuò)誤率（FWER）的定義是出現(xiàn)至少一個(gè)偽發(fā)現(xiàn)的概率，即 prob(F_1 ≥ 1)。在給定的顯著性水平 α 下，控制它的數(shù)學(xué)表達(dá)式為：

由定義可知，F(xiàn)WER 對(duì)單個(gè)假設(shè)非常嚴(yán)格，會(huì)提升二類(lèi)錯(cuò)誤的數(shù)量，削弱檢驗(yàn)的 power。常見(jiàn)的算法包括 Bonferroni 和 Holm 方法，以及 White (2000) 的 bootstrap reality check 算法，Romano and Wolf (2005) 的 StepM 算法和 Romano and Wolf (2007) 的 k-StepM 算法。早在《出色不如走運(yùn)(II)?》一文我們就介紹了 Bonferroni 和 Holm 方法。本文的目標(biāo)是介紹后三種方法。

偽發(fā)現(xiàn)率（FDR）的定義為 E[F_1/R]。在給定的水平 δ 下，它可以表達(dá)為：

從定義可知，F(xiàn)DR 允許 F_1 著 R 的增大而成比例上升，是一種更加溫和的方法。常見(jiàn)的算法為 BHY 方法（見(jiàn)《出色不如走運(yùn)(II)?》）。

最后，偽發(fā)現(xiàn)比例（FDP）以限制 F_1/R 超過(guò)給定閾值 γ 的概率不超過(guò)給定的顯著性水平 α 為目標(biāo)：

和 FDR 類(lèi)似，它也允許 F_1 隨 R 增加，因而比 FWER 更加溫和。其中著名的算法包括 Romano and Wolf (2007) 以及 Romano, Shaikh, and Wolf (2008)。

1.2 自助法

本文的目標(biāo)是介紹 bootstrap reality check、StepM 以及 k-StepM 三種控制 FWER 的算法。這三種算法的優(yōu)點(diǎn)是不對(duì)數(shù)據(jù)的分布做任何假設(shè)，因?yàn)樗鼈兌家蕾?lài)于 bootstrap 自助法進(jìn)行重采樣，并在此基礎(chǔ)上結(jié)合正交化求出 t-statistic 的閾值。對(duì)于研究異象來(lái)說(shuō)，由于絕大多數(shù)變量都是高度相關(guān)的，因此異象的收益率也是高度相關(guān)的。為了保留時(shí)序和截面上的相關(guān)性，在進(jìn)行重采樣時(shí)，往往采用 block bootstrap。顧名思義，block bootstrap 就是每次從序列中有放回的抽取一個(gè)由連續(xù) n 個(gè)相鄰數(shù)據(jù)點(diǎn)構(gòu)成的 block（大小由 block size 決定）。主流的 block bootstrap 算法包括以下三種：moving block bootstrap，circular block bootstrap 以及 stationary bootstrap。關(guān)于自助法更詳細(xì)的介紹請(qǐng)見(jiàn)《使用正交化和自助法尋找顯著因子》一文。本文將遵循學(xué)術(shù)界的選擇，使用 Politis and Romano (1994) 提出的 stationary bootstrap 算法進(jìn)行重采樣。

2?三種控制 FWER 算法

本節(jié)介紹的三種算法的核心都是“正交化”+“自助法”。“正交化”可以理解為人為消除異象變量和收益率之間的任何關(guān)聯(lián)。正交化之后，我們就可以把該變量看成是隨機(jī)的，因而正交后異象的收益率也僅僅是來(lái)自運(yùn)氣?！白灾ā眲t是為了得到僅因運(yùn)氣成分而造成的統(tǒng)計(jì)量的分布，以此就可以判斷原始異象變量的顯著性是否是真實(shí)的，還是僅僅是運(yùn)氣。值得一提的是，這三種算法本身也是密切相關(guān)的，后一個(gè)站在前者的基礎(chǔ)之上。下文將以異象月均收益率的 t-statistic 作為統(tǒng)計(jì)量，介紹不同的算法。

為了方便地介紹三種算法，先來(lái)做一些鋪墊工作。假設(shè)一共有 M 個(gè)異象，原始數(shù)據(jù)為 T × M 階收益率序列矩陣（記為 D），其中 T 為月頻期數(shù)，M 為異象的個(gè)數(shù)。首先，對(duì)每個(gè)異象計(jì)算月均收益率的 t-statistic，得到一個(gè) M 階向量，記為 θ。接下來(lái)，使用 stationary bootstrap 算法對(duì)原始矩陣 D 重采樣 B 次。對(duì)每一個(gè) bootstrap sample，計(jì)算 M 個(gè)異象的 bootstrapped t-statistics 并取絕對(duì)值。由于在重采樣時(shí)并沒(méi)有強(qiáng)加“正交化”，因此在計(jì)算異象 bootstrapped t-statistics 的時(shí)候就要應(yīng)用“正交化”。

為此，對(duì)于給定 bootstrap sample 中的每個(gè)異象，計(jì)算該異象在當(dāng)前 bootstrap sample 中的月收益率均值和標(biāo)準(zhǔn)差，使用該月均收益率均值減去原始數(shù)據(jù) D 中該異象的月均收益率（這個(gè)減法正是“正交化”），然后將差值再除以前述標(biāo)準(zhǔn)差，就得到該異象在當(dāng)前 bootstrap sample 中的 bootstrapped t-statistic。上述過(guò)程的數(shù)學(xué)公式為：

式中上標(biāo) m 代表第 m 個(gè)異象，下標(biāo) b 代表第 b 個(gè) bootstrap sample，下標(biāo) D 代表原始數(shù)據(jù)。依照上述操作，對(duì)于每一個(gè) bootstrap sample，得到一個(gè) M 階經(jīng)正交化調(diào)整后的 bootstrapped t-statistics 向量。由于一共有 B 次重采樣（即 B 個(gè) bootstrap samples），因此上述步驟得到的是 M × B 階矩陣，其中每一行代表一個(gè)異象，每一列代表一次重采樣，每個(gè)元素都是一個(gè) bootstrapped t-statistic。稱(chēng)該矩陣為 Z。向量 θ 和矩陣 Z 就是以下三種算法的輸入。

2.1 Bootstrap Reality Check

將 M 個(gè)異象按它們?cè)戮找媛?t-statistics 的絕對(duì)值從高到低排列。Bootstrap reality check（BRC）算法的目標(biāo)是檢驗(yàn)排名第一的異象是否在考慮了 MHT 問(wèn)題后依然顯著。BRC 算法是 stationary bootstrap 的直接應(yīng)用，非常直截了當(dāng)，分為以下幾步：

值得一提的是，雖然很可能有多個(gè)異象的原始 t-statistics 超過(guò)了 BRC 算法給出的閾值，但 BRC 算法設(shè)計(jì)的初衷?xún)H僅是為了檢驗(yàn) t-statistic 最高的異象是否依然顯著，即它只關(guān)心所有異象中最顯著的那一個(gè)。因此在所有 M 個(gè)異象中，該算法最多只拒絕一個(gè)原假設(shè)。毫無(wú)疑問(wèn)，這太過(guò)苛刻。

2.2 StepM

StepM 是 BRC 的自然延伸。與 BRC 相比，它允許更過(guò)的原假設(shè)在 prob(F_1 ≥ 1) ≤ α 的前提下被拒絕，因此提高了檢驗(yàn)的 power。StepM 算法具體包括以下三步：

2.3 k-StepM

雖然 StepM 比 BRC 方法允許更多的原假設(shè)被拒絕，但它依然比較苛刻。究其原因，還是因?yàn)?prob(F_1 ≥ 1) ≤ α 這個(gè)條件太嚴(yán)格 —— 它控制至少出現(xiàn)一個(gè)偽發(fā)現(xiàn)的概率。在 BRC 和 StepM 的算法中，上述條件體現(xiàn)為在每個(gè) bootstrap sample 中，我們挑出了所有 M 個(gè)異象 t-statistics 絕對(duì)值的最大值，然后通過(guò) B 個(gè)最大值得到其 1 – α 分位數(shù)作為閾值。如果想要放松上述限制，就要從 prob(F_1 ≥ 1) ≤ α 入手。k-StepM 算法將其改為不少于 k 個(gè)偽發(fā)現(xiàn)的概率（這也是其得名的原因），即：

由定義可知，StepM（默認(rèn) k = 1）是 k-StepM 的一個(gè)特例。k-StepM 同樣分為三步：

以上就是 k-StepM 的步驟。直觀地說(shuō)，它和 StepM 很接近 —— StepM 每次迭代用剩余異象的 Z’ 矩陣挑出最高 t-statistic 的分位數(shù)作為閾值；k-StepM 每次迭代用剩余異象的 Z’ 矩陣挑出第 k 高的 t-statistic 的分位數(shù)作為閾值。這是它們相似的地方。然而，它們最大的區(qū)別在于，在 StepM 中，已經(jīng)被選出的異象不會(huì)被重新考慮；而在 k-StepM 中，已經(jīng)被選出的異象中的 k – 1 個(gè)會(huì)被重新考慮（和尚未被選出的一起作為剩余異象）。

這么做的原因和每次計(jì)算閾值時(shí)選擇第 k 大的 t-statistic 以及該算法允許最多出現(xiàn) k – 1 個(gè)偽發(fā)現(xiàn)有關(guān)。其假設(shè)在 j – 1 次迭代之后被拒絕的 P_1 +… + P_{j-1} 個(gè)異象中，有 k – 1 個(gè)偽發(fā)現(xiàn)。由于不知道其中的哪些是偽發(fā)現(xiàn)，因此該算法考慮了從 P_1 +… + P_{j-1} 中選出 k – 1 個(gè)的全部組合方式。

3?實(shí)證研究

為了說(shuō)明上述三種方法的差異，本節(jié)針對(duì) A 股中的 35 個(gè)異象做簡(jiǎn)單實(shí)證。這些異象均是常見(jiàn)的基本面或技術(shù)面異象，實(shí)證窗口為 2000 年 1 月 1 日至 2019 年 12 月 31 日。這些異象月均收益率的 t-statistics 由高到低如下表所示。

在實(shí)證中，進(jìn)行 B = 1000 次 stationary bootstrap 重采樣（令 block size 均值為 4；我驗(yàn)證了不同的取值，結(jié)果較為穩(wěn)健），并計(jì)算上述 35 個(gè)異象的 Z 矩陣；并選擇顯著性水平 α = 5%。接下來(lái)看三種方法的實(shí)證結(jié)果。首先來(lái)看 BRC。利用 Z 矩陣，求出 max bootstrapped t-statistic 的分布（下圖）以及 95% 的分位數(shù)為 2.98。由于 BRC 只關(guān)心 t-statistic 最高的異象，我們只需檢驗(yàn)該值是否大于閾值。由于 3.58 大于 2.98，因此可以說(shuō)在考慮了 MHT 后，該異象依然在 5% 的顯著性水平下顯著。（BTW，排名第一的異象是一個(gè) SUE 類(lèi)的異象。）

接下來(lái)看 StepM 算法。由于其第一次迭代和 BRC 一樣，因此第一個(gè)閾值仍然是 2.98。在 35 個(gè)異象中，有 4 個(gè)超過(guò)了該閾值，因此被選出（其中有兩個(gè) SUE 類(lèi)的異象，另外兩個(gè)是市值和特質(zhì)性動(dòng)量）。在第二次迭代中，以剩余 31 個(gè)異象的 Z’ 矩陣為目標(biāo)，算出的閾值為 2.93，因此未能選出新的異象。最終 StepM選出 4 個(gè)異象（來(lái)自第一次迭代），過(guò)程如下表所示。

最后來(lái)看 k-StepM。實(shí)證中選擇 k = 2。在第一次迭代中，第 2 大 bootstrapped t-statistic 的分布如下圖所示，其 95% 分位數(shù)為 2.53。以此為閾值，前 9 個(gè)異象被選出（包括市值、ILLIQ、異常換手率、特質(zhì)性動(dòng)量以及三個(gè) SUE 類(lèi)等）。

在第二次迭代中，首先從上述 9 個(gè)異象中選出 1 個(gè)和剩余 26 個(gè)合并，以這 27 個(gè)異象的 Z’ 矩陣為目標(biāo)計(jì)算出新的閾值；由于 9 選 1 一共有 9 種方式，因此上述過(guò)程共得到 9 個(gè)新的閾值，將它們的最大值作為本次迭代的閾值，該值為 2.41。以此為閾值，又有額外 4 個(gè)異象（異象 10 ~ 13）被選出。在第三次迭代中，首先從前兩次迭代選出的總共 13 個(gè)異象中選出 1 個(gè)和剩余 22 (= 35 - 13) 個(gè)合并，以這 23 個(gè)異象的 Z’ 矩陣為目標(biāo)計(jì)算出新的閾值；由于 13 選 1 共有 13 種方式，因此上述過(guò)程共得到 13 個(gè)新的閾值，將它們的最大值作為本次迭代的閾值，該值為 2.34。以此為閾值，本次迭代選出異象 14。在接下來(lái)的迭代中，由于沒(méi)有新的異象被進(jìn)一步選出，因此算法結(jié)束。通過(guò)三次迭代，k-StepM 算法共選出 14 個(gè)異象，過(guò)程如下表所示。

實(shí)證結(jié)果表明，k-StepM 放松了 StepM 對(duì) FWER 的限制，因此有更多的原假設(shè)被拒絕。

4?金融學(xué)應(yīng)用建議

本文介紹了三種常見(jiàn)的以控制 FWER 為目標(biāo)的多重檢驗(yàn)算法；它們只是眾多算法的冰山一角。面對(duì)如此豐富的工具箱，選擇合適的工具也就成為了難題 —— 算法是否合適很大程度上取決于數(shù)據(jù)滿(mǎn)足怎樣的假設(shè)。為此，Harvey, Liu, and Saretto (2020) 給出了一般性建議。首先，原假設(shè)的個(gè)數(shù)（即異象的個(gè)數(shù)）是一個(gè)重要的選擇依據(jù)。由于 FWER 類(lèi)的算法非常嚴(yán)格，因此當(dāng) M 很大時(shí)，這類(lèi)算法就不太合適，而應(yīng)該選擇以控制 FDR 或 FDP 為目標(biāo)的算法。但如果檢驗(yàn)的個(gè)數(shù)較少，比如 M = 10，選擇此類(lèi)算法則沒(méi)有太大問(wèn)題。另一個(gè)需要考量的因素是不同原假設(shè)（異象）之間的相關(guān)性，即數(shù)據(jù)的相關(guān)性。當(dāng)數(shù)據(jù)中存在很高的相關(guān)性時(shí)，依賴(lài) bootstrap 的算法則比較適合。在這方面，本文介紹的三種算法，以及同樣是 Romano and Wolf (2007) 提出的另一種控制 FDP 的算法（稱(chēng)為 FDP-StepM）則有一定的用武之地。當(dāng)我們手中有全新的樣本時(shí)（比如其他國(guó)家的股市，或者不同時(shí)期的數(shù)據(jù)），Harvey, Liu, and Saretto (2020) 建議使用以控制 FDR 為目標(biāo)的多重檢驗(yàn)算法。由定義可知，F(xiàn)DR 是 FDP 的期望，較后者而言，它更加溫和一些。最后，如果上述 guideline 仍然無(wú)法讓人選出合適的算法，我們也可以嘗試 Harvey 教授的另一個(gè)大招 —— Harvey and Liu (2020)。用二位作者自己的話說(shuō)：

They present a double bootstrap approach that delivers a set Type I error rate in multiple testing applications. Their method is?data dependent?so the cutoff will differ conditional on the particular data at hand. The method also?allows the researcher to inject their prior on the proportion of hypotheses that are true. Finally, in contrast to other methods that focus on Type I errors, Harvey and Liu’s method allows the research to develop?a decision framework that assigns differential costs of Type I and Type II errors.

怎么樣？這篇即將發(fā)表在?Journal of Finance?的文章聽(tīng)上去就令人興奮。我們以后找機(jī)會(huì)再細(xì)說(shuō)。

參考文獻(xiàn)

Harvey, C. R. and Y. Liu (2020). False (and missed) discoveries in financial economics. Journal of Finance 75(5), 2503?– 2553.

Harvey, C. R., Y. Liu, and A. Saretto (2020). An evaluation of alternative multiple testing methods for finance applications. Review of Asset Pricing Studies 10(2), 199 – 248.

Politis, D. N. and J. P. Romano (1994). The stationary bootstrap. Journal of the American Statistical Association 89(428), 1303 – 1313.

Romano, J. P., A. M. Shaikh, and M. Wolf (2008). Formalized data snooping based on generalized error rates. Econometric Theory 24(2), 404 – 447.

Romano, J. P. and M. Wolf (2005). Stepwise multiple testing as formalized data snooping. Econometrica 73(4), 1237 – 1282.

Romano, J. P. and M. Wolf (2007). Control of generalized error rates in multiple testing. The Annals of Statistics 35(4), 1378 – 1408.

White, H. (2000). A reality check for data snooping. Econometrica 68(5), 1097 – 1126.

免責(zé)聲明：入市有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見(jiàn)并不構(gòu)成對(duì)任何人的投資建議。在任何情況下，本文作者及所屬機(jī)構(gòu)不對(duì)任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說(shuō)明外，文中圖表均直接或間接來(lái)自于相應(yīng)論文，僅為介紹之用，版權(quán)歸原作者和期刊所有。