二項確率の「正確」信頼区間における保守性を，背後に一様分布を想定することで直感的に理解する

お断り

この記事はすぐに削除するかもしれません．

このブログ記事の目的

このブログ記事では，二項分布の確率に対する「正確」信頼区間が保守的になることを，二項分布の背後に一様分布を想定することで，直感的に分かりやすくなることを狙っています．

設定

以下のような，未知の事前分布 $F$ と二項分布 ${\rm Bin}(n, \pi)$ の条件付き分布で構成される階層モデルを仮定します．

$\rm \pi \sim F$ $(\pi \in [0, 1])$

$X|\pi \sim {\rm Bin}(n, \pi)$ $(X = 1,2,...,n)$

ここで $F$ は未知とします． $F$ は， ${\rm Pr}(\pi = 0.5) = 1$ のように定数であってもOKだとします．

$E^{\pi, X}[ I( \pi \le L(X))] \le 0.025$ となるいい感じの $L(X)$ や， $E^{\pi, X}[ I( \pi \ge U(X))] \le 0.025$ となるいい感じの $U(X)$ を求めたいとします．

ここで， $L(X)=0$ や $U(X)=1$ は上記の不等式を満たしますが，「いい感じ」ではありません． $L(X)$ はなるべく大きく， $U(X)$ はなるべく小さくなるように努力するとします．

そのような $L(X)$ および $U(X)$ を求めれば， $E^{\pi, X} [ I( L(X) \lt \pi \lt U(X)) ] \ge 0.95$ となります． $E^{\pi, X} [ I( L(X) \lt \pi \lt U(X)) ] \ge 0.95$ という性質を持つ $(L(X), U(X))$ は， $\pi$ に対する信頼係数95%の信頼区間と呼ばれています（注：ただし，Neyman-Pearson流頻度主義の信頼区間では，固定された定数と $\pi$ を仮定することがほとんどです．一方，中期R.A.Fisherの推測区間 fiducial limitでは， $\pi$ は定数でも確率変数でもどちらでもいいとされています．いずれにしろ， $\pi$ が定数であっても確率変数であっても以下の議論には影響しません．なお，R.A. Fisherの推測区間は，現在の教科書にはまず出てきません．）

なお，実用上では， $(L(X), U(X))$ に， $X$ の実現値 $x$ を代入した $(L(x), U(x))$ が報告されます．しかし，以下で問題としているのは， $L(X)$ と $U(X)$ です．

上と下で等しい確率（今回の場合は0.025）の信頼区間は，等裾信頼区間と呼ばれています．簡単のために，このブログ記事では，等裾信頼区間のみを考えます．

また，信頼区間には，データ以外のランダマイザー（確率発生装置）を用いるものもあります．そのような確率化された信頼区間もこのブログ記事では考えません．

背後に一様分布を想定

上記の信頼区間を求めるのに，独立同分布の一様分布に従う $n$ 個の確率変数を背後に想定します．

$V_i \sim {\rm Unif}(0,1)\ \ {\rm iid} \ \ (i = 1,2,...n)$

この $V_i$ そのものは観測できず， $\pi$ 以下となっている $V_i$ の個数 $X = \sum_{i=1}^n I(V_i \le \pi)$ は観測できるとします． $\pi$ が与えられた元で $\pi$ 以下となっている $V_i$ の個数は，二項分布 ${\rm Bin}(n, \pi)$ に従います．

$X|\pi \sim {\rm Bin}(n, \pi)$

このような問題に置き換えると，元の問題は， $X = \sum_{i=1}^n I(V_i \lt \pi)$ のように $\pi, V_1, V_2, ..., V_n$ から $X$ が決められるときに， $E^{\pi, V_1, V_2, ..., V_n}[ I( \pi \le L(X))] \le 0.025$ を満たす $L(X)$ や， $E^{\pi, V_1, V_2, ..., V_n}[ I( \pi \ge U(X))] \le 0.025$ を満たす $U(X)$ を求めることに置き換えられます．

L(X)を求める

いま， $V_i \ \ (i=1,2,..,n)$ の小さい方から， $X$ 番目の値を $V_{(X)}$ と記すと，下図のような関係となっているため， $V_{(X)} \lt \pi$ です．

$V_{(X)} \lt \pi$ ですので， $E^{\pi, V_1, V_2, ..., V_n}[ I( V_{(X)} \le L(X))] = 0.025$ となるように $L(X)$ を設定すれば， $E^{\pi, V_1, V_2, ..., V_n}[ I( \pi \le L(X))] \le 0.025$ は満たされます．

$V_{(X)}$ は， $X$ が与えられれば， $\pi$ に依存しません．よって，期待値を取るのを $X$ に変えて， $E^{X, V_1, V_2, ..., V_n}[ I( V_{(X)} \le L(X))] = 0.025$ を考えればよいです．

さらに，アダムの法則（Tower Property）から，

$E^{X, V_1, V_2, ..., V_n}[ I( V_{(X)} \le L(X))] = E^{X} [E^{V_1, V_2, ..., V_n|X}[ I( V_{(X)} \le L(X))|X] ]$ として， $X$ を与えた時の $V_{(X)}$ の分布を考えることにします．

独立同分布の $n$ 個の一様乱数のX番目の順序統計量 $V_{(X)}$ は，よく知られているように，パラメータ $(X, n-X+1)$ のベータ分布に従います．よって， $L(X) = F^{-1}_{beta}(0.025, X, n-X+1)$ とすれば，

$E^{V_1, V_2, ..., V_n|X}[ I( V_{(X)} \le F^{-1}_{beta}(0.025, X, n-X+1))|X] = 0.025$ となり， $E^{X} [E^{V_1, V_2, ..., V_n|X}[ I( V_{(X)} \le F^{-1}_{beta}(0.025, X, n-X+1))|X] ] =E^{X}[0.025] = 0.025$ となります．

以上から，

$E^{X, \pi}[ I( \pi \le F^{-1}_{beta}(0.025, X, n-X+1))]$

$\le E^{X, V_1, V_2, ..., V_n}[ V_{(X)} \le F^{-1}_{beta}(0.025, X, n-X+1))]$

$= 0.025$

となり，求めたい信頼区間の下限を求められました．

信頼係数が95%となる信頼区間は， $V_{(X)}$ ではなくて， $V_{(X-1)}$ や $V_{1}$ を使っても求まります．しかし，それは， $V_{(X)}$ を使った時よりも小さくなります．

U(X)を求める

いま， $V_i \ \ (i=1,2,..,n)$ の小さい方から， $X+1$ 番目の値を $V_{(X+1)}$ と記すと， $\pi \lt V_{(X+1)}$ です．

前節と同じように，しかし，今回は $V_{(X)}$ ではなくて $V_{(X+1)}$ について考えると， $U(X) = F^{-1}_{beta}(0.975, X+1, n-X))$ とすると， $E^{\pi, X}[ I( \pi \ge U(X))] \le 0.025$ となります．

保守性はどこから来ているのか？

以上のように求められた $(L(X), U(X))$ は，等裾の「正確」信頼区間と呼ばれています．しかし，この信頼区間は次に述べる2点において，保守的になっています．

（注：頻度主義の用語において，下記の1番目は，「保守的」とは言われていません．通常，被覆確率が信頼水準よりも大きくなることだけを「保守的」と言います．）

第1に，この等裾「正確」信頼区間は，事前情報をまったく用いていません．そのため，もし事前分布が既知であり，その事前分布を用いて信頼区間（これは「信用区間」と呼ばれています）を求めた時よりも，信頼区間の幅は広くなるでしょう．

第2に，信頼区間の下限を求めるときには $\pi$ よりも小さな値である $U_{(X)}$ を用いています．また，信頼区間の上限を求めるときには $\pi$ よりも大きな値である $U_{(X+1)}$ を用いています． $U_{(X)}$ や $U_{(X+1)}$ の分布としては保守的ではない正確な分布を用いているのですが，それらは $\pi$ よりも小さかったり大きかったりするので，そのため，そのズレだけ確率が0.025よりも小さくなります（つまり，被覆確率が信頼係数0.95よりも大きくなります）．

このように考えると，「正確」信頼区間の保守性がどこから来ているのか，直感的に分かりやすいのではないかと思った次第です．

予測区間やFisher「正確」検定について

計算は複雑になりますが，ほぼ同様の枠組みで，二項分布の予測区間や，Fisher「正確」検定の保守性も理解できると思います．

もし興味がある方がいて，時間ができれば，その記事も書こうと思います．

お断り

この記事はすぐに削除するかもしれません．