統計学とは何か

統計学は「データから、データの向こう側にあるものを知る」ための学問です。まず、何を知りたくて、何を測っているのかを言葉にできるようになりましょう。

記述統計と推測統計

統計学は大きく二つに分かれます。記述統計は、手元にあるデータを整理・要約して特徴をつかむ技術です（平均、グラフなど）。推測統計は、手元のデータ（標本）から、その背後にある全体（母集団）について推測する技術です（推定、検定）。2級までの前半は記述統計、後半は推測統計が中心になります。

データの種類

データは、まず質的データ（カテゴリ：性別、血液型、満足度）と量的データ（数値：身長、売上、人数）に分かれます。量的データはさらに、とびとびの値しかとらない離散データ（人数、回数）と、連続的な値をとる連続データ（身長、時間）に分かれます。

尺度水準

尺度が上がるほど許される計算が増えます。「摂氏20℃は10℃の2倍暑い」が言えないのは、摂氏が間隔尺度だからです。

度数分布表とヒストグラム

量的データを「どのあたりの値がどれくらいあるか」で整理するのが度数分布表、それを絵にしたのがヒストグラムです。

度数分布表

データの範囲をいくつかの階級（区間）に分け、各階級に入るデータの個数（度数）を数えます。階級の代表値を階級値（区間の中央）、全体に占める割合を相対度数、その階級までの累計を累積度数・累積相対度数と呼びます。

ヒストグラムの読み方

ヒストグラムでは、柱の面積が度数（または相対度数）を表します。階級幅が等しければ高さ＝度数と読めますが、階級幅が不揃いなときは「高さ＝度数÷階級幅」（密度）で描くのが正しい描き方です。棒グラフと違い、柱と柱の間は空けません。

形に注目します。左右対称か、右に裾を引く（右に歪んだ）分布か、山が二つある（二峰性）か。所得の分布は右に長い裾を引く典型例で、このとき平均は中央値より大きくなります。

階級の数の目安

階級が少なすぎると形が見えず、多すぎるとギザギザになります。目安としてスタージェスの公式 $k \approx 1+\log_2 n$ が使われます（$n=30$ なら $k \approx 6$）。

幹葉図（かんようず）

十の位を「幹」、一の位を「葉」として並べる表示法で、ヒストグラムの形を保ちながら元の値も読めます。例：$6 \mid 1\,3\,4\,6\,7\,8\,9$ は 61, 63, 64, 66, 67, 68, 69 を表します。

代表値：平均・中央値・最頻値

「データはだいたいどのくらいの値か」を一つの数で表すのが代表値です。三つの代表値は、それぞれ得意・不得意が違います。

三つの代表値

平均は全データの値を使うので情報を無駄にしませんが、外れ値に弱いのが欠点です。年収データに一人だけ10億円の人がいると平均は大きく引き上げられますが、中央値はほとんど動きません。この「外れ値に動じない」性質を頑健（ロバスト）といいます。

分布の形と代表値の位置

左右対称な分布では 平均＝中央値＝最頻値。右に裾を引く分布では 最頻値 < 中央値 < 平均、左に裾を引く分布ではその逆になります。裾の側に平均が引っ張られる、と覚えます。

度数分布表からの平均

元データがなく度数分布表しかないときは、階級値 $c_j$ と度数 $f_j$ を使って $\bar{x}\approx \frac{1}{n}\sum_j c_j f_j$ とします。

いろいろな平均

加重平均：重み $w_i$ をつけた平均 $\sum w_i x_i / \sum w_i$。異なる大きさのグループの平均を合わせるときに使います（各グループの平均を人数で重みづけ）。

幾何平均 $\sqrt[n]{x_1 x_2\cdots x_n}$：成長率や倍率の平均に使います。2年で「1.2倍、1.05倍」なら年平均は $\sqrt{1.2\times1.05}\approx1.122$ 倍です。

調和平均 $n/\sum(1/x_i)$：往復の平均速度など「率」の平均に使います。行き 60km/h、帰り 40km/h の平均速度は $2/(1/60+1/40)=48$ km/h です。

散らばり：分散・標準偏差・四分位範囲

同じ平均でも「みんな平均付近」と「バラバラ」では全く違います。散らばりを測る道具を揃えましょう。

範囲と四分位範囲

範囲＝最大値−最小値。簡単ですが外れ値に極端に弱い指標です。データを4等分する区切りを四分位数と呼び、下から25％の点を第1四分位数 $Q_1$、50％を中央値 $Q_2$、75％を $Q_3$ と書きます。四分位範囲 $\mathrm{IQR}=Q_3-Q_1$ は真ん中半分の幅で、外れ値に頑健です。

箱ひげ図

最小値・$Q_1$・中央値・$Q_3$・最大値の五数要約を絵にしたものが箱ひげ図です。$Q_1-1.5\,\mathrm{IQR}$ より小さい値や $Q_3+1.5\,\mathrm{IQR}$ より大きい値を外れ値として点で描く流儀が一般的です。複数グループの比較に威力を発揮します。

分散と標準偏差

分散は単位が「元の単位の2乗」なので、元の単位に戻した標準偏差が解釈に便利です。「平均±標準偏差の範囲に、多くのデータが入る」という感覚で使います。計算には次の変形が便利です：

$$s^2=\frac{1}{n}\sum x_i^2-\bar{x}^2 \quad\text{（2乗の平均 − 平均の2乗）}$$

変動係数

単位や平均の水準が違うデータの散らばりを比べるには、変動係数 $\mathrm{CV}=s/\bar{x}$ を使います。象の体重とネズミの体重の「ばらつきの相対的な大きさ」はこれで比較できます（比例尺度でのみ意味があります）。

標準化・偏差値・変数の変換

「数学で80点、英語で80点」は同じ価値でしょうか。平均と散らばりの違いを揃えて比較できるようにするのが標準化です。

データの線形変換

各データを $y_i=a x_i+b$ と変換すると、平均と分散は次のように変わります。

$$\bar{y}=a\bar{x}+b,\qquad s_y^2=a^2 s_x^2,\qquad s_y=|a|\,s_x$$

足し算（$b$）は平均だけを動かし散らばりを変えません。掛け算（$a$）は平均を $a$ 倍、標準偏差を $|a|$ 倍にします。摂氏を華氏に直す（$F=1.8C+32$）、円をドルに直す、などがこの変換です。

標準化（zスコア）

偏差値は $z$ を平均 50、標準偏差 10 に直したものです：$T=50+10z$。偏差値 70 は平均から $+2$ 標準偏差の位置で、正規分布なら上位約 2.3％ に相当します。

対数変換

右に大きく裾を引くデータ（所得、売上、人口）は対数をとると左右対称に近づき、平均や相関の計算が意味を持ちやすくなります。対数の差は変化率の近似にもなります：$\log(1.05)\approx 0.049$。第2部以降の回帰分析で頻繁に使います。

2変量データ：散布図・共分散・相関係数

二つの量的変数の「関係の強さと向き」を数で表すのが相関係数です。ただし相関は因果ではありません。

散布図

横軸に $x$、縦軸に $y$ をとって点を打ちます。右上がりなら正の相関、右下がりなら負の相関、模様がなければ無相関。まず散布図を見る習慣が、外れ値や曲線的な関係の見落としを防ぎます。

共分散と相関係数

共分散は「$x$ が平均より大きいとき $y$ も平均より大きい傾向があるか」を測りますが、単位に依存します。それぞれの標準偏差で割って単位をなくしたのが相関係数です。$r$ は線形変換（$ax+b$, $a>0$）で変わりません。

相関と因果

「アイスの売上」と「水難事故」には正の相関がありますが、片方が他方の原因ではなく、気温という第三の変数（交絡因子）が両方を動かしています。これを疑似相関（見かけの相関）といいます。因果を言うには、実験や統計的な調整（第4部）が必要です。

順位相関

順序尺度のデータや外れ値に頑健な相関として、順位に直してから相関を計算するスピアマンの順位相関係数 $\rho=1-\frac{6\sum d_i^2}{n(n^2-1)}$（$d_i$ は順位の差、同順位なしのとき）があります。

クロス集計表と条件付き割合

二つの質的変数の関係は、クロス集計表（分割表）で見ます。「割合をどの方向で取るか」で答えが変わるのが要注意です。

分割表の読み方

行ごとの割合（行パーセント）を見ると、講座ありの合格率は 60％、なしは 30％。列ごとの割合（列パーセント）を見ると、合格者のうち講座を受けていたのは $60/90\approx67$％。「何を分母にするか」を常に意識します。

シンプソンのパラドックス

全体では「Aの方が良い」のに、層別（男女別など）するとどの層でも「Bの方が良い」という逆転が起こることがあります。

病院Aは軽症でも重症でも治癒率が高いのに、重症患者を多く引き受けているため全体では低く見えます。層別変数（症状の重さ）が結果と処置の両方に関係している（交絡）ときに起こります。

連関の指標

2×2表の関係の強さにはオッズ比がよく使われます。上の講座の例では、講座ありのオッズ $60/40=1.5$、なしのオッズ $30/70\approx0.43$、オッズ比 $=1.5/0.43=3.5$。オッズ比 1 は「関係なし」を意味します（第4部のロジスティック回帰で再登場）。

時系列データの基礎：指数・変化率・移動平均

時間の順に並んだデータには、トレンド（傾向）・季節性・不規則変動が混ざっています。基本の見方と加工法を身につけます。

指数と変化率

基準時点の値を 100 として各時点の値を表したものが指数です：$I_t=100\times x_t/x_0$。物価指数（CPI）などがこの形です。前期からの変化率は $(x_t-x_{t-1})/x_{t-1}$、前年同期比なら $t-12$（月次）との比較になります。

複数年の平均成長率は幾何平均で求めます。3年で 1.1 倍、1.2 倍、0.9 倍なら、年平均成長率は $\sqrt[3]{1.1\times1.2\times0.9}-1\approx 6.0$％です。

移動平均

不規則変動をならして傾向を見るために、近くの値の平均をとります。3項移動平均は $(x_{t-1}+x_t+x_{t+1})/3$。月次データの季節性を消すには 12 か月分をならす12項移動平均（中心化するため両端に $1/2$ の重みをつけた 13 項）を使います。

時系列の成分

• 傾向変動（トレンド）：長期的な上昇・下降。
• 季節変動：1年周期などで繰り返すパターン。
• 循環変動：景気循環のような数年単位の波。
• 不規則変動：それ以外のランダムな動き。

「元データ ÷ 移動平均」から季節指数を作り、元データを季節指数で割ると季節調整済み系列が得られます（比率モデル）。

時系列グラフの注意

縦軸の原点をゼロにするか、対数軸にするかで印象が大きく変わります。対数軸では「同じ傾き＝同じ成長率」になるため、成長率の比較に向いています。

確率の基礎：事象・加法定理・条件付き確率

推測統計は確率の言葉で書かれています。「起こりうる結果全体」と「そのうちの注目する部分」という枠組みから始めます。

標本空間と事象

試行の結果全体の集合を標本空間 $\Omega$、その部分集合を事象といいます。サイコロなら $\Omega=\{1,2,3,4,5,6\}$、「偶数の目」は事象 $A=\{2,4,6\}$。すべての結果が同じ確からしさなら $P(A)=|A|/|\Omega|=3/6$ です。

条件付き確率と乗法定理

独立

$P(A\cap B)=P(A)P(B)$ が成り立つとき、$A$ と $B$ は独立といいます。これは $P(A\mid B)=P(A)$、つまり「$B$ を知っても $A$ の確率が変わらない」ことと同じです。「排反」（同時に起きない）と「独立」（影響しない）は全く別の概念です。排反で確率が正なら、独立ではありません。

少なくとも一つ

「少なくとも1回」は余事象で計算します。サイコロを4回振って少なくとも1回6が出る確率は $1-(5/6)^4\approx0.518$。

ベイズの定理

「結果を見て原因の確率を更新する」のがベイズの定理です。検査・診断・迷惑メール判定など、応用は無数にあります。

全確率の公式

互いに排反で全体を覆う事象 $B_1,\dots,B_k$（分割）に対して、

$$P(A)=\sum_{j=1}^k P(B_j)\,P(A\mid B_j)$$

「原因ごとに場合分けして足す」公式です。

表で考える

陽性 594 人中、病気は 99 人。$99/594\approx0.167$ と同じ答えになります。自然頻度で表にすると間違えにくくなります。

ベイズ更新の見方

事後確率 ∝ 事前確率 × 尤度（$P(A\mid B_i)$）。データ $A$ を見るたびに事前確率を掛け算で更新していく、という考え方は第4部・第6部のベイズ統計につながります。

確率変数と期待値・分散

サイコロの目、当たりの本数、明日の気温。「確率的に値が決まる量」を数式で扱えるようにするのが確率変数です。

確率変数と確率分布

試行の結果に数値を対応させたものを確率変数（$X$ など大文字）といい、その各値の確率の一覧を確率分布といいます。とびとびの値をとる場合は離散型で、確率関数 $p(x)=P(X=x)$ を用います（$\sum_x p(x)=1$）。

期待値・分散の性質

$$\E[aX+b]=a\E[X]+b,\qquad \Var(aX+b)=a^2\Var(X)$$

$$\E[X+Y]=\E[X]+\E[Y]\ \text{（常に成立）},\qquad \Var(X+Y)=\Var(X)+\Var(Y)\ \text{（独立のとき）}$$

期待値の加法性は独立でなくても成り立つのが重要です。分散の加法性には独立（正確には無相関）が必要で、一般には $\Var(X+Y)=\Var(X)+\Var(Y)+2\Cov(X,Y)$ です（第2部）。

くじの期待値

1本 300 円のくじで、1％ で 10,000 円、9％ で 1,000 円、それ以外はハズレ。賞金の期待値は $10000\times0.01+1000\times0.09=190$ 円で、300 円払う価値は（期待値の意味では）ありません。

連続型への橋渡し

身長のように連続的な値をとる確率変数は、確率関数の代わりに確率密度関数 $f(x)$ を使い、$P(a\le X\le b)=\int_a^b f(x)\,dx$（曲線の下の面積）で確率を定めます。期待値は $\int x f(x)\,dx$。第2部で本格的に扱います。

二項分布

「成功か失敗か」を $n$ 回繰り返したときの成功回数。最も基本的な離散分布であり、比率の推測の土台になります。

ベルヌーイ試行と二項分布

成功確率 $p$ の試行（ベルヌーイ試行）を独立に $n$ 回行い、成功回数を $X$ とすると、$X$ は二項分布 $B(n,p)$ に従います。

$\binom{n}{k}=\dfrac{n!}{k!(n-k)!}$ は「$n$ 回のうちどの $k$ 回が成功か」の場合の数です。期待値 $np$ は、各回の成功を表す変数 $X_i$（値 1 か 0、$\E[X_i]=p$）の和として $X=\sum X_i$ と書けば、期待値の加法性からすぐ出ます。分散も独立性から $\sum p(1-p)=np(1-p)$ です。

形と正規近似

$p=0.5$ なら左右対称、$p$ が小さいと右に歪みます。$n$ が大きいと（目安 $np\ge5$ かつ $n(1-p)\ge5$）二項分布は正規分布 $N(np,\ np(1-p))$ で近似できます（第2部の中心極限定理）。

関連する分布

• 幾何分布：初めて成功するまでの試行回数 $P(X=k)=(1-p)^{k-1}p$、$\E[X]=1/p$。
• ポアソン分布：$n$ が大きく $p$ が小さいときの二項分布の極限。第2部で扱います。
• 超幾何分布：戻さない抽出での当たりの個数。$n$ に比べて母集団が十分大きければ二項分布で近似できます。

正規分布と標準正規分布表

身長、測定誤差、多数の平均。自然界と統計学の至るところに現れる「釣鐘型」の分布です。表の使い方まで含めて完全にマスターします。

68–95–99.7 ルール

$\mu\pm\sigma$ に約 68.3％、$\mu\pm2\sigma$ に約 95.4％、$\mu\pm3\sigma$ に約 99.7％ のデータが入ります。よく使う値：$P(|Z|\le1.96)=0.95$、$P(|Z|\le2.58)=0.99$、$P(Z\le1.645)=0.95$。

標準正規分布表の使い方

表には通常、$z\ge0$ に対する上側確率 $P(Z\ge z)$（または $P(0\le Z\le z)$）が載っています。対称性 $P(Z\le -z)=P(Z\ge z)$ を使って必要な確率に直します。

正規分布の再生性

独立な $X\sim N(\mu_1,\sigma_1^2)$、$Y\sim N(\mu_2,\sigma_2^2)$ に対し、$X+Y\sim N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$。差 $X-Y$ の分散も足し算（$\sigma_1^2+\sigma_2^2$）になることに注意します。したがって $N(\mu,\sigma^2)$ からの独立な $n$ 個の平均は $\bar X\sim N(\mu,\sigma^2/n)$ です。

統計調査と実験の基礎

どんなに高度な分析も、データの取り方が悪ければ台無しです。「良い標本」と「良い実験」の条件を学びます。

全数調査と標本調査

母集団全体を調べるのが全数調査（国勢調査）、一部を調べるのが標本調査。標本調査はコストが低く早いですが、標本誤差（たまたま選ばれた個体による誤差）が生じます。全数調査でも回答漏れや記入ミスなどの非標本誤差は生じます。

無作為抽出と抽出法

どの個体も同じ確率で選ばれるように選ぶのが無作為抽出（乱数表、コンピュータ）。選び方の主なもの：

• 単純無作為抽出：母集団から直接くじ引き。
• 層化抽出：性別・地域などの層に分け、各層から抽出。層内が均質なら精度が上がる。
• クラスター（集落）抽出：学校・地区などのまとまりを抽出し、その中を全数調査。コスト減だが精度は落ちやすい。
• 系統抽出：名簿から一定間隔で抽出。周期性があると偏る。
• 多段抽出：市→地区→世帯のように段階的に抽出。

街頭アンケートやネット投票のような有意抽出（都合よく選ぶ）は、偏り（選択バイアス）が入り、母集団を代表しません。1936年の米大統領選で、電話・自動車保有者中心の 200 万人調査が外れた「リテラリー・ダイジェスト事件」が有名です。

観察研究と実験研究

研究者が処置を割り当てて結果を比べるのが実験研究、既にある状態を観察するのが観察研究。因果関係を主張できるのは原則として実験研究です。

臨床試験ではランダム化比較試験（RCT）が標準で、患者も医師も割り当てを知らない二重盲検により、思い込みによる偏り（プラセボ効果、評価バイアス）を防ぎます。

調査票の設計

誘導的な質問、二つのことを同時に聞く質問（ダブルバーレル）、回答者が答えにくい質問は避けます。回答率の低さも偏りの原因になります（無回答バイアス）。

数学の準備：Σ・指数対数・順列組合せ

以降の章で当たり前に使う記号と計算をまとめておきます。不安があればここに戻ってきてください。

総和記号 Σ

$\sum_{i=1}^n x_i=x_1+x_2+\dots+x_n$。次の性質は分散や回帰の式変形で何度も使います：

$$\sum(ax_i+b)=a\sum x_i+nb,\qquad \sum(x_i-\bar{x})=0,\qquad \sum(x_i-\bar{x})^2=\sum x_i^2-n\bar{x}^2$$

2番目は「偏差の和は 0」で、3番目は展開して $\sum x_i=n\bar x$ を代入すれば出ます。

指数と対数

$a^m a^n=a^{m+n}$、$(a^m)^n=a^{mn}$。対数は指数の逆：$\log_a x=y \iff a^y=x$。統計では自然対数 $\ln x=\log_e x$（$e\approx2.718$）が中心で、

$$\ln(xy)=\ln x+\ln y,\qquad \ln(x^k)=k\ln x,\qquad \ln e^x=x$$

尤度（確率の積）を対数で和に直す、右に歪んだデータを対数変換する、などに使います。小さい $r$ に対して $\ln(1+r)\approx r$。

順列と組合せ

$n$ 個から $k$ 個を順番をつけて選ぶ：${}_nP_k=\dfrac{n!}{(n-k)!}$。順番を無視して選ぶ：$\binom nk={}_nC_k=\dfrac{n!}{k!(n-k)!}$。$\binom nk=\binom n{n-k}$、$\binom n0=\binom nn=1$。二項定理 $(a+b)^n=\sum_k\binom nk a^kb^{n-k}$ で $a=p,b=1-p$ とすると二項分布の確率の和が 1 になることが確かめられます。

積分の最低限

連続型の確率は面積です。$\int_a^b f(x)dx$ は $f$ のグラフと $x$ 軸の間の面積で、$\int_{-\infty}^{\infty}f(x)dx=1$ が密度関数の条件です。$\int x^n dx=\frac{x^{n+1}}{n+1}$、$\int e^{-x}dx=-e^{-x}$ を覚えておけば、一様分布と指数分布の計算はできます。

近似の感覚

$\sqrt{2}\approx1.414$、$\sqrt{3}\approx1.732$、$\sqrt{10}\approx3.162$、$1/\sqrt{n}$ は $n=100$ で 0.1。「標準誤差は $\sqrt n$ に反比例」＝「精度を 2 倍にするには標本を 4 倍」は、この感覚から来ています。

主要な確率分布：ポアソン・一様・指数・超幾何

二項分布と正規分布に続いて、2級で登場する分布を揃えます。それぞれ「どんな現象を表すか」と「期待値・分散」をセットで覚えます。

ポアソン分布 $Po(\lambda)$

一定時間に起こる「まれな事象」の回数（交通事故、来店客数、ミスプリント）の分布です。

$$P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}\quad(k=0,1,2,\dots),\qquad \E[X]=\Var(X)=\lambda$$

二項分布 $B(n,p)$ で $n\to\infty$、$np=\lambda$ を固定した極限がポアソン分布です（ポアソンの少数の法則）。目安として $n\ge50$、$p\le0.1$ 程度なら近似が使えます。独立なポアソン変数の和もポアソン分布（$\lambda_1+\lambda_2$）に従います（再生性）。

一様分布 $U(a,b)$

区間 $[a,b]$ 上で密度が一定 $f(x)=1/(b-a)$。$\E[X]=(a+b)/2$、$\Var(X)=(b-a)^2/12$。乱数の基本であり、「情報がない」状態の表現にも使われます。

指数分布 $Ex(\lambda)$

ポアソン過程で「次の事象までの待ち時間」が従う連続分布です。

$$f(x)=\lambda e^{-\lambda x}\ (x\ge0),\qquad P(X>x)=e^{-\lambda x},\qquad \E[X]=\frac1\lambda,\ \Var(X)=\frac1{\lambda^2}$$

無記憶性 $P(X>s+t\mid X>s)=P(X>t)$：「すでに $s$ 待った」という情報は、あと何分待つかの分布を変えません。機器の故障間隔などで使われます。

超幾何分布

$N$ 個中 $M$ 個が当たりの母集団から $n$ 個を戻さずに取るとき、当たりの個数 $X$ の分布：

$$P(X=k)=\frac{\binom Mk\binom{N-M}{n-k}}{\binom Nn},\qquad \E[X]=n\frac MN,\quad \Var(X)=n\frac MN\Big(1-\frac MN\Big)\frac{N-n}{N-1}$$

分散の最後の因子 $\frac{N-n}{N-1}$ が有限母集団修正で、$N$ が大きいと 1 に近づき二項分布に一致します。

確率変数の和と共分散

「平均」も「合計」も確率変数の和です。和の期待値と分散を自在に計算できることが、推測統計のすべての公式の出発点になります。

同時分布と共分散

2つの確率変数 $X,Y$ の共分散と相関係数：

$$\Cov(X,Y)=\E[(X-\mu_X)(Y-\mu_Y)]=\E[XY]-\E[X]\E[Y],\qquad \rho=\frac{\Cov(X,Y)}{\sigma_X\sigma_Y}$$

$X,Y$ が独立なら $\E[XY]=\E[X]\E[Y]$ なので $\Cov(X,Y)=0$（無相関）。逆は一般に成り立ちません（無相関でも独立とは限らない。ただし2変量正規分布では成り立つ）。

標本平均の期待値と分散

$X_1,\dots,X_n$ が互いに独立で同じ分布（i.i.d.）に従い、$\E[X_i]=\mu$、$\Var(X_i)=\sigma^2$ とすると、

$$\E[\bar X]=\mu,\qquad \Var(\bar X)=\frac{\sigma^2}{n},\qquad \mathrm{SD}(\bar X)=\frac{\sigma}{\sqrt n}$$

$\bar X$ の標準偏差 $\sigma/\sqrt n$ を標準誤差と呼びます。$n$ を 4 倍にすると誤差は半分。これが「標本を増やせば精度が上がるが、効率は $\sqrt n$ 的」の正体です。合計 $S=\sum X_i$ については $\E[S]=n\mu$、$\Var(S)=n\sigma^2$。

標本比率

$X\sim B(n,p)$ のとき標本比率 $\hat p=X/n$ は $\E[\hat p]=p$、$\Var(\hat p)=p(1-p)/n$。比率の推定・検定はこれを使います。

大数の法則と中心極限定理

「たくさん集めれば平均は真の値に近づく」「その誤差は正規分布になる」。この2つの定理が、標本から母集団を語ることを正当化します。

$\Var(\bar X_n)=\sigma^2/n\to0$ がその理由です（チェビシェフの不等式 $P(|X-\mu|\ge k\sigma)\le1/k^2$ を使うと証明できます）。コインを投げ続ければ表の割合は 1/2 に近づく、というのが典型例です。ただし「表が続いたから次は裏が出やすい」は誤り（ギャンブラーの誤謬）で、大数の法則は割合の話であって回数の帳尻を合わせるわけではありません。

元の分布が正規なら $n$ によらず厳密に正規です。歪みが強い分布では $n$ が 30 程度あれば実用上十分と言われますが、外れ値が多い分布ではもっと必要です。

二項分布の正規近似

$X\sim B(n,p)$ は $X=\sum X_i$ の形なので、CLT より $X\approx N(np,\,np(1-p))$。離散を連続で近似するので、$P(X\le k)$ を求めるときは $k+0.5$ を使う連続修正をすると精度が上がります。

なぜ重要か

母集団の分布が分からなくても、$\bar X$ の分布は分かる。だから「$\bar X$ が $\mu$ から $1.96\,\sigma/\sqrt n$ 以上離れる確率は 5％」と言え、これが信頼区間と検定の根拠になります。

標本分布：χ²分布・t分布・F分布

正規母集団から作った統計量の分布が3つ登場します。「何から作られた分布か」を押さえれば、どの場面でどれを使うかは自然に決まります。

χ²（カイ二乗）分布

独立な標準正規変数 $Z_1,\dots,Z_k$ の2乗和 $\sum Z_i^2$ が従う分布を自由度 $k$ の $\chi^2$ 分布 $\chi^2(k)$ といいます。$\E=k$、$\Var=2k$。

自由度が $n$ でなく $n-1$ なのは、偏差 $X_i-\bar X$ が「和が 0」という制約を1つ持つためです。

t分布

$Z\sim N(0,1)$ と $W\sim\chi^2(k)$ が独立のとき、$T=Z/\sqrt{W/k}$ が従う分布を自由度 $k$ の $t$ 分布 $t(k)$ といいます。左右対称で正規分布より裾が重く、$k\to\infty$ で $N(0,1)$ に近づきます。

F分布

独立な $W_1\sim\chi^2(k_1)$、$W_2\sim\chi^2(k_2)$ に対し $F=\dfrac{W_1/k_1}{W_2/k_2}$ が従う分布を $F(k_1,k_2)$ といいます。2つの分散の比、分散分析、回帰の有意性検定で使います。$F_{1-\alpha}(k_1,k_2)=1/F_\alpha(k_2,k_1)$ という関係で下側の値を表から得られます。また $t(k)^2=F(1,k)$。

点推定と推定量の性質

母数を「ひとつの値」で当てにいくのが点推定です。良い推定量の条件を定義し、なぜ分散は $n-1$ で割るのかに答えます。

なぜ $n-1$ で割るのか

$S^2=\frac1n\sum(X_i-\bar X)^2$ の期待値を計算すると、$\sum(X_i-\bar X)^2=\sum(X_i-\mu)^2-n(\bar X-\mu)^2$ より

$$\E\Big[\sum(X_i-\bar X)^2\Big]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=(n-1)\sigma^2$$

したがって $\E[S^2]=\frac{n-1}{n}\sigma^2$ で過小評価になり、$U^2=\frac{1}{n-1}\sum(X_i-\bar X)^2$ とすると $\E[U^2]=\sigma^2$ で不偏になります。「$\bar X$ はデータに合わせて動くので偏差が小さめに出る」分を補正しているわけです。なお $U$（平方根）は $\sigma$ の不偏推定量ではありません。

代表的な点推定量

最尤法の入口

「観測されたデータが最も起こりやすくなる母数の値」を推定値とするのが最尤法です。コインを 10 回投げて 7 回表なら、$L(p)=\binom{10}{7}p^7(1-p)^3$ を最大にする $p=0.7$ が最尤推定値です。正規分布の $\mu$ の最尤推定量は $\bar X$、$\sigma^2$ の最尤推定量は（$n-1$ でなく）$n$ で割った $S^2$ になります。詳しくは第3部で扱います。

母平均の区間推定

点推定は当たっているかどうか分かりません。「この範囲に 95％ の信頼度で入る」と幅をつけて答えるのが区間推定です。

信頼区間の考え方

$\bar X\sim N(\mu,\sigma^2/n)$ より $P\big(-1.96\le\frac{\bar X-\mu}{\sigma/\sqrt n}\le1.96\big)=0.95$。これを $\mu$ について解くと

$$\bar X-1.96\frac{\sigma}{\sqrt n}\ \le\ \mu\ \le\ \bar X+1.96\frac{\sigma}{\sqrt n}$$

この区間を $\mu$ の95％信頼区間といいます。ランダムなのは区間の両端（$\bar X$）であって $\mu$ ではありません。「同じ方法で区間を作ることを繰り返すと、95％ の区間が $\mu$ を含む」が正しい意味で、「$\mu$ がこの区間に入る確率が 95％」は（頻度論では）誤った解釈です。

幅を決める要因

区間の幅は $2z_{\alpha/2}\sigma/\sqrt n$。信頼係数を上げる（95→99％）と広がり、$n$ を増やすと $\sqrt n$ に反比例して狭まり、母集団のばらつき $\sigma$ が大きいと広がります。

必要な標本の大きさ

誤差の許容幅（半幅）を $d$ 以下にしたければ $z_{\alpha/2}\sigma/\sqrt n\le d$ より

$$n\ \ge\ \Big(\frac{z_{\alpha/2}\,\sigma}{d}\Big)^2$$

母比率・母分散の区間推定

世論調査の「支持率 45％±3％」、製造工程の「ばらつきの推定」。比率と分散の区間推定は公式の形が違うので分けて覚えます。

母比率の信頼区間

$\hat p\approx N(p,\ p(1-p)/n)$（CLT）で、標準誤差の $p$ を $\hat p$ で置き換えると

$$\hat p\pm z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}$$

比率の標本サイズ

$p(1-p)\le1/4$（$p=0.5$ で最大）なので、$p$ が分からなくても安全側の見積もりとして

$$n\ \ge\ \Big(\frac{z_{\alpha/2}}{2d}\Big)^2$$

誤差 $\pm3$％、95％ なら $n\ge(1.96/0.06)^2\approx1068$。「世論調査は約 1,000 人」の理由です。誤差は母集団の大きさ（有権者 1 億人でも 100 万人でも）にほとんど依存しません。

母分散の信頼区間

$(n-1)U^2/\sigma^2\sim\chi^2(n-1)$ から、

$$\frac{(n-1)u^2}{\chi^2_{\alpha/2}(n-1)}\ \le\ \sigma^2\ \le\ \frac{(n-1)u^2}{\chi^2_{1-\alpha/2}(n-1)}$$

$\chi^2$ 分布は左右非対称なので、区間も $u^2$ を中心に対称にはなりません。分母の大きい方（上側パーセント点）が下限に来ることに注意します。

2つの母平均の差の信頼区間

独立な2標本（分散既知）なら $(\bar x_1-\bar x_2)\pm z_{\alpha/2}\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}$。分散未知で等しいと仮定できるなら、プールした分散 $u_p^2=\frac{(n_1-1)u_1^2+(n_2-1)u_2^2}{n_1+n_2-2}$ を使って $t(n_1+n_2-2)$ で区間を作ります。

仮説検定の考え方

「偶然でこれだけの差が出るか？」を確率で判断する手続きです。論理の構造（背理法に似た構造）を正確につかむことが、あらゆる検定の理解につながります。

帰無仮説と対立仮説

否定したい「差がない」「効果がない」という仮説を帰無仮説 $H_0$、主張したい仮説を対立仮説 $H_1$ とします。$H_0$ が正しいと仮定して、観測されたデータ（かそれ以上に極端なデータ）が出る確率を計算し、それが小さければ「$H_0$ のもとでは起こりにくいことが起きた」として $H_0$ を棄却します。

片側検定と両側検定

$H_1:\mu\ne\mu_0$ なら両側検定（棄却域は両端に $\alpha/2$ ずつ）、$H_1:\mu>\mu_0$ なら片側検定（右端に $\alpha$）。どちらにするかはデータを見る前に決めます。

2種類の誤り

$\alpha$ を小さくすると $\beta$ は大きくなります。両方を下げる唯一の方法は $n$ を増やすことです。「棄却されなかった」は「$H_0$ が正しいと証明された」ではなく、「否定するだけの証拠がなかった」に過ぎません。

母平均・母比率の検定

検定の型を、最も基本的な1標本の場合で完全に身につけます。統計量の形は信頼区間と同じ部品でできています。

信頼区間との対応

両側検定で $\mu_0$ が棄却されないことと、$\mu_0$ が $(1-\alpha)$ 信頼区間に含まれることは同値です。上の例では 95％ 信頼区間 $50.6\pm2.064\times0.3=[49.98,\,51.22]$ が 50 を含んでいます。

検出力の計算

σ既知、片側 $H_1:\mu>\mu_0$、真の値が $\mu_1$ のとき、棄却限界は $c=\mu_0+z_\alpha\sigma/\sqrt n$ で、検出力は $P(\bar X>c\mid\mu=\mu_1)=P\big(Z>z_\alpha-\frac{\mu_1-\mu_0}{\sigma/\sqrt n}\big)$。$n$ が大きいほど、差 $\mu_1-\mu_0$ が大きいほど検出力は上がります。

2標本の検定：平均・比率・分散の比較

「A群とB群で差があるか」は最も実務で多い問いです。対応のあるなし、分散の扱いで統計量が変わります。

対応のある2標本（paired）

同じ個体の前後（投薬前後の血圧など）は、差 $d_i=x_i-y_i$ をとって1標本の t検定に帰着させます：$t=\bar d/(u_d/\sqrt n)\sim t(n-1)$。個体差が消えるため検出力が高くなります。

独立な2標本の平均の差

2つの母比率の差

$H_0:p_1=p_2$ のもとでは共通の比率を $\hat p=\dfrac{x_1+x_2}{n_1+n_2}$ でプールし、

$$z=\frac{\hat p_1-\hat p_2}{\sqrt{\hat p(1-\hat p)\big(\frac1{n_1}+\frac1{n_2}\big)}}\sim N(0,1)$$

2つの母分散の比（F検定）

$H_0:\sigma_1^2=\sigma_2^2$ のもとで $F=u_1^2/u_2^2\sim F(n_1-1,\,n_2-1)$。大きい方の分散を分子にして上側の点だけで判定するのが実用的です。等分散の確認に使われますが、正規性からのずれに弱いことが知られています。

適合度検定と独立性の検定

「観測度数は理論と合っているか」「2つの質的変数は関係があるか」。どちらも $\chi^2$ 統計量ひとつで答えます。

適合度検定

$k$ 個のカテゴリに理論確率 $p_1,\dots,p_k$ を想定し、$E_i=np_i$。自由度は $k-1$（確率の和が 1 という制約）。理論分布の母数をデータから $m$ 個推定した場合は自由度 $k-1-m$ になります。

独立性の検定

$r\times c$ 分割表で、行変数と列変数が独立なら $P(\text{行}i,\text{列}j)=P(\text{行}i)P(\text{列}j)$ なので、期待度数は

$$E_{ij}=\frac{(\text{行}i\text{の計})\times(\text{列}j\text{の計})}{n}$$

自由度は $(r-1)(c-1)$。

2×2表の注意

2×2表では連続修正（イェーツの補正）$\sum\frac{(|O-E|-0.5)^2}{E}$ を使うことがあります。期待度数が小さい（5 未満）セルがあるときはフィッシャーの正確検定（第4部）を使います。独立性の検定の統計量は「2つの比率の差の $z$ 検定」の $z^2$ に一致します。

単回帰分析

$x$ から $y$ を予測する直線を引き、その傾きが意味を持つかを検定する。統計学で最も使われる手法の入口です。

最小二乗法

モデル $y_i=\alpha+\beta x_i+\varepsilon_i$（誤差 $\varepsilon_i$ は独立に $N(0,\sigma^2)$）。残差平方和 $\sum(y_i-a-bx_i)^2$ を最小にする $a,b$ が最小二乗推定量です。

予測値 $\hat y_i=a+bx_i$、残差 $e_i=y_i-\hat y_i$。残差は $\sum e_i=0$、$\sum x_ie_i=0$ を満たします。

決定係数

$y$ の全変動は「回帰で説明できる部分」と「残差」に分解できます：

$$\underbrace{\sum(y_i-\bar y)^2}_{S_T}=\underbrace{\sum(\hat y_i-\bar y)^2}_{S_R}+\underbrace{\sum e_i^2}_{S_E},\qquad R^2=\frac{S_R}{S_T}=1-\frac{S_E}{S_T}$$

単回帰では $R^2=r^2$。「$y$ の変動の何％を $x$ で説明できるか」を表します。

回帰係数の検定

誤差分散の推定量 $\hat\sigma^2=S_E/(n-2)$（2つの係数を推定したので自由度 $n-2$）。傾き $b$ の標準誤差は $\mathrm{SE}(b)=\hat\sigma/\sqrt{\sum(x_i-\bar x)^2}$ で、

$$t=\frac{b-\beta_0}{\mathrm{SE}(b)}\sim t(n-2)$$

通常 $H_0:\beta=0$（$x$ は $y$ に影響しない）を検定します。ソフトの出力（推定値、標準誤差、t値、p値）を読めるようにしておきます。

残差の確認

残差プロットで、残差が $\hat y$ によらずランダムに散らばっていれば妥当。曲線のパターンがあれば線形モデルが不適切、扇形に広がれば等分散性が崩れています。

重回帰分析

説明変数が複数になると、「他の変数を一定にしたときの効果」が読めるようになります。その分、落とし穴も増えます。

モデルと偏回帰係数

$$y_i=\beta_0+\beta_1x_{1i}+\beta_2x_{2i}+\dots+\beta_kx_{ki}+\varepsilon_i$$

$\beta_j$ は偏回帰係数で、「他の説明変数を固定して $x_j$ を 1 増やしたときの $y$ の変化」です。単回帰の係数とは意味が違います（単回帰では他の変数の影響が混ざる）。推定は最小二乗法、各係数の検定は $t=b_j/\mathrm{SE}(b_j)\sim t(n-k-1)$ です。

自由度調整済み決定係数

説明変数を増やすと $R^2$ は（無意味な変数でも）必ず増えます。変数の数 $k$ で罰則をつけたのが

$$\bar R^2=1-\frac{S_E/(n-k-1)}{S_T/(n-1)}$$

モデル比較には $\bar R^2$、あるいは AIC（第3部）を使います。

回帰の分散分析表とF検定

$H_0:\beta_1=\dots=\beta_k=0$（どの変数も効かない）を $F(k,\,n-k-1)$ で検定します。

ダミー変数

質的変数（性別、地域）は 0/1 のダミー変数にして投入します。$c$ 個のカテゴリには $c-1$ 個のダミーを使い、残り1つが基準になります（全部入れると多重共線性で解けなくなる）。ダミーの係数は「基準カテゴリとの差」です。

多重共線性

説明変数どうしが強く相関していると、係数の推定が不安定（標準誤差が巨大、符号が逆転）になります。指標は $\mathrm{VIF}_j=1/(1-R_j^2)$（$R_j^2$ は $x_j$ を他の説明変数で回帰した決定係数）で、10 を超えると要注意です。

分散分析（一元配置）

3群以上の平均を一度に比べるとき、t検定を繰り返すと第一種の誤りが膨らみます。「群間のばらつき」と「群内のばらつき」の比で判断するのが分散分析です。

モデル

$k$ 群、群 $i$ に $n_i$ 個の観測 $y_{ij}=\mu_i+\varepsilon_{ij}$、$\varepsilon_{ij}\sim N(0,\sigma^2)$ i.i.d.。$H_0:\mu_1=\dots=\mu_k$、$H_1$：少なくとも1つ異なる。

平方和の分解

$$\underbrace{\sum_{i}\sum_{j}(y_{ij}-\bar y)^2}_{S_T}=\underbrace{\sum_i n_i(\bar y_i-\bar y)^2}_{S_A\ \text{（群間）}}+\underbrace{\sum_i\sum_j(y_{ij}-\bar y_i)^2}_{S_E\ \text{（群内）}}$$

$H_0$ のもとで $F\sim F(k-1,\,n-k)$。$V_E$ は $\sigma^2$ の不偏推定量、$V_A$ は $H_0$ のもとでのみ $\sigma^2$ の不偏推定量で、群間に差があると大きくなります。したがって $F$ が大きいとき棄却（右片側）。

棄却された後：多重比較

分散分析は「どこかに差がある」としか言いません。どの群間に差があるかは、有意水準を調整した多重比較（ボンフェローニ法：各比較を $\alpha/m$ で行う、テューキー法など）で調べます。詳しくは第4部で扱います。

二元配置への拡張

要因が2つ（肥料×品種）なら、平方和を 要因A・要因B・交互作用・誤差 に分解します。交互作用とは「Aの効果がBの水準によって変わる」ことです。繰り返しがないと交互作用は誤差と分離できません。第4部で詳述します。

標本サイズ設計と有限母集団修正

調査を設計するときに必ず聞かれる「何人調べればよいか」。そして「母集団が小さいときは？」に答えます。

精度から標本サイズを決める

検定用の式は、「$H_0$ の分布の上側 $\alpha$ 点」と「$H_1$ の分布の下側 $\beta$ 点」が一致する条件 $\mu_0+z_\alpha\sigma/\sqrt n=\mu_1-z_\beta\sigma/\sqrt n$ から導けます。両側なら $z_\alpha$ を $z_{\alpha/2}$ に替えます。

有限母集団修正

母集団の大きさ $N$ が標本 $n$ に比べてあまり大きくないとき、非復元抽出では標本平均の分散が小さくなります：

$$\Var(\bar X)=\frac{\sigma^2}{n}\cdot\frac{N-n}{N-1}$$

$n/N$（抽出率）が 5％ 未満なら無視して構いません。$n=N$ なら分散 0（全数調査）になります。

層化抽出の推定

層 $h$ の大きさ $N_h$、標本平均 $\bar x_h$ のとき、母平均の推定量は $\bar x_{st}=\sum_h\frac{N_h}{N}\bar x_h$。層内が均質なら単純無作為抽出より分散が小さくなります。標本の配分は、層の大きさに比例させる比例配分（$n_h\propto N_h$）と、層内標準偏差も考慮するネイマン配分（$n_h\propto N_h\sigma_h$）があります。

2級総合演習：問題の型と解き方

2級の出題はパターン化されています。典型的な設問を通しで解き、「どの公式をどの順で使うか」を体に入れます。

2級の解答チェックリスト

• 母数は既知か未知か（$z$ か $t$ か）。
• 片側か両側か。棄却域の向きは統計量の意味から決める（$\chi^2$、$F$ は右側）。
• 自由度：$t$ は $n-1$、2標本は $n_1+n_2-2$、回帰は $n-k-1$、分割表は $(r-1)(c-1)$。
• 比率の検定の標準誤差は $p_0$、信頼区間は $\hat p$。
• 「棄却できない」は「$H_0$ が正しい」ではない。

確率空間と確率変数の再整理

2級までは「確率＝場合の数の比」で済みました。ここからは連続分布を自在に扱うため、分布関数と密度関数を軸に言葉を整え直します。

確率空間

確率は三つ組 $(\Omega,\mathcal F,P)$ で定義されます。$\Omega$ は標本空間、$\mathcal F$ は「確率を測れる事象の集まり」（σ加法族：補集合と可算和で閉じている）、$P$ は $P(\Omega)=1$ と可算加法性 $P(\bigcup A_i)=\sum P(A_i)$（$A_i$ 排反）を満たす関数です。2級の「基本性質」を公理として置き直したものにすぎませんが、「可算」個の和まで許すことが連続分布の議論を支えます（詳細は第5部）。

確率変数と分布関数

離散型では $F$ は階段関数で、跳びの大きさが $P(X=x)$。連続型では $F$ は連続で、$f(x)=F'(x)$ が確率密度関数です。連続型では $P(X=x)=0$ なので、$P(a\le X\le b)=P(a<X<b)$。

$$P(a\le X\le b)=\int_a^b f(x)\,dx,\qquad \int_{-\infty}^\infty f(x)\,dx=1,\qquad f(x)\ge0$$

密度は確率ではありません（1 を超えてもよい）。$f(x)\,dx$ が「$x$ 付近の幅 $dx$ に入る確率」です。

分位点と生存関数

$F(x_p)=p$ を満たす $x_p$ を$p$ 分位点（$F^{-1}(p)$）と呼びます。中央値は $x_{0.5}$。$S(x)=1-F(x)=P(X>x)$ を生存関数といい、寿命解析で主役になります。

変数変換の入口

$Y=g(X)$（$g$ 単調増加）の分布関数は $F_Y(y)=P(g(X)\le y)=F_X(g^{-1}(y))$。微分して

$$f_Y(y)=f_X\big(g^{-1}(y)\big)\,\Big|\frac{d}{dy}g^{-1}(y)\Big|$$

期待値・モーメント・母関数

分布の特徴を「モーメント」で表し、それをまとめて生成する「母関数」を導入します。和の分布や極限定理の証明が、母関数の掛け算に化けます。

歪度 $\mu_3/\sigma^3$ は分布の非対称さ（正なら右に裾）、尖度 $\mu_4/\sigma^4$ は裾の重さ（正規分布で 3。3 を引いた値を使う流儀もある）を表します。

積率母関数（MGF）

MGF の重要な性質：(1) 分布を一意に定める。(2) 独立な $X,Y$ に対し $M_{X+Y}(t)=M_X(t)M_Y(t)$。(3) $M_{aX+b}(t)=e^{bt}M_X(at)$。

確率母関数と特性関数

非負整数値の $X$ には確率母関数 $G(s)=\E[s^X]=\sum p_k s^k$ が便利で、$G'(1)=\E[X]$、$G''(1)=\E[X(X-1)]$。MGF が存在しない分布（コーシー分布など）もあるため、理論では常に存在する特性関数 $\varphi(t)=\E[e^{itX}]$ を使います（第5部）。

キュムラント

$K(t)=\ln M(t)$ をキュムラント母関数といい、$K'(0)=\mu$、$K''(0)=\sigma^2$、$K'''(0)=\mu_3$。独立な和ではキュムラントが単純に足されるので、中心極限定理の直感（3次以上のキュムラントが $n^{-1/2}$ 以下で消える）を与えます。

確率分布カタログ

準1級では 20 種近い分布が登場します。「どう作られるか」「どの分布とつながるか」で整理すると、暗記量は激減します。

離散分布

負の二項分布はポアソンの平均 $\lambda$ にガンマ分布のばらつきを入れた（ガンマ・ポアソン混合）分布としても得られ、分散が平均より大きい「過分散」データの標準モデルです。

連続分布

$\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}dx$、$\Gamma(n)=(n-1)!$、$\Gamma(1/2)=\sqrt\pi$、$B(\alpha,\beta)=\Gamma(\alpha)\Gamma(\beta)/\Gamma(\alpha+\beta)$。

分布どうしの関係

• $Ex(\lambda)=Ga(1,\lambda)$、独立な $Ex(\lambda)$ の $n$ 個の和は $Ga(n,\lambda)$（アーラン分布）。
• $\chi^2(k)=Ga(k/2,\,1/2)$。$Z^2\sim\chi^2(1)$。
• $X\sim Ga(\alpha,\lambda),\ Y\sim Ga(\beta,\lambda)$ 独立なら $X/(X+Y)\sim Be(\alpha,\beta)$、しかも $X+Y$ と独立。
• $t(1)$＝コーシー分布。$t(k)$ は $k\to\infty$ で正規、$F(k_1,k_2)$ は $k_2\to\infty$ で $\chi^2(k_1)/k_1$。
• $Be(1,1)=U(0,1)$。一様乱数の順序統計量はベータ分布（次々章）。
• ワイブルは $k=1$ で指数分布。ハザードが $t^{k-1}$ に比例（$k>1$ で摩耗故障型）。

多変量分布：同時・周辺・条件付き・多変量正規

複数の確率変数をまとめて扱う言葉です。回帰・多変量解析・ベイズ統計のすべての基礎で、特に多変量正規分布の条件付き分布は繰り返し使います。

同時分布・周辺分布・条件付き分布

同時密度 $f(x,y)$ に対して、周辺密度 $f_X(x)=\int f(x,y)\,dy$、条件付き密度 $f(y\mid x)=f(x,y)/f_X(x)$。独立とは $f(x,y)=f_X(x)f_Y(y)$ がすべての $(x,y)$ で成り立つことです。

共分散行列

確率ベクトル $\bm X=(X_1,\dots,X_p)^\top$ の平均ベクトル $\bm\mu=\E[\bm X]$、共分散行列 $\Sigma=\E[(\bm X-\bm\mu)(\bm X-\bm\mu)^\top]$（$(i,j)$ 成分が $\Cov(X_i,X_j)$）。対称かつ半正定値。線形変換 $\bm Y=A\bm X+\bm b$ に対して

$$\E[\bm Y]=A\bm\mu+\bm b,\qquad \Cov(\bm Y)=A\Sigma A^\top$$

多変量正規分布 $N_p(\bm\mu,\Sigma)$

$$f(\bm x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\Big\{-\frac12(\bm x-\bm\mu)^\top\Sigma^{-1}(\bm x-\bm\mu)\Big\}$$

2変量の場合、$\E[Y\mid X=x]=\mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X)$、$\Var(Y\mid X=x)=\sigma_Y^2(1-\rho^2)$。条件付き平均が $x$ の直線になる、これが「回帰」の語源です（平均への回帰）。条件付き分散は $\rho^2$ の分だけ減り、$1-\rho^2$ が「説明されない割合」です。

変数変換・畳み込み・順序統計量

「統計量の分布を求める」ための計算技術です。準1級の記述問題はしばしばここから出題されます。

多変量の変数変換（ヤコビアン）

和の分布（畳み込み）

独立な $X,Y$ の和 $S=X+Y$ の密度は

$$f_S(s)=\int f_X(x)f_Y(s-x)\,dx$$

実務では MGF の積の方が早いですが、一様分布の和（三角分布）など MGF が扱いにくい場合は畳み込みで計算します。比 $X/Y$ や積 $XY$ の分布は、補助変数 $V=Y$ を加えて2変数変換し、周辺化して求めます。$t$ 分布や $F$ 分布の密度はこの手順で導出されます。

順序統計量

i.i.d. な $X_1,\dots,X_n$（分布関数 $F$、密度 $f$）を並べ替えた $X_{(1)}\le\dots\le X_{(n)}$ を順序統計量といいます。

$U(0,1)$ の場合、$U_{(k)}\sim Be(k,\,n-k+1)$、$\E[U_{(k)}]=k/(n+1)$。指数分布 $Ex(\lambda)$ の最小値は $Ex(n\lambda)$（並列でない直列システムの寿命）。

収束の種類とデルタ法

「$n$ が大きいとき近似的に正規」を厳密に語る言葉と、推定量の関数の分布を求める万能道具（デルタ法）を身につけます。

大数の法則は $\bar X_n\xrightarrow{p}\mu$（弱法則）または $\xrightarrow{a.s.}$（強法則）、中心極限定理は $\sqrt n(\bar X_n-\mu)/\sigma\xrightarrow{d}N(0,1)$ です。

スラツキーの定理により、$\sigma$ を一致推定量 $U_n$ で置き換えた $\sqrt n(\bar X_n-\mu)/U_n$ も $N(0,1)$ に分布収束します。「$n$ が大きければ $t$ でも $z$ でもよい」の根拠です。

分散安定化変換

分散が平均に依存する（$\Var\propto\mu$ など）とき、$g'(\mu)^2\sigma^2(\mu)$ が定数になる $g$ を選ぶと分散が一定になります。ポアソンなら $\sqrt x$、二項なら $\arcsin\sqrt{\hat p}$、相関係数なら $\frac12\ln\frac{1+r}{1-r}$（フィッシャーの $z$ 変換、分散 $\approx1/(n-3)$）。

最尤法：尤度・スコア・フィッシャー情報量

現代統計学の中心的な推定原理です。「どうやって推定値を出すか」だけでなく、「その推定値はどれだけ正確か」まで一つの枠組みで答えられます。

実用上は $\hat\theta\approx N(\theta,\ 1/(nI(\hat\theta)))$ とし、標準誤差 $\mathrm{SE}=1/\sqrt{nI(\hat\theta)}$、信頼区間 $\hat\theta\pm z_{\alpha/2}\mathrm{SE}$ を作ります。観測情報量 $-\ell''(\hat\theta)$ で代用することも多いです。

数値的な最尤法

解析的に解けないときはニュートン・ラフソン法 $\theta^{(k+1)}=\theta^{(k)}-\ell''(\theta^{(k)})^{-1}\ell'(\theta^{(k)})$ や、$\ell''$ を $-nI$ で置き換えるフィッシャー・スコアリングを使います。欠測や潜在変数があるときは EM アルゴリズム（第4部）です。

推定量の良さ：クラメール・ラオと十分統計量

「これ以上精度を上げられない限界」と「データのどの部分に情報があるか」。推定理論の二本柱を、準1級に必要な範囲で扱います（厳密版は第6部）。

下限は「不偏」の枠内の話です。偏りを許せば MSE がもっと小さい推定量が存在することがあります（例：正規分散の推定で $n+1$ で割るもの、縮小推定量）。

指数型分布族

密度が $f(x;\theta)=h(x)\exp\{\eta(\theta)T(x)-A(\theta)\}$ と書ける分布（正規・二項・ポアソン・ガンマ・ベータ…）を指数型分布族といいます。$\sum T(x_i)$ が自動的に十分統計量になり、一般化線形モデル（第4部）の土台にもなります。

検定論入門：尤度比・ワルド・スコア検定

2級の検定はすべて「正規分布からの統計量」でした。最尤法をベースにすると、どんなモデルでも同じ型で検定が作れます。

三つの漸近的検定

$H_0:\theta=\theta_0$ に対して、MLE $\hat\theta$ を使う三つの統計量はいずれも $H_0$ のもとで漸近的に $\chi^2(1)$ に従います。

尤度比は「$H_0$ に縛ったときと自由なときの対数尤度の差」、ワルドは「MLE と $\theta_0$ の距離を標準誤差で測る」、スコアは「$\theta_0$ での傾きの大きさ」。同じことを三方向から測っており、$n\to\infty$ で一致します。スコア検定は $H_0$ のもとでの計算だけで済む（MLE 不要）のが利点です。

2級で「検定では $p_0$、区間では $\hat p$」と習った違いは、スコア型とワルド型の違いだったわけです。

ネストしたモデルの比較

説明変数を追加したモデル（フル）と、追加しないモデル（縮約）は「縮約 ⊂ フル」の関係にあり、追加した係数が 0 という制約 $r$ 個の検定になります。$2(\ell_{\text{full}}-\ell_{\text{reduced}})\sim\chi^2(r)$。GLM の逸脱度の差の検定はこれです。線形回帰では $F$ 検定に対応します。

多重検定の入口

$m$ 個の独立な検定をそれぞれ有意水準 $\alpha$ で行うと、少なくとも1つで第一種の誤りが起こる確率（ファミリーワイズ誤り率）は $1-(1-\alpha)^m$。$m=20$、$\alpha=0.05$ で 64％ にもなります。ボンフェローニ法は各検定を $\alpha/m$ で行い、FWER を $\alpha$ 以下に抑えます。詳細は第4部。

線形代数の準備：行列・固有値・二次形式・射影

準1級以降、回帰も多変量解析も行列で書かれます。必要な道具は多くありません。ここにある事実を使える状態にしておきます。

基本演算

$(AB)^\top=B^\top A^\top$、$(AB)^{-1}=B^{-1}A^{-1}$、$\mathrm{tr}(AB)=\mathrm{tr}(BA)$、$|AB|=|A||B|$。ベクトル $\bm a,\bm b$ について $\bm a^\top\bm b$ は内積（スカラー）、$\bm a\bm b^\top$ は行列。$\|\bm a\|^2=\bm a^\top\bm a$。

対称行列の固有値分解

共分散行列は対称・半正定値（すべての固有値 $\ge0$）。固有ベクトルが主成分の方向、固有値がその方向の分散になります（第4部）。$A^{1/2}=V\Lambda^{1/2}V^\top$、$A^{-1}=V\Lambda^{-1}V^\top$。

二次形式

$Q(\bm x)=\bm x^\top A\bm x=\sum_{i,j}a_{ij}x_ix_j$。$A$ が正定値（$Q>0$ for $\bm x\ne\bm0$）$\iff$ 固有値がすべて正。$\bm X\sim N_p(\bm\mu,\Sigma)$ のとき

$$(\bm X-\bm\mu)^\top\Sigma^{-1}(\bm X-\bm\mu)\sim\chi^2(p)$$

これがマハラノビス距離の2乗で、判別分析・外れ値検出・信頼楕円で使います。期待値の公式 $\E[\bm X^\top A\bm X]=\mathrm{tr}(A\Sigma)+\bm\mu^\top A\bm\mu$ も頻用します。

射影行列

$P^2=P$、$P^\top=P$ を満たす行列を射影行列（直交射影）といいます。固有値は 0 か 1、$\mathrm{rank}(P)=\mathrm{tr}(P)$。$X$（$n\times p$、フルランク）の列空間への射影は

$$P_X=X(X^\top X)^{-1}X^\top,\qquad I-P_X\ \text{は直交補空間への射影}$$

行列微分

$\dfrac{\partial}{\partial\bm\beta}\bm a^\top\bm\beta=\bm a$、$\dfrac{\partial}{\partial\bm\beta}\bm\beta^\top A\bm\beta=2A\bm\beta$（$A$ 対称）。最小二乗法の導出に使います。

線形回帰の行列表現とガウス・マルコフの定理

2級の回帰を行列で書き直すと、単回帰も重回帰も一つの式になり、係数の分散・残差の性質・検定の自由度がすべて機械的に出てきます。

モデル

$$\bm y=X\bm\beta+\bm\varepsilon,\qquad \E[\bm\varepsilon]=\bm0,\quad\Cov(\bm\varepsilon)=\sigma^2I$$

$\bm y$ は $n\times1$、$X$ は $n\times(k+1)$（第1列は 1）、$\bm\beta$ は $(k+1)\times1$。

導出：$\partial/\partial\bm\beta\{\bm y^\top\bm y-2\bm\beta^\top X^\top\bm y+\bm\beta^\top X^\top X\bm\beta\}=-2X^\top\bm y+2X^\top X\bm\beta=\bm0$。共分散は $\Cov(A\bm y)=A\,\sigma^2I\,A^\top$ に $A=(X^\top X)^{-1}X^\top$ を入れて得られます。

ハット行列と残差

$\hat{\bm y}=X\hat{\bm\beta}=H\bm y$、$H=X(X^\top X)^{-1}X^\top$（ハット行列、射影行列）。残差 $\bm e=(I-H)\bm y$、$X^\top\bm e=\bm0$（残差は説明変数と直交）。

$$\E[\bm e^\top\bm e]=\sigma^2\,\mathrm{tr}(I-H)=\sigma^2(n-k-1)\quad\Rightarrow\quad \hat\sigma^2=\frac{\bm e^\top\bm e}{n-k-1}\ \text{は不偏}$$

$H$ の対角成分 $h_{ii}$ はてこ比（レバレッジ）で、$\sum h_{ii}=k+1$。大きい $h_{ii}$ をもつ点は説明変数空間で孤立しており、回帰直線を引っ張る力が強い（影響点）。クックの距離 $D_i=\frac{e_i^2}{(k+1)\hat\sigma^2}\cdot\frac{h_{ii}}{(1-h_{ii})^2}$ が影響の指標です。

正規誤差のもとでの分布

$\bm\varepsilon\sim N_n(\bm0,\sigma^2I)$ なら $\hat{\bm\beta}\sim N(\bm\beta,\sigma^2(X^\top X)^{-1})$、$(n-k-1)\hat\sigma^2/\sigma^2\sim\chi^2(n-k-1)$、両者は独立。ゆえに $\dfrac{\hat\beta_j-\beta_j}{\hat\sigma\sqrt{[(X^\top X)^{-1}]_{jj}}}\sim t(n-k-1)$。

一般化最小二乗

$\Cov(\bm\varepsilon)=\sigma^2\Omega$（不等分散や相関あり）なら $\hat{\bm\beta}_{GLS}=(X^\top\Omega^{-1}X)^{-1}X^\top\Omega^{-1}\bm y$ が BLUE。$\Omega$ が対角なら重み付き最小二乗です。不等分散が疑われるときは、OLS のまま標準誤差だけ頑健にする（ホワイトの修正）方法も広く使われます。

モデル選択：AIC・BIC・交差検証

変数を増やせば当てはまりは必ず良くなります。「新しいデータに対する予測の良さ」を基準にモデルを選ぶ考え方を学びます。

過学習とバイアス・バリアンス

予測誤差の期待値は（既約誤差）＋（バイアス）²＋（分散）に分解できます。複雑なモデルはバイアスが小さく分散が大きい。両者のバランス点がちょうどよい複雑さです。

AIC は「新しいデータに対する対数尤度の期待値」の推定値で、最大対数尤度の楽観的な偏りを $k$ だけ補正したものです（カルバック・ライブラー情報量に基づく）。BIC はベイズ的な周辺尤度の近似で、$n\ge8$ なら罰則が AIC より重く、より単純なモデルを選びます。真のモデルが候補に含まれるなら BIC は一致性をもち、予測重視なら AIC、と使い分けます。

正規誤差の回帰では $-2\ell(\hat\theta)=n\ln(\mathrm{RSS}/n)+\text{定数}$ なので、$\mathrm{AIC}=n\ln(\mathrm{RSS}/n)+2k$（＋定数）です。

交差検証

データを $K$ 個に分割し、$K-1$ 個で学習して残り 1 個で予測誤差を測ることを $K$ 回繰り返す（$K$-分割交差検証、通常 $K=5,10$）。$K=n$ なら leave-one-out（LOO）で、線形回帰では $\sum\big(\frac{e_i}{1-h_{ii}}\big)^2/n$ と一発で計算できます（PRESS 統計量）。

交差検証はモデルの形（線形か木か）を問わず使える一方、計算量が多く、時系列では時間順序を守った分割が必要です。

変数選択の手続き

変数増加法・減少法・ステップワイズは AIC などを基準に変数を出し入れします。ただし選択後の p 値は本来の意味を失う（選択バイアス）ことに注意。正則化（Lasso、第4部）は係数の縮小と選択を同時に行う現代的な方法です。

シミュレーションと再標本化：乱数・モンテカルロ・ブートストラップ

式で解けない分布や標準誤差も、計算機で「何度も試す」ことで求められます。準1級の重要トピックです。

乱数の生成

• 逆関数法：$U\sim U(0,1)$ から $X=F^{-1}(U)$。指数分布 $-\ln U/\lambda$、離散分布にも使える。
• 棄却法：目標密度 $f$ を、生成しやすい $g$ と定数 $M$（$f\le Mg$）で覆い、$Y\sim g$、$U\sim U(0,1)$ を生成して $U\le f(Y)/\{Mg(Y)\}$ なら採用。採択率は $1/M$。
• ボックス・ミュラー法：一様乱数2個から正規乱数2個。
• 多変量正規：$\bm Z\sim N(\bm0,I)$ に $\Sigma=LL^\top$（コレスキー分解）を使って $\bm\mu+L\bm Z$。

モンテカルロ積分

$\E[g(X)]=\int g(x)f(x)dx$ を $\frac1N\sum g(X_i)$（$X_i\sim f$）で近似します。誤差は $O(1/\sqrt N)$ で次元によらないのが強みです。分散を減らす工夫として、対照変量、負の相関をもつ対称乱数（antithetic）、重点サンプリング $\E_f[g]=\E_q[g f/q]$ があります。

「経験分布を母集団の代わりに使う」のが考え方です。中央値や相関係数、比のように標準誤差の公式が複雑な統計量に威力を発揮します。パラメトリック・ブートストラップは、推定したモデル $f(x;\hat\theta)$ から再標本を生成します。

並べ替え検定

2群の差の検定で、群ラベルをランダムに並べ替えて統計量を計算し直すことを繰り返し、観測値以上に極端な割合を p 値とします。分布の仮定がいらない正確な検定です。

ノンパラメトリック検定

正規分布を仮定できないとき、順位や符号だけで検定します。外れ値に強く、順序尺度のデータにも使えます。

符号検定

中央値 $m_0$ の検定。$X_i-m_0$ の符号が正の個数 $S$ は $H_0$ のもとで $B(n,1/2)$。対応のある2標本では差の符号を使います。情報を符号しか使わないので検出力は低めです。

ウィルコクソンの符号付き順位検定

対応のあるデータの差 $d_i$（分布が対称と仮定）について、$|d_i|$ に順位をつけ、正の $d_i$ の順位和 $T^+$ を統計量とします。$H_0$ のもとで $\E[T^+]=\frac{n(n+1)}4$、$\Var(T^+)=\frac{n(n+1)(2n+1)}{24}$ で、$n\ge20$ 程度なら正規近似します。

マン・ホイットニーのU検定（ウィルコクソンの順位和検定）

独立な2群（$m,n$ 個）を合わせて順位をつけ、群1の順位和 $W$ を統計量とします。$U=W-\frac{m(m+1)}2$ は「群1の観測が群2の観測より大きいペアの数」で、$H_0$（2群の分布が同じ）のもとで

$$\E[U]=\frac{mn}2,\qquad \Var(U)=\frac{mn(m+n+1)}{12}$$

クラスカル・ウォリス検定

3群以上への拡張（分散分析のノンパラ版）。群 $i$ の順位和 $R_i$、大きさ $n_i$ として

$$H=\frac{12}{N(N+1)}\sum_i\frac{R_i^2}{n_i}-3(N+1)\ \sim\ \chi^2(k-1)$$

対応のあるブロックデザイン（各ブロック内で順位づけ）にはフリードマン検定を使います。

相関のノンパラ版

スピアマンの $\rho$（順位の相関係数）とケンドールの $\tau$（$\frac{\text{一致ペア数}-\text{不一致ペア数}}{\binom n2}$）。$\tau$ は解釈が「順序が一致する確率−一致しない確率」と明快です。

一般化線形モデル（GLM）

正規分布でない応答（回数・比率・正の値）を、線形回帰と同じ枠組みで扱えるようにしたのが GLM です。指数型分布族とリンク関数の二つで全体が決まります。

三つの構成要素

推定：反復重み付き最小二乗

対数尤度をスコア方程式 $\sum_i\frac{(y_i-\mu_i)}{V(\mu_i)g'(\mu_i)}\bm x_i=\bm0$ で解きます。フィッシャー・スコアリングは、作業変数 $z_i=\eta_i+(y_i-\mu_i)g'(\mu_i)$ と重み $w_i=1/\{V(\mu_i)g'(\mu_i)^2\}$ による重み付き最小二乗の反復（IRLS）になります。推定量は漸近正規で $\Cov(\hat{\bm\beta})\approx\phi(X^\top WX)^{-1}$。

ポアソンの逸脱度は $2\sum\{y_i\ln(y_i/\hat\mu_i)-(y_i-\hat\mu_i)\}$、二項（$n_i$ 回中 $y_i$）は $2\sum\{y_i\ln\frac{y_i}{\hat\mu_i}+(n_i-y_i)\ln\frac{n_i-y_i}{n_i-\hat\mu_i}\}$。

残差

ピアソン残差 $r_i=\frac{y_i-\hat\mu_i}{\sqrt{V(\hat\mu_i)}}$、逸脱度残差 $d_i=\mathrm{sign}(y_i-\hat\mu_i)\sqrt{D_i}$。$\sum r_i^2$ がピアソンの $\chi^2$ 統計量で、$\phi$ の推定 $\hat\phi=\sum r_i^2/(n-p)$ にも使います。

ロジスティック回帰

2値の結果（購入する/しない、罹患する/しない）を説明する、実務で最も使われるモデルです。係数の解釈（オッズ比）と予測性能の評価（ROC）まで身につけます。

係数の解釈

$x_j$ を 1 増やすとオッズ $\frac{p}{1-p}$ は $e^{\beta_j}$ 倍になります（オッズ比）。他の変数は固定。$\beta_j>0$ なら確率は上がりますが、確率の変化量は $x$ の位置に依存します（$p=0.5$ 付近で最大 $\beta_j/4$）。

推定と検定

最尤法（IRLS）で推定。各係数はワルド検定 $z=\hat\beta_j/\mathrm{SE}$、モデル比較は逸脱度の差の尤度比検定。完全分離（ある変数で 0/1 が完璧に分かれる）があると MLE は発散します。当てはまりの指標：ホスマー・レメショウ検定、擬似 $R^2$（マクファデン $1-\ell_1/\ell_0$）、AIC。

分類性能：ROC 曲線と AUC

閾値 $c$ で $\hat p\ge c$ を陽性と判定するとき、感度（真陽性率）と特異度（真陰性率）はトレードオフになります。閾値を動かして（1−特異度, 感度）を描いた曲線が ROC 曲線、その下の面積が AUC で、「ランダムに選んだ陽性と陰性のペアで陽性の方に高いスコアがつく確率」に等しく、0.5 がランダム、1 が完全です。

正解率 $\frac{TP+TN}{n}$、適合率 $\frac{TP}{TP+FP}$、再現率（感度）$\frac{TP}{TP+FN}$、F1 値は適合率と再現率の調和平均。不均衡データでは正解率は当てになりません。

拡張

• プロビット回帰：リンクを $\Phi^{-1}(p)$ に。係数は $\times1.6$ 程度でロジットと対応。
• 多項ロジット：$K$ カテゴリで基準カテゴリとの対数オッズ比を $K-1$ 本のモデルで。
• 順序ロジット（比例オッズモデル）：$\ln\frac{P(Y\le j)}{P(Y>j)}=\alpha_j-\bm x^\top\bm\beta$。閾値だけがカテゴリごとに違う。
• 条件付きロジット：マッチドケースコントロール研究に。

ポアソン回帰と過分散

「件数」を説明するモデルです。分散が平均を超える「過分散」への対処が実務の要点になります。

オフセット

観測期間や人口 $t_i$ が異なるとき、率 $\mu_i/t_i$ をモデル化します：$\ln\mu_i=\ln t_i+\bm x_i^\top\bm\beta$。$\ln t_i$ は係数を 1 に固定した項（オフセット）です。疫学の発生率、事故率などで必須です。

過分散

ポアソンは $\Var=\mu$ ですが、実データでは $\Var>\mu$（個体差、集団性）が普通です。目安は 逸脱度／自由度 や ピアソン $\chi^2$／自由度 が 1 を大きく超えること。放置すると標準誤差が過小になり、過剰に有意になります。対処法：

• 準ポアソン：$\Var=\phi\mu$ とし、$\hat\phi=\chi^2/(n-p)$ で標準誤差を $\sqrt{\hat\phi}$ 倍する。
• 負の二項回帰：$\Var=\mu+\alpha\mu^2$。ガンマ・ポアソン混合として尤度ベースで推定。
• ゼロ過剰モデル（ZIP, ZINB）：「構造的ゼロ」と「カウント」の2部モデル。ハードルモデルも同類。

分割表との関係

分割表の各セル度数をポアソンとみなし、行・列・交互作用のダミーで回帰すると対数線形モデルになります（後の章）。独立性の検定は「交互作用なし」モデルの逸脱度の検定と一致します。

指数型分布族のその他の回帰

正の連続値（医療費、降水量）にはガンマ回帰（対数リンク）が便利です。変動係数一定を仮定するので、対数変換した正規回帰と似た結果になりますが、$\E[Y]$ をそのまま扱える利点があります。

実験計画法：二元配置・乱塊法・直交表

「少ない実験回数で、要因の効果を正確に切り分ける」ための設計技術です。分散分析表を自力で組み立てられることが目標です。

二元配置分散分析（繰り返しあり）

要因A（$a$ 水準）、要因B（$b$ 水準）、各組合せ $r$ 回：$y_{ijk}=\mu+\alpha_i+\beta_j+(\alpha\beta)_{ij}+\varepsilon_{ijk}$。

交互作用が有意なら、主効果は単独では解釈できません（Aの効果はBの水準ごとに違う）。繰り返しがない（$r=1$）と $S_E$ の自由度が 0 になるため、交互作用を誤差とみなして検定します。

乱塊法（ランダム化ブロック計画）

局所管理の実装です。似た条件のブロック（畑の区画、日、被験者）の中で処理をランダムに割り当てます。モデルは繰り返しなしの二元配置と同じで、ブロック効果を分離することで誤差分散が小さくなり、処理効果の検出力が上がります。ブロックの検定自体は目的ではありません。

ラテン方格

2つのブロック因子（行と列）を同時に制御し、$k$ 水準の処理を各行・各列に1回ずつ配置。$k^2$ 回の実験で処理・行・列の効果を分離できます（交互作用がないと仮定）。

直交表（一部実施計画）

因子が多いと全組合せ（$2^7=128$ 回）は現実的ではありません。直交表 $L_8(2^7)$ は 8 回の実験に 2 水準の因子を最大 7 個割り付け、主効果を互いに直交（独立）に推定できます。代償として高次の交互作用が主効果と交絡します（$L_8$ では 3 因子交互作用と主効果、2 因子交互作用どうしが交絡）。どの列に割り付けるかは線点図で決めます。

分割法（スプリットプロット）

水準変更が難しい因子（温度）を大きな区画（1次単位）に、変更が容易な因子（材料）を小区画（2次単位）に割り付ける設計。誤差が2種類（1次誤差、2次誤差）あり、1次因子は1次誤差で、2次因子と交互作用は2次誤差で検定します。誤差を取り違えると結論が変わります。

多重比較

検定を繰り返せば「たまたま有意」が必ず混ざります。誤りの総量をどう制御するかで、方法が分かれます。

FWER を制御する方法

• ボンフェローニ：各検定を $\alpha/m$ で。単純だが保守的（検出力が低い）。
• ホルム：p 値を小さい順に $p_{(1)}\le\dots\le p_{(m)}$ と並べ、$p_{(i)}\le\alpha/(m-i+1)$ を順に確認し、最初に満たさない所で止める（ステップダウン）。常にボンフェローニより強力で、同じ仮定で FWER を制御。
• シダック：独立なら $1-(1-\alpha)^{1/m}$。
• テューキー（HSD）：分散分析後の全ペア比較専用。ステューデント化された範囲分布 $q(k,\nu)$ を使い、$|\bar y_i-\bar y_j|>q_\alpha\sqrt{V_E/n}$ で有意。
• ダネット：対照群との比較だけを行うとき。
• シェフェ：任意の対比（線形結合）に対して。最も保守的だが、事後的にどんな対比を見てもよい。

FDR を制御する方法（ベンジャミニ・ホッホバーグ）

p 値を昇順に並べ、$p_{(i)}\le\frac{i}{m}q$ を満たす最大の $i$ を探し、$p_{(1)},\dots,p_{(i)}$ をすべて棄却（ステップアップ）。遺伝子発現のように $m$ が数万のときは FWER 制御では何も見つからないため、FDR が標準です。

分散分析後の実際の手順

全体の F 検定 → 有意なら多重比較（テューキー）。「F検定が有意でなければ多重比較をしない」という保護付き手順（フィッシャーの LSD）は、群数が 3 のときのみ FWER を制御します。

主成分分析

多くの変数を、情報の損失を最小にしながら少数の合成変数に圧縮する方法です。共分散行列の固有値問題そのものです。

導出：$\bm v^\top\bm v=1$ のもとで $\Var(\bm v^\top\bm x)=\bm v^\top\Sigma\bm v$ を最大化。ラグランジュ関数の微分 $2\Sigma\bm v-2\lambda\bm v=\bm0$ から固有方程式 $\Sigma\bm v=\lambda\bm v$ が出て、最大値は最大固有値です。

共分散行列か相関行列か

変数の単位・スケールが違うときは相関行列（各変数を標準化）を使います。共分散行列を使うと、分散の大きい変数が第1主成分を支配します。相関行列では $\sum\lambda_i=p$ なので、「固有値 1 以上の成分を採用」（カイザー基準）や、スクリープロットの折れ曲がりで成分数を決めます。

主成分負荷量と解釈

変数 $x_j$ と主成分 $Z_k$ の相関係数 $r_{jk}=v_{jk}\sqrt{\lambda_k}/\sigma_j$ を主成分負荷量といい（相関行列ベースなら $v_{jk}\sqrt{\lambda_k}$）、各成分の意味づけに使います。第1主成分の係数がすべて同符号なら「総合指標」、符号が分かれれば「対比」と解釈されるのが典型です。バイプロットは個体の主成分得点と変数の負荷ベクトルを重ねて描きます。

特異値分解との関係

中心化データ行列 $X$（$n\times p$）の特異値分解 $X=UDV^\top$ で、$V$ の列が固有ベクトル、$D^2/(n-1)$ が固有値、$UD$ が主成分得点。ランク $k$ での最良近似（フロベニウスノルム）が第 $k$ 主成分までの再構成（エッカート・ヤング）です。

因子分析と構造方程式モデル入門

主成分分析が「変数を要約する」のに対し、因子分析は「変数の背後にある共通の原因（潜在変数）」を仮定するモデルです。心理学・マーケティングで多用されます。

主成分分析には誤差項がなく、分散全体を説明しようとします。因子分析は共通性（共有される分散）だけを因子で説明し、残りは独自因子に押し付けます。

推定と回転

推定法：主因子法、最尤法（正規性のもとで適合度検定 $\chi^2$ が可能）。$m$ 因子モデルの解は回転 $\Lambda T$（$T$ 直交）で不定なので、解釈しやすい単純構造（各変数が少数の因子にだけ高く負荷）を目指して回転します。

• 直交回転：バリマックス（負荷量の2乗の分散を最大化）。因子どうしは無相関のまま。
• 斜交回転：プロマックス、オブリミン。因子間相関を許し、より単純構造になりやすい。負荷量には「パターン行列」と「構造行列」の区別が生じる。

因子数の決定：固有値 1 以上、スクリープロット、平行分析、最尤法の適合度。因子得点はバートレット法や回帰法で推定します。

構造方程式モデル（SEM）

因子分析（測定方程式：潜在変数→観測変数）と回帰（構造方程式：潜在変数間の因果パス）を組み合わせたモデル。パス図で表し、共分散行列のモデル $\Sigma(\theta)$ と標本共分散 $S$ の距離を最小化して推定します。適合度指標：$\chi^2$ 検定（有意でない方が良い）、CFI・TLI（0.95 以上）、RMSEA（0.06 以下）、SRMR。識別性（母数が一意に定まるか）のために、各潜在変数の尺度を固定（負荷量 1 つを 1 にする、または分散を 1）します。確認的因子分析（CFA）は、負荷の構造をあらかじめ指定した因子分析で、SEM の測定モデル部分にあたります。

判別分析

既知のグループに個体を分類するルールを、多変量正規分布とベイズの定理から導きます。線形判別・二次判別・マハラノビス距離が要点です。

ベイズ判別

群 $k$ の事前確率 $\pi_k$、密度 $f_k(\bm x)$。観測 $\bm x$ を事後確率 $P(k\mid\bm x)\propto\pi_kf_k(\bm x)$ が最大の群に分類すれば、誤分類確率（期待損失）が最小になります。

共分散が群ごとに異なる（$\Sigma_k$）なら、$\ln|\Sigma_k|$ と二次項が残る二次判別分析（QDA）になり、境界は二次曲面です。母数が多いので小標本では LDA が安定します。

マハラノビス距離

$$D^2(\bm x,\bm\mu_k)=(\bm x-\bm\mu_k)^\top\Sigma^{-1}(\bm x-\bm\mu_k)$$

事前確率が等しければ LDA は「マハラノビス距離が最も近い群に分類」と同じです。分散の大きい方向の差を割り引き、変数間の相関も考慮した距離です。2群の平均間のマハラノビス距離 $\Delta$ に対し、共分散共通の正規のもとで誤分類率は $\Phi(-\Delta/2)$ です。

フィッシャーの判別基準

正規性を仮定せず、「群間分散／群内分散」$\dfrac{(\bm w^\top(\bm\mu_1-\bm\mu_2))^2}{\bm w^\top\Sigma_W\bm w}$ を最大にする $\bm w$ を求めると同じ $\Sigma_W^{-1}(\bm\mu_1-\bm\mu_2)$ が得られます。多群では一般化固有値問題 $\Sigma_B\bm w=\lambda\Sigma_W\bm w$ となり、複数の判別軸（正準判別）が得られます。

評価

学習データでの誤分類率（再代入法）は楽観的なので、交差検証や leave-one-out で評価します。ロジスティック回帰との違い：LDA は $\bm x$ の分布を仮定して事後確率を計算する生成モデル、ロジスティックは $P(k\mid\bm x)$ を直接モデル化する識別モデルです。正規性が成り立てば LDA が効率的、外れ値があればロジスティックが頑健です。

クラスター分析と混合分布・EMアルゴリズム

ラベルのないデータを「似たもの同士」にまとめる教師なし学習です。距離ベースの手法と、確率モデル（混合分布）ベースの手法を扱います。

階層的クラスタリング

各個体を1クラスタから出発し、最も近い2クラスタを併合していく（凝集型）。結果はデンドログラム（樹形図）で表し、切る高さでクラスタ数を決めます。クラスタ間距離の定義：

• 最短距離法（単連結）：最も近いペアの距離。鎖状になりやすい。
• 最長距離法（完全連結）：最も遠いペアの距離。球状のクラスタ。
• 群平均法：全ペアの平均距離。
• ウォード法：併合による群内平方和の増加が最小のペアを併合。最も広く使われる。
• 重心法：重心間距離。デンドログラムが逆転することがある。

距離はユークリッド、マンハッタン、標準化後のユークリッドなど。変数のスケールが違えば標準化が必須です。

k-means 法

クラスタ数 $k$ を固定し、(1) 各点を最も近い中心に割り当て、(2) 各クラスタの平均を新しい中心とする、を収束まで反復。群内平方和 $\sum_k\sum_{i\in C_k}\|\bm x_i-\bar{\bm x}_k\|^2$ を局所的に最小化します。初期値依存が強いので複数回走らせ、$k$ はエルボー法やシルエット係数 $\frac{b-a}{\max(a,b)}$（$a$：同クラスタ内平均距離、$b$：最も近い他クラスタへの平均距離）で選びます。

EM は「完全データ（$\bm x,z$）の対数尤度の条件付き期待値 $Q(\theta\mid\theta^{(t)})$ を最大化する」一般的な手続きで、欠測データ、隠れマルコフモデル、因子分析などにも使われます。k-means は「$\Sigma_k=\sigma^2I$、$\sigma\to0$ の正規混合の EM」（ハード割り当て）と見なせます。成分数 $K$ は BIC で選ぶのが標準です。

時系列解析①：定常性・自己相関・ARMA

時間的に依存するデータのモデル化。「定常」という前提と、自己相関でモデルを識別する手順が中心です。

ホワイトノイズ $\varepsilon_t$：平均 0、分散 $\sigma^2$、無相関の系列。すべてのモデルの部品です。標本自己相関の 95％ 帯は $\pm1.96/\sqrt n$。系列全体が白色かはリュング・ボックス検定 $Q=n(n+2)\sum_{k=1}^h\frac{\hat\rho_k^2}{n-k}\sim\chi^2(h)$ で確かめます。

AR モデル

$$\text{AR}(p):\ y_t=c+\phi_1y_{t-1}+\dots+\phi_py_{t-p}+\varepsilon_t$$

AR(1) は $|\phi_1|<1$ で定常、$\mu=c/(1-\phi_1)$、$\gamma_0=\sigma^2/(1-\phi_1^2)$、$\rho_k=\phi_1^k$（幾何的に減衰）。一般の AR($p$) の定常条件は特性方程式 $1-\phi_1z-\dots-\phi_pz^p=0$ の根がすべて単位円の外にあること。自己相関はユール・ウォーカー方程式 $\rho_k=\phi_1\rho_{k-1}+\dots+\phi_p\rho_{k-p}$ で決まり、母数の推定にも使えます。

MA モデル

$$\text{MA}(q):\ y_t=\mu+\varepsilon_t+\theta_1\varepsilon_{t-1}+\dots+\theta_q\varepsilon_{t-q}$$

常に定常。ACF はラグ $q$ で切断（$\rho_k=0$ for $k>q$）。MA(1) では $\rho_1=\theta_1/(1+\theta_1^2)$、$|\rho_1|\le0.5$。反転可能性（$|\theta_1|<1$）があれば AR($\infty$) に書き直せ、母数が一意になります。

ARMA と識別

ARMA($p,q$) は AR 項と MA 項を併せ持ち、少ない母数で複雑な相関を表せます。次数は ACF/PACF の形と AIC で選び、残差が白色になっているかを確認します。予測は条件付き期待値で、AR(1) の $h$ 期先予測 $\hat y_{t+h}=\mu+\phi_1^h(y_t-\mu)$ は平均に回帰していきます。

時系列解析②：ARIMA・季節性・状態空間・スペクトル

非定常な現実のデータに ARMA を適用するための差分、季節モデル、そしてより柔軟な状態空間モデルと周波数領域の見方を学びます。

単位根と差分

$y_t=y_{t-1}+\varepsilon_t$（ランダムウォーク）は $\phi=1$ の AR(1) で、分散が $t\sigma^2$ と増大する非定常過程です。差分 $\Delta y_t=y_t-y_{t-1}$ は定常（白色）になります。このように $d$ 階差分で定常になる系列を$d$ 次和分 $I(d)$ といい、単位根の有無はディッキー・フラー検定（$\Delta y_t=\rho y_{t-1}+\dots$ で $H_0:\rho=0$、臨界値は通常の $t$ 分布と異なる）で調べます。

ARIMA と SARIMA

ARIMA($p,d,q$)：$d$ 階差分に ARMA($p,q$) を当てはめる。ラグ演算子 $B$（$By_t=y_{t-1}$）で $\phi(B)(1-B)^dy_t=\theta(B)\varepsilon_t$。季節周期 $s$（月次なら 12）の成分を加えた SARIMA($p,d,q$)($P,D,Q$)$_s$ は

$$\phi(B)\Phi(B^s)(1-B)^d(1-B^s)^Dy_t=\theta(B)\Theta(B^s)\varepsilon_t$$

航空旅客数の古典的モデルは ARIMA(0,1,1)(0,1,1)$_{12}$（対数変換後）です。ボックス・ジェンキンス法：変換・差分で定常化 → ACF/PACF・AIC で次数選択 → 最尤推定 → 残差診断 → 予測。

指数平滑法

単純指数平滑 $\hat y_{t+1}=\alpha y_t+(1-\alpha)\hat y_t$ は ARIMA(0,1,1) と同値。トレンドを加えたホルト法、季節性も加えたホルト・ウィンタース法は実務で広く使われます。

状態空間モデルとカルマンフィルタ

$$\text{観測方程式 } y_t=Z_t\bm\alpha_t+\varepsilon_t,\qquad \text{状態方程式 } \bm\alpha_{t+1}=T_t\bm\alpha_t+\bm\eta_t$$

観測できない状態（水準・トレンド・季節）を確率的に動かすモデル。ローカルレベルモデル $y_t=\mu_t+\varepsilon_t$、$\mu_{t+1}=\mu_t+\eta_t$ が最も単純です。カルマンフィルタは、予測 → 観測による更新 を逐次繰り返して状態の条件付き平均と分散を計算し、尤度も副産物として得られます。欠測や時変係数、多変量にも自然に対応します。

スペクトル解析

自己共分散のフーリエ変換 $f(\omega)=\frac1{2\pi}\sum_k\gamma_ke^{-ik\omega}$ をスペクトル密度といい、「どの周波数の周期成分が分散にどれだけ寄与するか」を表します。白色ノイズは平坦、AR(1)（$\phi>0$）は低周波が強い。標本版がピリオドグラムで、周期性の検出に使います。

GARCH（分散の時系列）

金融収益率は平均は無相関でも分散がクラスター化します。GARCH(1,1)：$\sigma_t^2=\omega+\alpha\varepsilon_{t-1}^2+\beta\sigma_{t-1}^2$。ボラティリティ予測に用います。

生存時間解析

「イベントが起こるまでの時間」を扱う分野です。観察が終わってもイベントが起きていない打ち切りを正しく扱うことがすべての出発点です。

指数分布はハザード一定 $h(t)=\lambda$。ワイブルは $h(t)=\frac{k}{\lambda}(t/\lambda)^{k-1}$ で、$k>1$ なら増加（摩耗）、$k<1$ なら減少（初期故障）。

打ち切り

右打ち切り：追跡終了時点でイベント未発生（最も一般的）。左打ち切り、区間打ち切りもあります。打ち切りがイベント時間と独立（無情報打ち切り）と仮定します。打ち切りを除外したり、打ち切り時点をイベントとして扱ったりすると、生存時間を過小評価します。

ログランク検定

2群の生存曲線が等しいかの検定。各イベント時点で「群1のイベント数の期待値」$e_{1j}=d_j\frac{n_{1j}}{n_j}$ を計算し、$\frac{(\sum d_{1j}-\sum e_{1j})^2}{\sum v_j}\sim\chi^2(1)$（$v_j$ は超幾何分散）。各時点の 2×2 表を合わせたマンテル・ヘンツェル検定と同じ構造で、比例ハザードのもとで検出力が最大です。

比例ハザード性（ハザード比が時間によらない）の確認は、対数累積ハザードのプロットが平行か、シェーンフェルド残差で行います。破れるなら層別 Cox や時間依存共変量を使います。パラメトリックな代替として、ワイブル回帰や加速故障時間モデル $\ln T=\bm x^\top\bm\beta+\sigma\varepsilon$ があります。

ベイズ統計：事前分布・事後分布・MCMC

母数を確率変数とみなし、データで信念を更新する枠組みです。共役事前分布で手計算の感覚をつかみ、MCMC で実用の道を開きます。

共役事前分布

正規の場合、事後平均は「事前平均と標本平均の精度（分散の逆数）による加重平均」です。$n\to\infty$ で事前の影響は消えます。ベータ事前の $a,b$ は「仮想的な成功数・失敗数」と解釈できます。

点推定・区間推定・予測

損失関数が2乗なら事後平均、絶対値なら事後中央値、0-1 なら MAP が最適です。信用区間（ベイズ信頼区間）は事後確率が 95％ の区間で、「母数がこの範囲にある確率が 95％」と素直に言えます（最高事後密度区間 HPD が最短）。事後予測分布 $p(\tilde x\mid\bm x)=\int f(\tilde x\mid\theta)\pi(\theta\mid\bm x)d\theta$ で新しい観測を予測します。

事前分布の選び方

無情報事前（一様、ジェフリーズ事前 $\pi(\theta)\propto\sqrt{I(\theta)}$：再パラメータ化に不変）、弱情報事前、専門知識に基づく主観事前。階層モデルでは母数の事前分布の母数（ハイパーパラメータ）にさらに事前分布を置き、群ごとの推定を全体に向けて縮小します（部分プーリング）。

MCMC

事後分布が解析的に求まらないとき、事後分布からのサンプルをマルコフ連鎖で生成します。メトロポリス・ヘイスティングス：候補 $\theta^*\sim q(\cdot\mid\theta^{(t)})$ を生成し、確率 $\min\Big\{1,\frac{\pi(\theta^*\mid\bm x)q(\theta^{(t)}\mid\theta^*)}{\pi(\theta^{(t)}\mid\bm x)q(\theta^*\mid\theta^{(t)})}\Big\}$ で採択。ギブスサンプリング：各母数を他の母数を固定した条件付き事後分布から順に生成。ハミルトニアン・モンテカルロ（Stan）は勾配を使い高次元で効率的。バーンイン後のサンプルで事後平均・分位点を近似し、収束は複数連鎖の $\hat R$（1.01 未満）やトレースプロットで診断します。

確率過程：マルコフ連鎖・ポアソン過程・ブラウン運動

時間とともに変化する確率的なシステムの基本モデルです。MCMC・待ち行列・金融工学の土台になります。

マルコフ連鎖

定常分布 $\bm\pi$：$\bm\pi P=\bm\pi$、$\sum\pi_i=1$。既約（どの状態からどの状態へも到達可能）かつ非周期的な有限連鎖では、初期分布によらず $\bm\pi_0P^t\to\bm\pi$ に収束します（エルゴード性）。詳細釣り合い $\pi_ip_{ij}=\pi_jp_{ji}$ が成り立てば $\bm\pi$ は定常分布で、MCMC はこれを満たすように連鎖を設計しています。

吸収状態（$p_{ii}=1$）をもつ連鎖では、吸収までの期待ステップ数や吸収確率を一次方程式で求めます（ギャンブラーの破産問題）。

ポアソン過程

強度 $\lambda$ のポアソン過程 $N(t)$：$N(0)=0$、独立増分、$N(t+s)-N(s)\sim Po(\lambda t)$。イベント間隔は独立に $Ex(\lambda)$、$n$ 番目のイベント時刻は $Ga(n,\lambda)$。分割（各イベントが独立に確率 $p$ でタイプA）すると、A は強度 $\lambda p$ のポアソン過程で B と独立。重ね合わせは強度の和。時間で変わる強度 $\lambda(t)$ をもつ非斉次ポアソン過程では $N(t)\sim Po(\int_0^t\lambda(u)du)$。

待ち行列 M/M/1

到着ポアソン（率 $\lambda$）、サービス指数（率 $\mu$）、窓口 1。利用率 $\rho=\lambda/\mu<1$ で定常。系内人数は幾何分布 $P(n)=(1-\rho)\rho^n$、平均系内人数 $L=\rho/(1-\rho)$、平均滞在時間 $W=L/\lambda=1/(\mu-\lambda)$（リトルの公式 $L=\lambda W$）。

ブラウン運動

$B(0)=0$、独立増分、$B(t)-B(s)\sim N(0,t-s)$、パスは連続。ランダムウォークのスケール極限で、$\Cov(B(s),B(t))=\min(s,t)$。ドリフト付き $X(t)=\mu t+\sigma B(t)$、幾何ブラウン運動 $S(t)=S_0\exp\{(\mu-\sigma^2/2)t+\sigma B(t)\}$ は株価モデル（ブラック・ショールズ）の基礎です。

分割表の解析：対数線形モデル・正確検定・McNemar

2級の独立性検定の先にある、分割表の本格的な分析法です。多次元の表、小標本、対応のあるデータへの対応を学びます。

対数線形モデル

$I\times J$ 表のセル度数 $n_{ij}\sim Po(\mu_{ij})$ に対して

$$\ln\mu_{ij}=\lambda+\lambda_i^A+\lambda_j^B+\lambda_{ij}^{AB}$$

交互作用 $\lambda_{ij}^{AB}=0$ が独立モデルで、その逸脱度 $G^2=2\sum n_{ij}\ln\frac{n_{ij}}{\hat\mu_{ij}}$ は自由度 $(I-1)(J-1)$ の $\chi^2$（ピアソン $\chi^2$ と漸近的に同じ）。3 元表 $A\times B\times C$ では、「$A$ と $B$ は $C$ を与えて条件付き独立」（$\lambda^{AB}=\lambda^{ABC}=0$）など、複数の独立性の階層をモデル比較で検討できます。分割表と GLM が同じものだと分かるのがこの章の要点です。

オッズ比とその推測

2×2 表 $\begin{pmatrix}a&b\\c&d\end{pmatrix}$ のオッズ比 $\hat{OR}=\frac{ad}{bc}$。対数オッズ比の標準誤差 $\sqrt{1/a+1/b+1/c+1/d}$（デルタ法）で信頼区間 $\exp\{\ln\hat{OR}\pm1.96\,SE\}$。相対リスク $RR=\frac{a/(a+b)}{c/(c+d)}$ はコホート研究で、症例対照研究ではオッズ比しか推定できません（稀な疾患なら $OR\approx RR$）。層別された複数の 2×2 表からの共通オッズ比はマンテル・ヘンツェル推定量 $\frac{\sum a_kd_k/n_k}{\sum b_kc_k/n_k}$ で求め、交絡の調整に使います。

フィッシャーの正確検定

周辺度数を固定すると、$H_0$（独立）のもとで $a$ は超幾何分布に従います。観測以上に極端な表の確率の和が p 値。期待度数が小さいときに使います。

対応のある 2 値データ：McNemar 検定

同じ個体の前後（賛成/反対）の 2×2 表で、比率の変化を検定。不一致セル $b$（前○後×）と $c$（前×後○）だけを使い、$\chi^2=\frac{(b-c)^2}{b+c}\sim\chi^2(1)$。一致セルは情報を持ちません。$k$ 時点への拡張がコクランの Q 検定。

順序カテゴリと傾向検定

用量（順序）と反応（2値）の関係にはコクラン・アーミテージの傾向検定（用量スコアとの線形傾向）を使うと、独立性の $\chi^2$ より検出力が高くなります。評価者間の一致度はコーエンの κ $=\frac{p_o-p_e}{1-p_e}$（観測一致率と偶然一致率）で測ります。

欠測データと因果推論

「データがない」ことと「因果を言いたい」こと。どちらも観察されなかった値（反事実・欠測値）をどう扱うかという同じ構造の問題です。

欠測メカニズム

対処法：リストワイズ削除は MCAR でのみ不偏だが効率が悪い。平均代入は分散を過小評価するので避ける。多重代入法は、観測データから欠測値の予測分布を作り $m$ 個（5〜20）の完成データを生成、それぞれ解析して結果を統合（ルービンの規則：推定値は平均、分散は「代入内分散の平均＋$(1+1/m)$×代入間分散」）。MAR のもとで妥当です。最尤法（EM、完全情報最尤）も MAR で妥当。MNAR には選択モデルやパターン混合モデルによる感度分析が必要です。

潜在的結果と因果効果

単純な群間差 $\E[Y\mid Z=1]-\E[Y\mid Z=0]$ は ATE に「選択バイアス」$\E[Y(0)\mid Z=1]-\E[Y(0)\mid Z=0]$ が加わったものです。ランダム化はこれをゼロにします。観察研究では、共変量 $\bm x$ を与えれば処置の割り当てが無視できる（強い無視可能性：$(Y(0),Y(1))\perp Z\mid\bm x$）という仮定のもとで調整します。

傾向スコア

$e(\bm x)=P(Z=1\mid\bm x)$（ロジスティック回帰で推定）。無視可能性のもとで、傾向スコアが等しい個体間では処置はランダムに割り当てられたのと同じです（バランシング性）。利用法：

• マッチング：傾向スコアの近い処置・対照をペアにする。
• 層化：スコアの 5 分位で層別し、層内の差を平均。
• IPW（逆確率重み付け）：処置群に $1/e$、対照群に $1/(1-e)$ の重みをつけて擬似母集団を作る。
• 二重頑健推定：結果モデルと傾向スコアモデルのどちらかが正しければ一致。

調整後は共変量の標準化差（0.1 未満）でバランスを確認します。傾向スコアは観測された交絡しか調整できません。

その他の準実験デザイン

操作変数法（処置に影響するが結果には処置経由でしか影響しない変数、第6部）、差の差（処置前後の変化を対照群と比較。平行トレンドの仮定）、回帰不連続（閾値の前後の比較）。因果ダイアグラム（DAG）では、バックドア経路を遮断する変数集合で調整し、コライダー（共通の結果）で条件付けてはいけません。

正則化と機械学習の統計

説明変数が多い時代の回帰と分類。「縮小」と「予測性能の評価」という統計的な視点で機械学習の主要手法を整理します。

リッジ回帰と Lasso

$\lambda$ は交差検証で選びます。変数は事前に標準化します。リッジは多重共線性に強く、バイアスを入れて分散を減らします（MSE の意味で OLS を上回り得る）。Lasso は疎な解を与えますが、相関の強い変数群からは 1 つしか選ばない傾向があります。ベイズ的には、リッジは正規事前、Lasso はラプラス事前のもとでの MAP 推定です。

決定木とアンサンブル

決定木（CART）は、不純度（回帰なら平方和、分類ならジニ係数 $1-\sum p_k^2$ やエントロピー）の減少が最大になる変数と分割点で領域を再帰的に二分します。解釈しやすい一方、分散が大きく不安定です。

• バギング：ブートストラップ標本ごとに木を作り平均。分散を減らす。
• ランダムフォレスト：バギングに加え、各分割で変数を無作為に $m\approx\sqrt p$ 個だけ候補にして木の相関を下げる。OOB（out-of-bag）誤差で評価、変数重要度を出せる。
• ブースティング（勾配ブースティング、XGBoost）：残差に小さな木を逐次当てはめて加算。学習率と木の数で制御。表形式データで最強クラス。

サポートベクターマシン

2 クラスを分ける超平面のうちマージン（最も近い点までの距離）最大のものを選びます。$\min\frac12\|\bm w\|^2+C\sum\xi_i$（ソフトマージン）。カーネル $K(\bm x,\bm x')$（RBF $\exp(-\gamma\|\bm x-\bm x'\|^2)$ など）で非線形境界に。境界を決めるのはサポートベクトルだけ。

ニューラルネットワーク

線形結合と非線形活性化（ReLU、シグモイド）を層状に重ねた関数。誤差逆伝播で勾配を計算し、確率的勾配降下法で学習。過学習対策にドロップアウト、早期停止、重み減衰（＝リッジ）。ロジスティック回帰は隠れ層のないニューラルネットです。

評価とバイアス・バリアンス

データを訓練・検証・テストに分け、ハイパーパラメータは検証（または交差検証）で選び、テストは最後に一度だけ使います。柔軟なモデルほどバイアスは減り分散は増える。$k$-近傍法の $k$、木の深さ、$\lambda$ はすべてこのトレードオフのつまみです。分類ではクラス不均衡に注意し、AUC、F1、較正（予測確率の妥当性）を見ます。

標本調査法の詳細

2級の標本調査を、推定量とその分散の式まで踏み込んで扱います。公的統計・世論調査の設計に直結する内容です。

単純無作為抽出（非復元）

大きさ $N$ の有限母集団（母平均 $\bar Y$、母分散 $S^2=\frac{1}{N-1}\sum(Y_i-\bar Y)^2$）から $n$ 個。標本平均 $\bar y$ は不偏で

$$\Var(\bar y)=\Big(1-\frac nN\Big)\frac{S^2}{n}$$

母総計 $N\bar y$ の分散は $N^2$ 倍。

層化抽出

層 $h$（$h=1,\dots,L$）の大きさ $N_h$、抽出数 $n_h$、層内分散 $S_h^2$、$W_h=N_h/N$。

$$\bar y_{st}=\sum_hW_h\bar y_h,\qquad \Var(\bar y_{st})=\sum_hW_h^2\Big(1-\frac{n_h}{N_h}\Big)\frac{S_h^2}{n_h}$$

配分：比例配分 $n_h=nW_h$、ネイマン配分 $n_h\propto N_hS_h$（分散最小）、費用を考慮すると $n_h\propto N_hS_h/\sqrt{c_h}$。層間の差が大きいほど層化の利得が大きい。

クラスター抽出と多段抽出

クラスター（集落）を無作為に選び、その中の全員を調査。クラスター内が互いに似ている（級内相関 $\rho$ が正）と、有効標本サイズは $n/\{1+(m-1)\rho\}$ に減ります（$m$ はクラスター内の大きさ、デザイン効果 $1+(m-1)\rho$）。二段抽出では第1段（市区）と第2段（世帯）の分散成分の和が分散になります。

比推定と回帰推定

補助変数 $x$（母総計 $X$ 既知）を使う。比推定量 $\hat{\bar Y}_R=\frac{\bar y}{\bar x}\bar X$ は $y$ と $x$ が原点を通る比例関係にあるとき精度が高く、回帰推定量 $\hat{\bar Y}_{reg}=\bar y+b(\bar X-\bar x)$ は一般の線形関係で有効です。両者はわずかに偏りますが $O(1/n)$ で無視できます。

不等確率抽出とホルヴィッツ・トンプソン推定量

個体 $i$ の包含確率 $\pi_i$ のもとで、母総計の不偏推定量は

$$\hat Y_{HT}=\sum_{i\in s}\frac{y_i}{\pi_i}$$

「大きい単位ほど選ばれやすくする」（確率比例抽出 PPS）と組み合わせて効率を上げます。無回答には重み調整、既知の母集団分布に合わせる事後層化・キャリブレーションを行います。

分布の当てはめと適合度・極値統計

「このデータは正規分布か」「どの分布が最も合うか」に答える方法と、最大値・最小値の統計学を扱います。

グラフによる確認

QQ プロット：標本分位点 $x_{(i)}$ を理論分位点 $F^{-1}\big(\frac{i-0.5}{n}\big)$ に対して描く。直線なら適合。右上に反れば右裾が重く、S 字なら裾が両側で重い（または軽い）。PP プロットは確率どうしを描きます。

正規性の検定

• シャピロ・ウィルク検定：順序統計量と正規分位点の相関に基づく。小〜中標本で最も検出力が高い。
• コルモゴロフ・スミルノフ検定：$D=\sup_x|F_n(x)-F_0(x)|$。分布に依存しないが、母数を推定した場合は臨界値が変わる（リリフォース修正）。
• アンダーソン・ダーリング検定：KS の裾に重みをつけた版。
• ジャック・ベラ検定：歪度と尖度から $\frac n6\big(S^2+\frac{(K-3)^2}4\big)\sim\chi^2(2)$。

$n$ が大きいと些細なずれも有意になります。目的（t検定の妥当性など）にとって重要かは QQ プロットで判断します。

分布の当てはめと比較

候補分布の母数を最尤推定し、AIC で比較、または母数推定後の適合度検定（$\chi^2$、KS）で妥当性を確認します。裾の重さに応じて、正規→t、指数→ワイブル／ガンマ／対数正規、と候補を広げます。

極値統計

年最大値をブロック最大値として GEV を当てはめ、$T$ 年再現水準 $x_T=G^{-1}(1-1/T)$ を求めるのが河川・保険の標準手法です。閾値超過量には一般化パレート分布（POT 法）を使います。正規分布の最大値は $\sqrt{2\ln n}$ 程度でゆっくり増え、指数分布の最大値は $\ln n/\lambda$ 付近に集まります。

統計的品質管理

製造工程を統計で監視・改善する体系です。準1級の頻出分野で、管理図・工程能力指数・抜取検査の3本柱です。

管理図

工程が「統計的管理状態」（偶然原因のばらつきのみ）にあるかを、時間順に打点して監視します。中心線（CL）と上下の管理限界（UCL/LCL）を $\pm3\sigma$ に置くのがシューハート管理図。限界外の点や、連続 7 点の片側偏り（連）、傾向などで異常原因を疑います。

$A_2,D_3,D_4$ は群の大きさ $n$ に依存する係数（$n=5$ で $A_2=0.577$、$D_3=0$、$D_4=2.114$）で、$\bar R/d_2$ が $\sigma$ の推定値です（$n=5$ で $d_2=2.326$）。小さなシフトの検出には CUSUM 管理図や EWMA 管理図が有効です。

工程能力指数

抜取検査

ロット（$N$ 個）から $n$ 個を抜き取り、不良が $c$ 個以下なら合格（計数一回抜取検査）。不良率 $p$ のロットが合格する確率 $L(p)=\sum_{x=0}^c\binom nxp^x(1-p)^{n-x}$ を描いたものが OC 曲線。生産者危険 $\alpha$（良いロット $p_0$ を不合格にする確率）と消費者危険 $\beta$（悪いロット $p_1$ を合格にする確率）を指定して $(n,c)$ を設計します。$L(p_0)=1-\alpha$、$L(p_1)=\beta$。$n$ を増やすと OC 曲線は急になり、判別力が上がります。計量抜取検査、逐次抜取検査、JIS の調整型抜取検査（AQL 指標型）もあります。

信頼性

故障率 $\lambda(t)$ の時間変化を描いたバスタブ曲線（初期故障・偶発故障・摩耗故障）。MTBF（平均故障間隔）は指数分布なら $1/\lambda$。直列システムの信頼度は積 $\prod R_i$、並列は $1-\prod(1-R_i)$。

測度論的確率論の入口

「密度をもたない分布」「離散と連続の混合」「無限個の事象」を一つの言葉で扱うために、確率を測度として定義し直します。必要なのは定義と数個の定理だけです。

$\R$ 上では、開区間をすべて含む最小のσ加法族をボレル集合族 $\mathcal B$ といい、$\lambda((a,b])=b-a$ を満たす測度がルベーグ測度です。可算加法性から、単調な事象列に対する連続性 $A_n\uparrow A\Rightarrow P(A_n)\uparrow P(A)$、$A_n\downarrow A\Rightarrow P(A_n)\downarrow P(A)$ が従います。

ルベーグ積分としての期待値

非負単関数 $\sum a_i\mathbf 1_{A_i}$ の積分を $\sum a_iP(A_i)$ で定め、非負可測関数へは単関数の単調極限で、一般の関数へは $X=X^+-X^-$ で拡張します（$\E|X|<\infty$ のとき可積分）。$\E[X]=\int_\Omega X\,dP=\int_\R x\,dP_X(x)$。離散型では和、密度をもつ連続型ではリーマン積分に一致し、混合型も同じ式で扱えます。

「極限と期待値の交換」を正当化するのがこれらの定理です。MLE の漸近論で「微分と積分の交換」が必要になる正則条件は、優収束定理の適用条件を言い換えたものです。

絶対連続性と密度

確率密度関数とは、分布 $P_X$ のルベーグ測度に関するラドン・ニコディム微分です。離散分布は計数測度に関する密度（確率関数）をもつので、「密度」という言葉で離散・連続を統一的に扱えます。尤度比 $f_1/f_0$ も測度の比として定義され、ネイマン・ピアソンの補題（第6部）がこの言葉で書かれます。

独立性

事象族が独立とは、任意の有限個の共通部分の確率が積になること。確率変数の独立は、生成するσ加法族 $\sigma(X)=\{X^{-1}(B)\}$ の独立です。独立なら $\E[XY]=\E[X]\E[Y]$（可積分のとき）、そして $g(X)$ と $h(Y)$ も独立です。

条件付き期待値とマルチンゲール

「$X=x$ を与えたとき」の条件付き確率は、連続型では $P(X=x)=0$ なので素朴には定義できません。射影として定義される条件付き期待値がその答えです。

直感：$\E[Y\mid\mathcal G]$ は「$\mathcal G$ の情報で分かる範囲での $Y$ の最良予測」。$L^2$ では、$\mathcal G$-可測関数の空間への $Y$ の直交射影であり、$\E[(Y-\E[Y\mid\mathcal G])^2]$ を最小化します。回帰関数 $\E[Y\mid X=x]$ が「最小二乗の意味で最良の予測」であるのはこのためです。

準1級で使った $\E[Y]=\E[\E[Y\mid X]]$、$\Var(Y)=\E[\Var(Y\mid X)]+\Var(\E[Y\mid X])$ は (2) と (3) から出ます。ラオ・ブラックウェルの定理の証明も、$\E[\hat\theta\mid T]$ の分散が (5) により $\hat\theta$ の分散以下になることそのものです。

マルチンゲール

公平な賭けの資産、i.i.d. 平均 0 の和 $S_n$、尤度比 $\prod f_1(X_i)/f_0(X_i)$（$f_0$ のもとで）はマルチンゲールです。$\E[M_n]=\E[M_1]$ が常に成り立ち、任意抽出定理（有界な停止時刻 $\tau$ で $\E[M_\tau]=\E[M_1]$）は逐次検定や破産問題の計算を与え、収束定理（$\sup\E|M_n|<\infty$ なら a.s. 収束）は強大数の法則や逐次推定の一致性の証明に使われます。マルチンゲール中心極限定理は、独立でない（時系列・部分尤度）推定量の漸近正規性の根拠です。

収束概念の精密化：ボレル・カンテリと大数の強法則

準1級で使った収束の関係を、証明つきで整理します。ここでの不等式と補題は、1級の証明問題で「使う道具」として頻出します。

「$A_n$ が無限回起こる」$=\limsup A_n=\bigcap_n\bigcup_{k\ge n}A_k$。(1) の証明は $P(\limsup A_n)\le P(\bigcup_{k\ge n}A_k)\le\sum_{k\ge n}P(A_k)\to0$。この補題が概収束を示す標準的道具です：$\sum_nP(|X_n-X|>\varepsilon)<\infty$（全 $\varepsilon$）なら $X_n\xrightarrow{a.s.}X$。

コルモゴロフの強法則は $\E|X|<\infty$ だけで $\bar X_n\xrightarrow{a.s.}\mu$ を保証します（打ち切りとコルモゴロフの不等式、あるいはマルチンゲール収束定理で証明）。

一様可積分性と期待値の収束

分布収束しても期待値が収束するとは限りません（質量が無限遠へ逃げる）。$\sup_n\E[|X_n|\mathbf 1\{|X_n|>M\}]\to0\ (M\to\infty)$（一様可積分）なら、確率収束から $L^1$ 収束が従います。MLE の「漸近分散」と「分散の極限」が一致するかどうかは、この条件に関わります。

スコロホッドの表現定理と連続写像定理

$X_n\xrightarrow{d}X$ なら、同じ分布をもち $Y_n\xrightarrow{a.s.}Y$ となる確率変数列を別の確率空間上に構成できます。これにより分布収束の主張の多くが概収束の議論に帰着し、連続写像定理 $g(X_n)\xrightarrow{d}g(X)$（$g$ の不連続点の $X$-測度が 0 なら可）が簡潔に証明されます。

特性関数と中心極限定理の証明

MGF が存在しない分布にも使え、分布収束を関数の各点収束に翻訳する特性関数。中心極限定理の証明を完結させます。

独立だが同分布でない場合はリンドバーグ条件 $\frac{1}{s_n^2}\sum_i\E[(X_i-\mu_i)^2\mathbf 1\{|X_i-\mu_i|>\varepsilon s_n\}]\to0$（$s_n^2=\sum\Var(X_i)$）のもとで成り立ち、十分条件としてリャプノフ条件 $\sum\E|X_i-\mu_i|^{2+\delta}/s_n^{2+\delta}\to0$ があります。「どの1項も和を支配しない」ことが本質です。多変量版はクラメール・ウォルドの方法：すべての線形結合 $\bm a^\top\bm X_n$ が分布収束すれば $\bm X_n$ も分布収束する。

収束の速さ

ベリー・エッセーンの定理：$\E|Y|^3=\rho<\infty$ なら $\sup_x|P(Z_n\le x)-\Phi(x)|\le C\rho/\sqrt n$（$C\le0.5$）。正規近似の誤差は $O(n^{-1/2})$ で、歪度による補正（エッジワース展開）を入れると $O(n^{-1})$ になります。

指数型分布族の理論

正規・二項・ポアソン・ガンマ…を統一的に扱う枠組み。十分統計量、モーメント、MLE の性質がすべて一つの関数 $A(\bm\eta)$ から出てきます。

i.i.d. 標本と MLE

$n$ 個の i.i.d. 観測の同時密度は $\prod h(x_i)\exp\{\bm\eta^\top\sum\bm T(x_i)-nA(\bm\eta)\}$ で、依然として指数型（十分統計量 $\sum\bm T(x_i)$）。対数尤度 $\ell(\bm\eta)=\bm\eta^\top\sum\bm T(x_i)-nA(\bm\eta)+\text{定数}$ は凹関数で、尤度方程式は

$$\nabla A(\hat{\bm\eta})=\frac1n\sum_i\bm T(x_i)\qquad\text{（「モーメント一致」）}$$

つまり「十分統計量の期待値を観測値に一致させる」のが指数型分布族の MLE です。解は一意（$A$ が強凸なら）で、GLM の正準リンクのもとでの推定方程式 $X^\top(\bm y-\bm\mu)=\bm0$ もこの形です。

完備性

完備性は「$T$ の関数で期待値がつねに 0 のものは 0 しかない」＝「$T$ に無駄な情報がない（最小十分）」を保証します。これが次章のレーマン・シェフェの定理と、UMVUE の一意性の鍵です。曲指数型分布族（$N(\mu,\mu^2)$ のように自然パラメータに制約がある場合）では完備性が崩れることがあります。

共役事前分布との関係

正準形の指数型分布族に対し、$\pi(\bm\eta)\propto\exp\{\bm\eta^\top\bm\tau_0-\nu_0A(\bm\eta)\}$ の形の事前分布は共役で、事後は $\bm\tau_0\to\bm\tau_0+\sum\bm T(x_i)$、$\nu_0\to\nu_0+n$ と更新されます。準1級の共役表はすべてこの一つの式の特殊ケースです。

十分性・完備性・最小十分性の理論

準1級で「使った」十分統計量を、定理として証明できるレベルに引き上げます。分解定理、最小十分性、バスーの定理、レーマン・シェフェの定理が主役です。

$U(\theta,\theta+1)$ では $(X_{(1)},X_{(n)})$ が最小十分ですが、1 母数に対し 2 次元で、完備ではありません（$\E[X_{(n)}-X_{(1)}]$ は $\theta$ によらず $\frac{n-1}{n+1}$ なので $g(T)=X_{(n)}-X_{(1)}-\frac{n-1}{n+1}$ の期待値が恒等的に 0）。

証明：任意の不偏推定量 $\hat\tau$ について、ラオ・ブラックウェルより $\E[\hat\tau\mid T]$ は不偏で分散は $\hat\tau$ 以下。$\E[\hat\tau\mid T]-g(T)$ は $T$ の関数で期待値 0、完備性より 0。よって $g(T)=\E[\hat\tau\mid T]$ で、分散は $\hat\tau$ 以下。□　UMVUE を求める手順は「完備十分統計量を見つけ、その関数で不偏なものを作る（または任意の不偏推定量を $T$ で条件付ける）」です。

統計的決定理論

推定・検定・予測を「損失を最小にする行動の選択」として統一する枠組みです。許容性・ミニマックス・ベイズ決定は1級の定番概念です。

スタインのパラドックス

$\bm X\sim N_p(\bm\theta,I)$、$p\ge3$、2乗損失の和。$\bm X$ 自体（MLE、UMVUE）は許容的でなく、ジェームズ・スタイン推定量 $\Big(1-\frac{p-2}{\|\bm X\|^2}\Big)\bm X$ に一様に優越されます。互いに無関係な母数でも、まとめて原点に縮めると全体のリスクが下がる。縮小推定・階層ベイズ・正則化の理論的根拠です。

同変性

位置族 $f(x-\theta)$ で、データを平行移動すれば推定値も同じだけ動くべき（同変推定量）と要請すると、その中で最良のものはピットマン推定量 $\hat\theta=\frac{\int\theta\prod f(x_i-\theta)d\theta}{\int\prod f(x_i-\theta)d\theta}$（一様事前のベイズ推定量に一致）です。正規なら $\bar X$、コーシーなら $\bar X$ より良い推定量が得られます。

漸近論の道具：Op記法・M推定量・多変量デルタ法

MLE の漸近正規性を証明するために必要な記法と定理をまとめます。ここが1級の証明問題を書くための「文法」です。

例：CLT より $\bar X_n-\mu=O_p(n^{-1/2})$。大数の法則より $\bar X_n-\mu=o_p(1)$。「$\sqrt n$-一致」とは $\hat\theta-\theta=O_p(n^{-1/2})$ のことです。

証明の骨格：$0=\frac1n\sum\psi(X_i;\hat\theta)\approx\frac1n\sum\psi(X_i;\theta_0)+A(\hat\theta-\theta_0)$ から $\sqrt n(\hat\theta-\theta_0)\approx-A^{-1}\sqrt n\cdot\frac1n\sum\psi(X_i;\theta_0)$、右辺に CLT。正しく特定された MLE では $A=-I(\theta)$、$B=I(\theta)$（情報量等式）なので $A^{-1}BA^{-\top}=I^{-1}$ に戻ります。モデルが誤特定のときはサンドイッチ分散が正しく、これが頑健標準誤差（GEE、擬似最尤法）です。

一様収束と一致性

MLE の一致性の証明には「$\frac1n\ell_n(\theta)$ が $\E[\ln f(X;\theta)]$ に $\theta$ について一様に収束する」ことが要ります（各点収束では最大値の位置の収束が言えない）。コンパクトな母数空間と優関数条件のもとで一様大数の法則が成り立ちます。極限関数 $\E_{\theta_0}[\ln f(X;\theta)]$ は $\theta=\theta_0$ で一意に最大（KL 情報量 $\ge0$、イェンゼン）なので、最大化点 $\hat\theta$ は $\theta_0$ に収束します。

多変量正規分布の理論と二次形式

線形モデル・分散分析・多変量解析の分布論はすべて「正規ベクトルの二次形式」に帰着します。コクランの定理まで証明できるようにします。

(3) の証明：$\bm Y=\bm X_1-\Sigma_{12}\Sigma_{22}^{-1}\bm X_2$ とおくと $\Cov(\bm Y,\bm X_2)=\Sigma_{12}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{22}=O$ なので (2) より $\bm Y$ と $\bm X_2$ は独立。$\bm X_1=\bm Y+\Sigma_{12}\Sigma_{22}^{-1}\bm X_2$ で、$\bm X_2$ を固定すれば $\bm Y$ の分布から結論が出る。□

証明の要点：$A=V\Lambda V^\top$ と直交分解し、$\bm W=V^\top\bm Z\sim N(\bm0,I)$ とすると $\bm Z^\top A\bm Z=\sum\lambda_iW_i^2$。これが $\chi^2$ になるのは固有値が 0 か 1 のとき（MGF $\prod(1-2\lambda_it)^{-1/2}$ が $(1-2t)^{-r/2}$ になる条件）。

ウィシャート分布

$\bm X_1,\dots,\bm X_n\sim N_p(\bm0,\Sigma)$ i.i.d. のとき $W=\sum\bm X_i\bm X_i^\top\sim W_p(n,\Sigma)$。$\chi^2$ の行列版で、$\E[W]=n\Sigma$。標本共分散行列 $S=\frac{1}{n-1}\sum(\bm X_i-\bar{\bm X})(\bm X_i-\bar{\bm X})^\top$ は $(n-1)S\sim W_p(n-1,\Sigma)$、$\bar{\bm X}$ と独立。ホテリングの $T^2=n(\bar{\bm X}-\bm\mu)^\top S^{-1}(\bar{\bm X}-\bm\mu)$ は $\frac{n-p}{(n-1)p}T^2\sim F(p,n-p)$（1標本 $t$ 検定の多変量版）。

線形モデルの理論：推定可能性・一般逆行列・分散分析の理論

$X$ がフルランクでない場合（分散分析のダミー変数）を含めて線形モデルを扱い、$F$ 検定を射影と二次形式の言葉で証明します。

フルランクでない計画行列

一元配置 $y_{ij}=\mu+\alpha_i+\varepsilon_{ij}$ をダミー変数で書くと、$X$ の列は $\bm1=\sum_i\bm d_i$ の関係で線形従属です。$X^\top X$ は特異で正規方程式の解 $\bm\beta$ は一意でありません。しかし $X\bm\beta$（＝各群の平均）は一意です。

一元配置では $\mu+\alpha_i$ や対比 $\alpha_i-\alpha_j$ は推定可能、$\mu$ や $\alpha_i$ 単独は推定可能でありません。制約（$\alpha_1=0$、または $\sum\alpha_i=0$）を置くのは、解を一意にする便宜であって、推定可能な量の推定値は制約の選び方に依存しません。

F 検定の理論

$\bm y=X\bm\beta+\bm\varepsilon$、$\bm\varepsilon\sim N(\bm0,\sigma^2I)$、$\mathrm{rank}X=r$。帰無仮説 $H_0:\bm y$ の平均が部分空間 $\mathcal M_0\subset\mathcal M=\mathrm{col}(X)$（次元 $r_0$）にある。

証明：$\bm y^\top\bm y=\bm y^\top P_0\bm y+\bm y^\top(P-P_0)\bm y+\bm y^\top(I-P)\bm y$ で、$P_0$、$P-P_0$、$I-P$ は互いに直交する射影（ランク $r_0$、$r-r_0$、$n-r$）。$H_0$ のもとで $\bm\mu\in\mathcal M_0$ なので後者2つは $\bm\mu$ を消し、コクランの定理より独立な $\sigma^2\chi^2$。□　一元配置の $S_A$ は $\bm y^\top(P-P_0)\bm y$（$P_0=\frac1n\bm1\bm1^\top$）、$S_E$ は $\bm y^\top(I-P)\bm y$ です。回帰係数の部分検定、係数の線形制約 $C\bm\beta=\bm d$ もすべてこの形です。

変量効果モデル

$y_{ij}=\mu+a_i+\varepsilon_{ij}$、$a_i\sim N(0,\sigma_a^2)$（群が母集団からの標本のとき）。同じ群内の観測は相関 $\rho=\sigma_a^2/(\sigma_a^2+\sigma^2)$（級内相関）をもちます。$\E[V_A]=\sigma^2+m\sigma_a^2$、$\E[V_E]=\sigma^2$ から分散成分を推定し（ANOVA 法）、一般には制限付き最尤法（REML：固定効果を消去した尤度で分散成分を推定、不偏性が改善）を使います。固定効果と変量効果を併せた混合効果モデル $\bm y=X\bm\beta+Z\bm u+\bm\varepsilon$ は反復測定・階層データの標準ツールで、$\Cov(\bm y)=ZGZ^\top+R$ のもとでの一般化最小二乗が $\bm\beta$ の推定量、$\bm u$ の予測は BLUP です。

数学の準備：行列微分・凸最適化・ラグランジュ乗数法

1級の計算を支える解析の道具です。最尤法・主成分・正則化・ベイズの導出で繰り返し使います。

ベクトル・行列の微分

凸性と最適化

$f$ が凸 $\iff$ ヘッセ行列が半正定値。凸関数の局所最小は大域最小。対数尤度が凹（指数型分布族の正準形、ロジスティック回帰、ポアソン回帰）なら、ニュートン法は一意の MLE に収束します。Lasso の目的関数は凸だが微分不可能な点をもち、劣勾配（$|\beta|$ の 0 での劣微分は $[-1,1]$）で最適条件を書きます：$\hat\beta_j=0\iff|x_j^\top(\bm y-X\hat{\bm\beta})|\le\lambda/2$。座標降下法で解きます。

よく使う積分・級数

ガウス積分 $\int e^{-x^2/2}dx=\sqrt{2\pi}$、$\int x^2e^{-x^2/2}dx=\sqrt{2\pi}$。ガンマ関数 $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$、スターリング $\ln n!\approx n\ln n-n+\frac12\ln2\pi n$。ベータ積分。$\sum_{k\ge0}x^k/k!=e^x$、$\sum kx^{k-1}=1/(1-x)^2$（幾何分布の期待値）。テイラー展開 $\ln(1+x)=x-x^2/2+\dots$、$(1+x/n)^n\to e^x$。

KL 情報量

$\mathrm{KL}(f\|g)=\int f\ln\frac fg\ge0$（等号は $f=g$ a.e.）。証明はイェンゼン：$-\mathrm{KL}=\E_f[\ln(g/f)]\le\ln\E_f[g/f]=\ln1=0$。MLE は経験分布から真の分布への KL を最小化する推定量であり、AIC は KL の期待値の推定量です。フィッシャー情報量は KL の局所的な曲率 $\mathrm{KL}(f_\theta\|f_{\theta+h})\approx\frac12I(\theta)h^2$ です。

点推定の理論：UMVUE とクラメール・ラオ

「最良の不偏推定量」を求める二つの道、下限を達成する道（クラメール・ラオ）と完備十分統計量を通る道（レーマン・シェフェ）を、証明まで含めて整理します。

多母数版：$\Cov(\bm T)\ge\nabla\bm\tau^\top I(\bm\theta)^{-1}\nabla\bm\tau$（行列の半正定値順序）。情報量等式 $I(\theta)=\E[S^2]=-\E[\partial_\theta S]$ は、$\E[S]=0$ をもう一度 $\theta$ で微分して得られます。

UMVUE の求め方（総まとめ）

1. 完備十分統計量 $T$ を見つける（指数型分布族なら自然十分統計量、$U(0,\theta)$ なら $X_{(n)}$）。
2. $T$ の関数で不偏なものを直接構成する、または
3. 簡単な不偏推定量 $\hat\tau$ を $T$ で条件付ける $\E[\hat\tau\mid T]$。

不偏推定量が存在しない・不合理な例

$B(n,p)$ で $1/p$ の不偏推定量は存在しない（$\E[g(X)]=\sum g(k)\binom nkp^k(1-p)^{n-k}$ は $p$ の多項式で $1/p$ になれない）。$Po(\lambda)$ で $e^{-2\lambda}$ の唯一の不偏推定量は $(-1)^X$ で、負の値をとる。「不偏」は絶対の基準ではなく、MSE やベイズ的基準で偏りを許した推定量が優れることは珍しくありません。

最尤推定量の漸近理論（証明）

「MLE は漸近正規で漸近有効」を、正則条件を明示して証明します。1級の統計数理で最も出題頻度の高い証明の一つです。

一致性の証明（概略）：$\frac1n\{\ell_n(\theta)-\ell_n(\theta_0)\}\xrightarrow{p}\E_{\theta_0}\ln\frac{f(X;\theta)}{f(X;\theta_0)}=-\mathrm{KL}(f_{\theta_0}\|f_\theta)<0$（$\theta\ne\theta_0$、識別可能性）。ゆえに任意の $\delta>0$ で $P(\ell_n(\theta_0)>\ell_n(\theta_0\pm\delta))\to1$。連続性から $(\theta_0-\delta,\theta_0+\delta)$ 内に $\ell_n'=0$ の解（局所最大）が高確率で存在する。□　多母数では $\sqrt n(\hat{\bm\theta}-\bm\theta_0)\xrightarrow{d}N(\bm0,I(\bm\theta_0)^{-1})$ で証明は同型です。

漸近有効性と超有効性

MLE の漸近分散 $1/I(\theta)$ はクラメール・ラオの下限（漸近版）に一致します。ただし「漸近分散が $1/I$ 未満」の推定量（ホッジスの超有効推定量：$|\bar X|<n^{-1/4}$ なら 0、そうでなければ $\bar X$）はルベーグ測度 0 の点で存在します。正則推定量（局所的に母数をずらしても極限分布が変わらない）の範囲では、$1/I$ が最良（ハーエク・ルカムの畳み込み定理）で、MLE はその意味で最適です。

正則条件が破れる例

• $U(0,\theta)$：$n(\theta-X_{(n)})\xrightarrow{d}Ex(1/\theta)$。収束の速さが $n$（$\sqrt n$ より速い）。
• 母数が境界にある：$H_0:\sigma_a^2=0$ の尤度比検定の極限は $\frac12\chi^2(0)+\frac12\chi^2(1)$ の混合。
• 母数の個数が $n$ とともに増える（ネイマン・スコット問題）：MLE が一致性を失う。
• 混合分布の成分数の検定：識別可能性が崩れる。

仮説検定の理論①：ネイマン・ピアソンの補題と UMP 検定

「与えられた有意水準で検出力が最大の検定」を構成する理論。尤度比が唯一の答えであることを証明します。

上の例題の $\bar x>c$ は片側対立仮説 $\mu>\mu_0$ に対する UMP 検定です。一方、両側 $H_1:\mu\ne\mu_0$ に対しては UMP 検定は存在しません（$\mu_1>\mu_0$ に最強力な検定と $\mu_1<\mu_0$ に最強力な検定が異なるため）。これが次章の不偏検定の動機です。

仮説検定の理論②：不偏検定・UMPU・尤度比検定の漸近分布

両側検定と多母数の場合の最適性、そしてどんなモデルでも使える尤度比検定の一般理論（ウィルクスの定理）を扱います。

条件 (ii) は $\beta_\phi'(\theta_0)=0$（検出力関数が $\theta_0$ で最小）と同値で、不偏性の必要条件から出ます。$T$ の分布が $\theta_0$ で対称なら等裾（両側 $\alpha/2$）の検定が UMPU です。正規平均の両側 $z$ 検定はこれで正当化されます。

正規標本の UMPU 検定一覧

ワルド $W=nI(\hat\theta)(\hat\theta-\theta_0)^2$ とスコア $S=\ell'(\theta_0)^2/\{nI(\theta_0)\}$ も同じ展開から $\Lambda$ と漸近同等であることが分かります。三者は $H_0$ 近傍で同じ検出力をもちますが、有限標本では LR が最も安定、ワルドは再パラメータ化に不変でない、という違いがあります。

局所最強力検定

$H_1:\theta>\theta_0$ で $\theta_0$ のすぐ近くでの検出力の傾き $\beta'(\theta_0)$ を最大にする検定は、スコア $\ell'(\theta_0)>c$ で棄却する検定です（ラグランジュ乗数法で導出）。スコア検定はこの意味で局所最適です。

区間推定の理論：検定との双対性とピボット

信頼区間を「検定の反転」として構成すると、最適な検定から最適な信頼区間が得られます。ピボット法と併せて、理論的な区間推定を完成させます。

UMP 検定を反転すると一様最精密（UMA：誤った値 $\theta'$ を含む確率が最小）な信頼限界、UMPU 検定を反転すると不偏で最精密な信頼区間が得られます。両側 $t$ 検定の反転が通常の $t$ 信頼区間です。

最短信頼区間

ピボットの密度が単峰なら、密度の高い部分を残す（両端の密度が等しい）区間が最短です。対称な $t$ 分布では等裾が最短ですが、$\chi^2$ の場合は等裾（$\chi^2_{\alpha/2},\chi^2_{1-\alpha/2}$）は最短ではありません（1級ではこの点を問われます）。

漸近的な信頼区間の三つの型

MLE の漸近正規性から、ワルド型 $\hat\theta\pm z_{\alpha/2}/\sqrt{nI(\hat\theta)}$、スコア型 $\{\theta_0:S(\theta_0)^2/nI(\theta_0)\le\chi^2_\alpha(1)\}$、尤度比型 $\{\theta_0:2(\ell(\hat\theta)-\ell(\theta_0))\le\chi^2_\alpha(1)\}$。二項比率では、ワルド型の被覆確率が名目より大きく下回る（特に $p$ が 0 や 1 に近いとき）のに対し、スコア型（ウィルソン区間）$\dfrac{\hat p+\frac{z^2}{2n}\pm z\sqrt{\frac{\hat p(1-\hat p)}n+\frac{z^2}{4n^2}}}{1+z^2/n}$ は良好で、推奨されます。クロッパー・ピアソン区間は二項検定の反転による正確な（保守的な）区間です。

同時信頼区間

複数の母数を同時に $1-\alpha$ で覆う：ボンフェローニ（各 $1-\alpha/m$）、シェフェ（すべての線形結合 $\bm c^\top\bm\beta$ について $\bm c^\top\hat{\bm\beta}\pm\sqrt{pF_\alpha(p,n-p)}\,\widehat{\mathrm{SE}}$）、多変量正規の信頼楕円 $\{\bm\mu:n(\bar{\bm X}-\bm\mu)^\top S^{-1}(\bar{\bm X}-\bm\mu)\le\frac{(n-1)p}{n-p}F_\alpha\}$。

ベイズ統計の理論

準1級の計算を支える理論：事後分布の漸近正規性、ジェフリーズ事前分布、ベイズ因子、階層・経験ベイズ、MCMC の収束の根拠を扱います。

証明の骨格：対数事後密度 $=\ell_n(\theta)+\ln\pi(\theta)$ を $\hat\theta_n$ のまわりで展開すると $\ell_n(\hat\theta_n)-\frac12nI(\hat\theta_n)(\theta-\hat\theta_n)^2+O(1)$。2次の項が $n$ のオーダーで、事前分布の項は $O(1)$ なので支配されます。同じ展開から周辺尤度のラプラス近似 $\int L(\theta)\pi(\theta)d\theta\approx L(\hat\theta)\pi(\hat\theta)\sqrt{2\pi/(nI(\hat\theta))}$ が得られ、BIC（$-2\ln$ 周辺尤度 $\approx-2\ell(\hat\theta)+k\ln n$）の導出になります。

例：二項比率 $p$ では $\pi_J\propto p^{-1/2}(1-p)^{-1/2}=Be(1/2,1/2)$。正規平均では一様、正規分散（尺度）では $\pi(\sigma)\propto1/\sigma$。これらは非正則（積分が発散）でも、事後分布が正則なら使えます。「一様事前＝無情報」ではないことに注意（$p$ に一様なら $p^2$ には一様でない）。

ベイズ因子は「データがどちらのモデルをどれだけ支持するか」で、p 値と違い $H_0$ を支持する証拠も定量化できます。複雑なモデルは周辺尤度が自動的に罰則を受けます（オッカムの剃刀）。ただし非正則事前分布では定義できず、事前分布の分散に敏感です（リンドレーのパラドックス：$n$ が大きいと p 値は棄却するのにベイズ因子は $H_0$ を支持する）。

階層ベイズと経験ベイズ

$y_i\mid\theta_i\sim N(\theta_i,\sigma^2)$、$\theta_i\mid\mu,\tau^2\sim N(\mu,\tau^2)$。$\theta_i$ の事後平均は $\hat\theta_i=(1-B)y_i+B\mu$、$B=\frac{\sigma^2}{\sigma^2+\tau^2}$（縮小係数）。ハイパーパラメータ $(\mu,\tau^2)$ に事前分布を置けば階層ベイズ、周辺尤度から推定して代入すれば経験ベイズ。後者でジェームズ・スタイン推定量が再現されます（$B$ を $\frac{(p-2)\sigma^2}{\sum y_i^2}$ で推定）。

MCMC の理論

メトロポリス・ヘイスティングスの推移核は目標分布 $\pi$ に対して詳細釣り合いを満たし、$\pi$ は定常分布。既約・非周期なら任意の初期値から $\pi$ に収束し（エルゴード定理）、$\frac1N\sum g(\theta^{(t)})\to\E_\pi[g]$ a.s.。MCMC 標準誤差は自己相関を考慮して $\sqrt{\tau_{int}\Var(g)/N}$（$\tau_{int}=1+2\sum_k\rho_k$：積分自己相関時間）、有効サンプルサイズは $N/\tau_{int}$。ギブスサンプラーは各条件付き分布からの更新が MH の採択率 1 の特殊ケースです。

ノンパラメトリック理論：経験分布・U統計量・密度推定

分布の形を仮定しない推測の理論的基礎。経験分布関数の一様収束、順位検定の分布論、U統計量、カーネル法を扱います。

一様収束が「経験分布を母集団の代わりに使う」ブートストラップと、統計汎関数 $T(F)$ のプラグイン推定 $T(F_n)$ の一致性の根拠です。$\sqrt n(F_n-F)$ はブラウン橋 $B(F(x))$ に収束し、コルモゴロフ・スミルノフ統計量 $\sqrt nD_n$ の極限分布 $P(\sup|B|\le x)=1-2\sum(-1)^{k-1}e^{-2k^2x^2}$ を与えます（分布に依存しない）。

順位検定の理論

連続分布からの i.i.d. 標本では、順位ベクトル $(R_1,\dots,R_n)$ は $\{1,\dots,n\}$ の置換上で一様分布し、順序統計量と独立です。したがって順位だけで作る統計量の帰無分布は $F$ に依存しない（分布に依存しない検定）。ウィルコクソン統計量 $W=\sum_{i\in\text{群1}}R_i$ の $H_0$ での平均 $\frac{m(N+1)}2$、分散 $\frac{mn(N+1)}{12}$ は、有限母集団 $\{1,\dots,N\}$ からの非復元抽出の公式から出ます。線形順位統計量 $\sum a(R_i)$ の漸近正規性（ハーエク）により、スコア $a$ を分布に合わせて選ぶ（正規スコア、ログランク）ことで、局所的に最強力な順位検定が得られます。

例：標本分散（$h=(x_1-x_2)^2/2$）、ケンドールの $\tau$、マン・ホイットニーの $U/mn$（$h=\mathbf 1\{x<y\}$、2標本 U 統計量）、ジニの平均差。ヘフディングの分解により、非退化（$\zeta_1=\Var(\E[h\mid X_1])>0$）なら $\sqrt n(U_n-\theta)\xrightarrow{d}N(0,m^2\zeta_1)$。これがマン・ホイットニーやケンドール $\tau$ の正規近似の正当化です。

カーネル密度推定

$$\hat f_h(x)=\frac1{nh}\sum_{i=1}^nK\Big(\frac{x-X_i}h\Big),\qquad \int K=1,\ K\ge0\text{ 対称}$$

バイアス $\approx\frac{h^2}2f''(x)\int u^2K(u)du$、分散 $\approx\frac{f(x)}{nh}\int K^2$。積分平均二乗誤差を最小にする帯域幅は $h_{opt}\propto n^{-1/5}$ で、最適収束率は $n^{-4/5}$（パラメトリックの $n^{-1}$ より遅い）。正規参照則 $h=1.06\,\hat\sigma n^{-1/5}$、または交差検証で選びます。カーネルの形（正規・エパネチニコフ）より $h$ の方がはるかに重要です。回帰の非パラメトリック版がナダラヤ・ワトソン推定量 $\hat m(x)=\frac{\sum K_h(x-X_i)Y_i}{\sum K_h(x-X_i)}$、平滑化スプライン、局所線形回帰です。次元が上がると必要標本数が指数的に増える（次元の呪い）ため、加法モデル $\sum g_j(x_j)$ などの構造制約が実用上重要です。

ブートストラップと再標本化の理論

「なぜブートストラップは正しいのか」「いつ失敗するのか」。準1級の手続きを、エッジワース展開の視点から評価します。

ブートストラップ原理

関心量は統計量 $T_n=T(X_1,\dots,X_n;F)$ の分布 $G_n(\cdot;F)$。真の $F$ は未知なので、$F_n$ で置き換えた $G_n(\cdot;F_n)$ で近似します。$F_n$ からの標本 $X^*$ で計算した $T_n^*$ の分布はモンテカルロで近似します。ブートストラップの一致性とは $\sup_x|G_n(x;F_n)-G_n(x;F)|\xrightarrow{p}0$ のことで、(i) $T_n$ の極限分布が $F$ の連続関数、(ii) $F_n\to F$、から従います。

実務的な帰結：分散が推定できる統計量では、bootstrap-t または BCa（偏り補正・加速）区間が最も正確です。パーセンタイル区間は簡単ですが 1 次の正確さにとどまります。

ブートストラップが失敗する場合

• 非滑らかな統計量：$U(0,\theta)$ の最大値。$X^*_{(n)}=X_{(n)}$ となる確率が $1-(1-1/n)^n\to0.632$ で、極限分布（指数）を再現できない。$m$-out-of-$n$ ブートストラップ（$m/n\to0$）で修復。
• 無限分散：安定分布領域では一致しない。
• 依存データ：i.i.d. 再標本化は依存構造を壊す。ブロック・ブートストラップ、定常ブートストラップ、時系列モデルの残差ブートストラップを使う。
• 境界の母数、超有効推定量、Lasso のような不連続な推定量。

ジャックナイフ

1個抜き推定量 $\hat\theta_{(i)}$ から、偏りの推定 $(n-1)(\bar{\hat\theta}_{(\cdot)}-\hat\theta)$、分散の推定 $\frac{n-1}n\sum(\hat\theta_{(i)}-\bar{\hat\theta}_{(\cdot)})^2$。滑らかな統計量では一致するが、中央値のように非滑らかな統計量では分散推定が不一致（ブートストラップは一致）。影響関数 $IF(x;T,F)=\lim_{\varepsilon\to0}\frac{T((1-\varepsilon)F+\varepsilon\delta_x)-T(F)}{\varepsilon}$ を使うと、$\Var(T(F_n))\approx\frac1n\int IF^2dF$ で、ジャックナイフはその有限差分近似です。

並べ替え検定の正確性

$H_0$ のもとで観測の交換可能性が成り立てば、並べ替え分布に基づく検定は有限標本で正確にサイズ $\alpha$ です（条件付き検定）。2群比較（ラベルの並べ替え）、独立性（片方の変数の並べ替え）、対応のあるデータ（符号の反転）に適用できます。

統計応用：社会科学（計量経済学）

1級「統計応用（社会科学）」の中核。内生性・操作変数・パネルデータ・時系列の理論を、回帰の仮定が崩れたときの対処として体系化します。

OLS の一致性と内生性

$y=\bm x^\top\bm\beta+u$。OLS が一致するための鍵は $\E[\bm xu]=\bm0$（外生性）。$\hat{\bm\beta}=\bm\beta+(\frac1nX^\top X)^{-1}\frac1nX^\top\bm u\xrightarrow{p}\bm\beta+\E[\bm x\bm x^\top]^{-1}\E[\bm xu]$。内生性（$\E[\bm xu]\ne\bm0$）の原因：

• 欠落変数：$u$ に含まれる変数が $\bm x$ と相関。バイアス $=\beta_{\text{欠落}}\times$（欠落変数を $x$ に回帰した係数）。
• 同時性：需要と供給のように $y$ が $x$ にも影響。
• 測定誤差：$x$ が誤差つきで観測されると係数は 0 に向かって偏る（希釈バイアス $\frac{\sigma_x^2}{\sigma_x^2+\sigma_e^2}$）。
• サンプルセレクション：$y$ の観測が $u$ に依存（ヘックマンの2段階推定）。

IV 推定量は一致するが不偏ではなく、分散は OLS より大きい。弱操作変数（第1段の $F<10$）では偏りと非正規性が深刻。過剰識別（操作変数の数 > 内生変数の数）ならサーガン／ハンセンの $J$ 検定で外生性を検定でき、内生性の有無はハウスマン検定（OLS と IV の差）で調べます。因果推論の言葉では、IV が推定するのは操作変数によって処置が変わる部分集団の効果（LATE）です。

パネルデータ

$y_{it}=\bm x_{it}^\top\bm\beta+\alpha_i+u_{it}$（個体 $i$、時点 $t$）。$\alpha_i$ は観測されない個体効果。

• 固定効果（FE）：$\alpha_i$ が $\bm x$ と相関してよい。個体平均からの偏差（within 変換）$\ddot y_{it}=y_{it}-\bar y_i$ で $\alpha_i$ を消去して OLS。時間不変の変数の係数は推定できない。
• 変量効果（RE）：$\alpha_i\sim(0,\sigma_\alpha^2)$ が $\bm x$ と無相関と仮定し GLS。効率的だが仮定が強い。ハウスマン検定で FE と比較。
• 差の差（DID）：$y_{it}=\beta_0+\beta_1\text{Treat}_i+\beta_2\text{Post}_t+\delta\,\text{Treat}_i\times\text{Post}_t+u$。$\delta$ が処置効果。平行トレンドの仮定。

不均一分散・系列相関と頑健推論

$\Cov(\bm u)=\Omega\ne\sigma^2I$ でも OLS は不偏・一致ですが、通常の標準誤差は誤りです。ホワイトの頑健標準誤差 $(X^\top X)^{-1}X^\top\hat\Omega X(X^\top X)^{-1}$（$\hat\Omega=\mathrm{diag}(e_i^2)$）、系列相関には Newey–West（HAC）、パネルでは個体でクラスター化した標準誤差。検定：ブロイシュ・ペイガン（不均一分散）、ダービン・ワトソン $d\approx2(1-\hat\rho_1)$ とブロイシュ・ゴッドフリー（系列相関）。

制限従属変数と時系列

トービットモデル（打ち切り $y=\max(0,y^*)$、MLE で推定）、順序・多項選択モデル、カウントデータ。時系列では、単位根と共和分（エングル・グレンジャーの2段階、ヨハンセン検定）、誤差修正モデル、VAR とグレンジャー因果性 $H_0$：「$x$ の過去は $y$ の予測に寄与しない」、インパルス応答。

統計応用：理工学（実験計画・信頼性・応答曲面）

1級「統計応用（理工学）」の柱。実験計画法の理論、信頼性データの解析、応答曲面と最適化、そして測定の統計を扱います。

2水準要因計画の理論

$2^k$ 計画では各因子を $\pm1$ に符号化すると計画行列の列が直交し、各効果（主効果・交互作用）の推定量は $\hat E=\frac{2}{N}\sum\pm y$ で互いに独立、分散はすべて $4\sigma^2/N$。効果の推定と分散分析の平方和は $S=N\hat E^2/4$（自由度 1）で結びつきます。繰り返しがない場合は、高次交互作用をプールして誤差にするか、効果の正規確率プロット（大きく外れる効果が有意）で判断します。

直交表 $L_8(2^7)$ は $2^{7-4}_{III}$、$L_{16}(2^{15})$ の一部が分解能 IV。パラメータ設計（タグチ）では制御因子の内側直交表と誤差因子の外側直交表を組み、SN 比（望目特性 $10\log(\bar y^2/s^2)$）を最大化する条件を選びます。

応答曲面法

最適条件の探索：1次モデル $y=\beta_0+\sum\beta_jx_j$ で最急上昇方向 $\nabla\hat y\propto\hat{\bm\beta}$ に進み、曲率が現れたら 2次モデル $y=\beta_0+\bm x^\top\bm b+\bm x^\top B\bm x$ を中心複合計画（要因点＋軸点＋中心点）で当てはめます。停留点 $\bm x_s=-\frac12B^{-1}\bm b$。$B$ の固有値がすべて負なら最大、符号混在なら鞍点。回転可能性（予測分散が中心からの距離だけに依存）や直交ブロック化が計画の良さの基準です。

信頼性データの解析

寿命データはワイブル分布 $S(t)=\exp\{-(t/\eta)^\beta\}$ が標準。ワイブル確率紙：$\ln\ln\frac1{S(t)}=\beta\ln t-\beta\ln\eta$ が直線。打ち切りつきの最尤推定は生存時間解析と同じ尤度 $\prod f(t_i)^{\delta_i}S(t_i)^{1-\delta_i}$。加速寿命試験：高ストレス（温度・電圧）で試験し、アレニウスモデル $\ln\eta=a+b/T$ や逆べき乗則で通常条件に外挿。$n$ 個中 $r$ 個故障で試験を打ち切る定数打ち切り試験では、指数分布の場合 $2r\hat\theta/\theta\sim\chi^2(2r)$ で MTBF の信頼区間が作れます。修理系の故障発生は非斉次ポアソン過程（べき乗則過程）でモデル化します。

測定システムと統計的方法

測定のばらつきを 繰り返し性（同一測定者・装置）と 再現性（測定者間）に分解する Gage R&R（変量効果モデルの分散成分推定）。測定誤差を含む回帰（誤差変数モデル、デミング回帰）。校正曲線からの逆推定（$y$ から $x$ を推定、フィーラーの定理による区間）。

その他の理工学トピック

逐次検定（SPRT：尤度比が $B$ と $A$ の境界を越えるまで観測を続ける、$A\approx\frac{1-\beta}\alpha$、$B\approx\frac\beta{1-\alpha}$、平均標本数が固定標本より少ない）、管理図の平均連長（ARL：シューハート $3\sigma$ で管理状態なら $1/0.0027\approx370$）、ばらつきの伝播 $\Var(g(\bm X))\approx\nabla g^\top\Sigma\nabla g$（デルタ法）、モンテカルロによる不確かさ評価。

統計応用：医薬生物学（臨床試験・疫学・メタアナリシス）

1級「統計応用（医薬生物学）」の柱。試験デザインと検出力、生存解析の理論、疫学の研究デザインと交絡、メタアナリシスを扱います。

臨床試験のデザインと解析

• 相：第Ⅰ相（安全性・用量、少数）、第Ⅱ相（有効性の探索）、第Ⅲ相（検証的 RCT）、第Ⅳ相（市販後）。
• 割り付け：単純無作為化、置換ブロック法、層別無作為化、最小化法。盲検化で評価バイアスを防ぐ。
• 解析対象：ITT（割り付け通りに解析、実務上の効果を保守的に評価）と per-protocol。
• 仮説の型：優越性、非劣性（$H_0:\mu_T-\mu_C\le-\Delta$、片側 2.5％、マージン $\Delta$ の設定が鍵）、同等性（2つの片側検定 TOST）。
• 中間解析：多重性を制御する群逐次デザイン（O'Brien–Fleming、Pocock の境界）、$\alpha$ 消費関数。
• クロスオーバー試験：各被験者が両処置を受ける。持ち越し効果と時期効果を分離。

疫学の研究デザインと指標

交絡の制御：層別（マンテル・ヘンツェル）、多変量調整（ロジスティック、Cox）、マッチング、傾向スコア、標準化（直接法・間接法、SMR）。効果修飾（交互作用）は交絡と区別し、層ごとの効果を報告します。バイアス：選択バイアス、情報バイアス（想起バイアス、誤分類：非差異的誤分類は帰無方向へ）、リードタイム・レングスバイアス（検診の評価）。

生存時間解析の理論

Cox 部分尤度のスコア $U(\bm\beta)=\sum_j\big(\bm x_{(j)}-\frac{\sum_{i\in R_j}\bm x_ie^{\bm x_i^\top\bm\beta}}{\sum_{i\in R_j}e^{\bm x_i^\top\bm\beta}}\big)$ はマルチンゲールの和として書け、これにより $\hat{\bm\beta}$ の漸近正規性が導かれます（Andersen–Gill の計数過程理論）。$\bm\beta=\bm0$ でのスコア検定がログランク検定です。ネルソン・アーレン推定量 $\hat H(t)=\sum_{t_j\le t}d_j/n_j$、ブレスロー推定量による基準ハザードの推定、競合リスク（累積発生関数、Fine–Gray モデル）、再発イベント、フレイルティ（変量効果）モデル。

メタアナリシス

研究 $i$ の効果推定値 $\hat\theta_i$、分散 $v_i$。固定効果モデル：$\hat\theta=\frac{\sum w_i\hat\theta_i}{\sum w_i}$、$w_i=1/v_i$、分散 $1/\sum w_i$。変量効果モデル（DerSimonian–Laird）：$\theta_i\sim N(\theta,\tau^2)$、$w_i^*=1/(v_i+\hat\tau^2)$。異質性は $Q=\sum w_i(\hat\theta_i-\hat\theta)^2\sim\chi^2(k-1)$ と $I^2=\frac{Q-(k-1)}Q$。出版バイアスはファンネルプロット、エッガー検定、trim-and-fill で評価。フォレストプロットで結果を提示します。

その他

診断検査の評価（感度・特異度・尤度比 $LR+=\frac{感度}{1-特異度}$・ROC）、用量反応（プロビット・ロジットによる $ED_{50}$ 推定）、経時データ（混合効果モデル、GEE：周辺モデルを作業相関行列で推定し頑健標準誤差）、ベイズ流の適応的デザイン。

多変量解析の理論：Hotelling T²・MANOVA・正準相関

多変量正規のもとでの推測理論。1変量の $t$・$F$・相関を、ベクトルと行列に拡張します。

2標本版：$T^2=\frac{n_1n_2}{n_1+n_2}(\bar{\bm X}_1-\bar{\bm X}_2)^\top S_p^{-1}(\bar{\bm X}_1-\bar{\bm X}_2)$、$\frac{n_1+n_2-p-1}{(n_1+n_2-2)p}T^2\sim F(p,n_1+n_2-p-1)$。これは2群の判別分析（マハラノビス距離 $D^2$）と $T^2=\frac{n_1n_2}{n_1+n_2}D^2$ で結ばれています。変数ごとに $t$ 検定を繰り返すより多重性を制御でき、相関を利用して検出力が上がります。

MANOVA

$k$ 群の平均ベクトルの等質性。1変量の平方和分解を行列で：全体 $T=B+W$（群間 $B$、群内 $W$、いずれも $p\times p$）。検定統計量は $W^{-1}B$ の固有値 $\lambda_1\ge\dots$ の関数：

• ウィルクスの $\Lambda$ $=\frac{|W|}{|B+W|}=\prod\frac1{1+\lambda_i}$（尤度比検定）。バートレットの近似 $-\{n-1-\frac{p+k}2\}\ln\Lambda\sim\chi^2(p(k-1))$。
• ピライのトレース $\sum\frac{\lambda_i}{1+\lambda_i}$（最も頑健）、ホテリング・ローリーのトレース $\sum\lambda_i$、ロイの最大根 $\lambda_1$。

$k=2$ ではすべて $T^2$ に帰着します。有意なら判別分析（正準判別）で「どの方向に差があるか」を調べます。

$q=1$ なら重回帰の重相関係数、$\bm X$ が群のダミー変数なら判別分析、と多くの手法を包含します。「$\rho_{k+1}=\dots=0$」の検定はバートレットの $\chi^2$。

共分散行列の推測

$S$ のウィシャート分布から、$H_0:\Sigma=\Sigma_0$ の尤度比検定、$k$ 群の共分散の等質性（ボックスの $M$ 検定、LDA の前提確認）、球面性 $H_0:\Sigma=\sigma^2I$（モークリー検定、反復測定分散分析の前提）。相関行列の固有値の漸近分布（アンダーソン）は主成分の数の検定に使われます。高次元（$p/n\to c>0$）では標本固有値は真の固有値から系統的にずれ（マルチェンコ・パスツール分布）、縮小推定が必要になります。

現代統計：高次元・スパース推定・EM の理論・変分ベイズ

$p>n$ の時代に古典理論がどう拡張されたか。1級で問われうる範囲で、Lasso の理論、EM の収束、変分推論、多重検定の FDR 理論を扱います。

高次元での古典推定の破綻

$p>n$ では $X^\top X$ が特異で OLS は定義できず、$p/n\to c\in(0,1)$ でも予測誤差は $\sigma^2/(1-c)$ に膨らみます。前提を「真の係数の多くは 0（スパース性）」に置き換えるのが現代的アプローチです。

変数選択の一致性（正しい非零集合を当てる）には、より強いirrepresentable 条件（真の変数と無関係な変数の相関が弱い）が必要で、破れると Lasso は無関係な変数を拾います。適応 Lasso（重み付き $L_1$）や SCAD はオラクル性質（真の変数を知っていた場合と同じ漸近分布）をもちます。選択後の推論には、データ分割、脱バイアス Lasso（各係数のワルド型区間）、選択的推論などがあります。

EM アルゴリズムの理論

観測 $\bm y$、潜在 $\bm z$、完全データ対数尤度 $\ell_c(\theta)=\ln f(\bm y,\bm z;\theta)$。$Q(\theta\mid\theta^{(t)})=\E[\ell_c(\theta)\mid\bm y,\theta^{(t)}]$ を最大化する反復。

収束は停留点への収束で、大域最大は保証されません。収束の速さは「欠測情報の割合」$1-\frac{I_{obs}}{I_{com}}$ に依存し、欠測が多いほど遅い（1次収束）。観測情報行列はルイの公式 $I_{obs}=I_{com}-\Var(\text{完全データスコア}\mid\bm y)$ で得られ、標準誤差の計算に使います。ECM、MCEM（E ステップをモンテカルロで）、変分 EM などの変種があります。

変分ベイズ

事後分布 $p(\bm\theta\mid\bm y)$ を、扱いやすい族 $q(\bm\theta)$ で近似し、$\mathrm{KL}(q\|p)$ を最小化。等価に証拠下界（ELBO）

$$\mathcal L(q)=\E_q[\ln p(\bm y,\bm\theta)]-\E_q[\ln q(\bm\theta)]\le\ln p(\bm y)$$

を最大化。平均場近似 $q=\prod q_j(\theta_j)$ のもとで最適な各因子は $q_j^*(\theta_j)\propto\exp\{\E_{-j}[\ln p(\bm y,\bm\theta)]\}$（座標上昇）。MCMC より高速で大規模データ向きですが、事後分散を過小評価する傾向があります。ELBO はモデル比較の近似的な基準にもなります。

FDR の理論

BH 法が独立（または正の従属 PRDS）のもとで $\mathrm{FDR}\le\frac{m_0}mq\le q$ を達成することは、各帰無 p 値が $U(0,1)$ であることと、棄却数の閾値に関する巧妙なマルチンゲール論法で示されます。$m_0$ を推定して閾値を緩める適応的 BH（Storey の $q$ 値：$\hat\pi_0=\frac{\#\{p_i>\lambda\}}{(1-\lambda)m}$）、局所 FDR（経験ベイズ：$P(H_0\mid p)$）、任意の従属性に対する BY 法（$q/\sum1/i$）があります。

その他の現代的話題

行列補完と低ランク推定（核ノルム正則化）、ランダム行列理論、共形予測（分布に依存しない予測区間）、二重機械学習（ニュサンス関数を機械学習で推定しつつ因果パラメータの $\sqrt n$ 推論）、私的情報保護（差分プライバシー）と統計的推論。

1級記述式：証明問題の型と答案の書き方

1級の統計数理は「導出せよ」「示せ」の連続です。頻出の型を通し、答案に必ず書くべき要素を整理して本書を締めくくります。

型1：分布の導出（変数変換・MGF）

型2：不偏性・UMVUE・下限

型3：検定の最適性

型4：漸近分布（CLT＋デルタ法）

答案チェックリスト

• 仮定を明示：独立性、正則条件、$n$ が大きいこと。「〜のもとで」を必ず書く。
• 定理を名前で引用：ネイマン・ピアソン、レーマン・シェフェ、スラツキー、コクラン、CLT、デルタ法。
• 定義域と場合分け：積分範囲、ランダム化の境界、$\theta$ の範囲。
• 検算：期待値の次元、$\lambda$ と $1/\lambda$ の混同、MLE の漸近分散が $1/I$ と一致するか。
• 結論を一文で：「したがって〜は〜である。」まで書き切る。

本書の全体地図

記述統計（第1部）→ 確率と標本分布から推定・検定へ（第2部）→ 尤度と行列と収束の言葉（第3部）→ モデルの森を歩く（第4部）→ 測度・条件付き期待値・完備性・決定理論（第5部）→ 最適性の証明と応用理論（第6部）。どの階も、下の階の言葉で書かれています。分からなくなったら一つ下の階へ、余裕が出たら一つ上の階へ。統計学は、そうやって何度も往復しながら身につく学問です。