Module 19: 確率・統計の応用設問
【概要】
これまでの数学の旅を通じて、我々は論理、代数、幾何、解析といった確定的な世界を探求してきました。本モジュールでは、その最後の、そして最も実社会と密接に関わる分野である「確率・統計」の世界に足を踏み入れます。Module 10で学んだ確率論が、個々の事象の起こりやすさを議論するものであったのに対し、本稿で学ぶ統計学は、その確率論を土台として、データから集団の性質を推測し、不確実性の中で意思決定を行うための、より実践的な科学です。本稿では、まず個々の試行結果を数値として捉える「確率変数」とその振る舞いを記述する「確率分布」という新しい言語を学びます。次に、二項分布や正規分布といった、現実の多くの現象をモデル化する重要な確率分布の性質を解析します。最終的には、統計学の核心である推測統計の領域に分け入り、限定された標本(サンプル)から、巨大な母集団全体の性質を推し量る「推定」と、データに基づいて仮説の妥当性を判断する「検定」という、二大推論法を体系的に習得します。このモジュールは、あなたがデータに溢れた現代社会を生き抜くための、強力な「統計的思考のOS」を授けるでしょう。
1. 確率分布:ランダムネスの構造を記述する言語
個々のサイコロの目やコインの裏表といった事象も、それらを数値に対応させ、その「出やすさ」を一覧にすることで、ランダムな現象全体の構造や性質を議論できるようになります。このための基本的な概念が、確率変数と確率分布です。
1.1. 確率変数と確率分布の概念
- 確率変数 (Random Variable)
- 定義: 試行の結果によって、その値が確率的に定まる変数。通常、X,Y,Z などの大文字で表します。
- 例: サイコロを1回投げる試行において、出る目を表す変数を X とする。この X は、1,2,3,4,5,6 のいずれかの値を、それぞれ確率 1/6 でとる確率変数です。
- 役割: これにより、「サイコロの3の目が出る」といった言葉による事象を、「X=3」という数式で扱えるようになり、計算や分析の土俵に乗せることができます。
- 確率分布 (Probability Distribution)
- 定義: 確率変数 X がとりうる全ての値と、それぞれの値をとる確率の対応関係を示したもの。
- 表現方法: 通常、表や数式、グラフで表現されます。
- 例: 上記のサイコロの例の確率分布表| X の値 (xk) | 1 | 2 | 3 | 4 | 5 | 6 | 計 || :— | :—: | :—: | :—: | :—: | :—: | :—: |:—:|| 確率 (pk) | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1 |
- すべての確率を足し合わせると、必ず1になります(∑pk=1)。
1.2. 確率変数の期待値と分散:定義と計算
確率分布という、いわばデータの「設計図」全体の性質を、少数の代表値で要約するために、期待値と分散という二つの重要な指標が用いられます。
- 期待値 (Expected Value)
- 定義: 確率変数 X がとる値とその確率の積を、すべての値について合計したもの。記号 E(X) または μ で表す。
- E(X)=∑k=1nxkpk=x1p1+x2p2+⋯+xnpn
- 本質: その試行を無数に繰り返したときに得られるであろう、結果の「平均値」。分布の「中心」や「重心」がどこにあるかを示す指標です。
- 例: サイコロの目の期待値 E(X)=1⋅61+2⋅61+⋯+6⋅61=621=3.5。
- 定義: 確率変数 X がとる値とその確率の積を、すべての値について合計したもの。記号 E(X) または μ で表す。
- 分散 (Variance)
- 定義: 確率変数の「各値と期待値との差(偏差)の2乗」の期待値。記号 V(X) または σ2 で表す。
- V(X)=E((X−μ)2)=∑k=1n(xk−μ)2pk
- 本質: データが期待値(平均)の周りにどれだけ「散らばっているか」の度合いを示す指標。分散が大きいほど、データは広くばらついていることを意味します。
- 計算用の公式: V(X)=E(X2)−{E(X)}2 (「2乗の期待値」-「期待値の2乗」)の方が、計算は格段に楽になります。
- 定義: 確率変数の「各値と期待値との差(偏差)の2乗」の期待値。記号 V(X) または σ2 で表す。
- 標準偏差 (Standard Deviation)
- 定義: 分散の正の平方根。σ=V(X)
。
- 役割: 分散は2乗された量なので単位が元と異なりますが、標準偏差は元のデータと同じ単位を持つため、散らばりの大きさをより直感的に解釈できます。
- 定義: 分散の正の平方根。σ=V(X)
1.3. 期待値と分散の性質
複数の確率変数を組み合わせたときの期待値や分散は、美しい線形性を持っています。
- 期待値の線形性:
- a,b を定数とするとき、E(aX+b)=aE(X)+b
- 2つの確率変数 X,Y について、E(X+Y)=E(X)+E(Y)
- この関係は、XとYが独立でなくても常に成り立ちます。これは期待値の非常に強力で便利な性質です。
- 分散の性質:
- V(aX+b)=a2V(X) (bの加算は分布を平行移動させるだけで、散らばりには影響しない)
- 2つの確率変数 X,Y が互いに独立であるとき、V(X+Y)=V(X)+V(Y)
- 注意: 分散の加法性が成り立つには、独立性という条件が不可欠です。
2. 重要な確率分布モデル
世の中の様々なランダム現象は、いくつかの典型的な確率分布モデルで近似することができます。ここでは、その中でも特に重要な二項分布と正規分布を学びます。
2.1. 二項分布:反復試行の結果をモデル化する
- 定義: 1回の試行で事象Aが起こる確率が p である独立な試行(ベルヌーイ試行)を n 回繰り返すとき、Aが起こる回数を表す確率変数 X が従う確率分布。記号 B(n,p) で表す。
- 確率質量関数: X=k となる確率は、反復試行の確率の公式そのものです。
- P(X=k)=nCkpk(1−p)n−k (k=0,1,…,n)
- 期待値と分散:
- 期待値 E(X)=np
- 分散 V(X)=np(1−p)
- 導出: 期待値の定義に従って ∑k⋅nCk… を計算することもできますが、よりエレガントなのは、1回の試行の結果を表す確率変数 Xi(成功なら1、失敗なら0)を考え、X=X1+X2+⋯+Xn と表現する方法です。E(Xi)=p, V(Xi)=p(1−p) なので、期待値の線形性と(独立なので)分散の加法性を用いると、上記の結果が即座に導かれます。
2.2. 連続型確率変数と確率密度関数
- 連続型確率変数: 身長や体重のように、ある区間内の任意の実数値をとりうる確率変数。
- 確率密度関数 (Probability Density Function, PDF)
- 定義: 連続型確率変数 X の分布の様子を表す関数 f(x)。
- 確率との関係: X が区間 [a,b] の値をとる確率は、曲線 y=f(x) とx軸、そして直線 x=a,x=b で囲まれた部分の面積に等しい。
- P(a≤X≤b)=∫abf(x)dx
- 注意: 連続型では、特定の一つの値をとる確率 P(X=c) は、面積が0となるため、常に0です。
2.3. 正規分布:統計学の女王
- 正規分布 (Normal Distribution):
- 統計学において最も重要な連続型の確率分布。その確率密度関数は、μ(平均)と σ2(分散)という2つのパラメータで決まり、N(μ,σ2) と表記される。グラフは、x=μ を中心とする左右対称の釣鐘型 (bell curve) となります。
- 自然界や社会現象の多くのデータ(身長、試験の点数など)が、近似的にこの分布に従うことが知られています。
- 標準化 (Standardization):
- 正規分布 N(μ,σ2) に従う確率変数 X を、Z=σX−μ という変換を行うと、Z は平均0、分散1の標準正規分布 N(0,1) に従います。
- 目的: この変換により、平均や分散が異なるあらゆる正規分布の確率計算を、一枚の標準正規分布表を用いて行えるようになります。
2.4. 二項分布の正規分布による近似
- 中心極限定理の示唆:
- 試行回数 n が大きいとき、二項分布 B(n,p) のグラフは、正規分布の釣鐘型に非常によく似てきます。
- 近似:
- n が大きく、np,n(1−p) がともに十分大きい(慣習的に5以上など)とき、二項分布 B(n,p) は、平均 μ=np、分散 σ2=np(1−p) の正規分布 N(np,np(1−p)) で近似できます。
- 連続性補正: 離散的な二項分布を連続的な正規分布で近似するため、P(X=k) を P(k−0.5≤X≤k+0.5) のように、幅1の区間の面積として扱う連続性補正を行うと、近似の精度が向上します。
3. 推測統計学:標本から母集団を読み解く
ここからが、統計学の本領である推測統計 (Inferential Statistics) の領域です。その目的は、入手可能な一部のデータ(標本)を用いて、その背後にある巨大な全体(母集団)の性質を、確率的な不確かさを評価しつつ推し量ることにあります。
3.1. 母集団と標本:統計的推測の舞台設定
- 母集団 (Population): 調査の対象となるすべての要素からなる集団。(例: 日本の全有権者)
- 標本 (Sample): 母集団から実際に調査のために選び出された要素の一部。(例: 1000人の有権者)
- 母数 (Parameter): 母集団の特性を表す値(母平均 μ, 母分散 σ2, 母比率 p など)。多くの場合、これは未知であり、我々が知りたい究極の目標です。
- 統計量 (Statistic): 標本から計算される値(標本平均 Xˉ, 標本分散 s2, 標本比率 p^ など)。
- 無作為抽出 (Random Sampling):
- 推測の妥当性を保証するための絶対的な大前提。母集団の各要素が、等しい確率で標本として選ばれるように抽出すること。これにより、標本の偏り(バイアス)をなくし、標本が母集団の「縮図」となっていることを確率的に保証します。
3.2. 中心極限定理:標本平均が従う奇跡の法則
- 標本平均 Xˉ の分布:
- 母集団から大きさ n の標本を何度も無作為抽出し、その都度、標本平均 Xˉ を計算すると、その Xˉ自体もばらつきを持つ確率変数となります。
- 標本平均の期待値と分散は、E(Xˉ)=μ、V(Xˉ)=σ2/n となります。標本サイズ n が大きいほど、標本平均のばらつきは小さくなります。
- 中心極限定理 (Central Limit Theorem, CLT):
- 主張: 元の母集団がどのような分布であっても、標本の大きさ n が十分大きいとき、標本平均 Xˉ の分布は、近似的に正規分布 N(μ,σ2/n) に従う。
- 奇跡的な意義: この定理は、母集団の形が不明であっても、標本平均については、我々がよく知る「正規分布」というモデルを適用してよい、という極めて強力な保証を与えてくれます。これが、正規分布が統計学の女王と呼ばれる所以であり、後の区間推定や仮説検定の理論的な根幹となります。
3.3. 区間推定:確信度を伴う「範囲」での予測
- 点推定と区間推定:
- 点推定: 母平均 μ を、標本平均 Xˉ という一つの値で推定する。
- 区間推定: 「母平均 μ は、95%の確率でこの区間内に含まれるだろう」というように、信頼度を伴った範囲で推定する。より現実的で有用な方法。
- 信頼区間 (Confidence Interval):
- 中心極限定理より、Xˉ は N(μ,σ2/n) に従う。標準化すると、Z=σ/n
Xˉ−μ は N(0,1) に従う。
- 標準正規分布表から、−1.96≤Z≤1.96 となる確率は95%。
- この不等式を μ について解き直すと、Xˉ−1.96n
σ≤μ≤Xˉ+1.96n
σ となる。
- この区間 [Xˉ−1.96n
σ,Xˉ+1.96n
σ] を、母平均 μ に対する信頼度95%の信頼区間といいます。
- 解釈の注意: この区間が、95%の確率で μ を含む、という意味ではありません。正しくは、「この手順で100回信頼区間を作ったら、そのうち約95個の区間が、真の母平均 μ を含んでいるだろう」という意味です。
- 中心極限定理より、Xˉ は N(μ,σ2/n) に従う。標準化すると、Z=σ/n
3.4. 仮説検定:データに基づき主張を判断する論理
- 仮説検定 (Hypothesis Testing) とは、母集団に関するある主張(仮説)が正しいと言えるかどうかを、標本データに基づいて、確率的な基準で客観的に判断する手続きです。
- 論理のフレームワーク:
- 仮説の設定:
- 帰無仮説 (H0): 棄却(否定)されることを前提として立てる仮説。「差はない」「効果はない」といった形が多い。(例: H0:μ=50)
- 対立仮説 (H1): 帰無仮説が棄却されたときに採択される、主張したい仮説。(例: H1:μ=50)
- 有意水準 (α) の設定:
- 「どのくらい珍しいことが起きたら、H0 は間違いだと判断するか」という基準。通常、α=0.05 (5%) や α=0.01 (1%) に設定する。
- 検定統計量の計算:
- 標本データから、仮説を検証するための統計量(Z値やt値など)を計算する。
- 判定:
- 棄却域: 計算された検定統計量の値が、有意水準 α の下で「起こり得ない」と判断される非常に珍しい値の範囲。
- 結論:
- 検定統計量の値が棄却域に入った場合 → H0 を棄却し、H1 を採択する(統計的に有意な差があると判断)。
- 棄却域に入らない場合 → H0 を棄却できない(有意な差があるとは言えない)。
- 仮説の設定:
- 裁判とのアナロジー:
- 帰無仮説は「被告人は無罪である」(推定無罪の原則)。対立仮説は「被告人は有罪である」。検察官(研究者)は、有罪を立証するための証拠(データ)を集める。裁判官は、「無罪であると仮定した場合、この証拠が提出される確率は極めて低い(=有意水準以下)」と判断した場合にのみ、有罪判決(H0の棄却)を下します。
【末尾の要約】
本モジュール「確率・統計の応用設問」では、不確実な現象を数学的に分析し、データから意味のある結論を導き出すための、壮大かつ実践的な理論体系を探求しました。
まず、確率論の世界をより洗練させるための言語として、確率変数と確率分布を導入し、その分布の特性を要約する期待値と分散の概念を学びました。次に、二項分布と正規分布という、数多くの現実事象をモデル化する二大分布モデルの性質を詳述し、両者が正規近似によって結びつくことを見ました。
そして、この確率論的基盤の上に、統計学の真髄である推測統計学の殿堂を築き上げました。その根幹をなすのは、「標本の大きさnが大きければ、標本平均の分布は正規分布に近づく」という、奇跡的な中心極限定理です。この定理の絶大な力を借りて、我々は母集団の未知のパラメータを、信頼度を伴った範囲で推し量る「区間推定」と、データに基づいて仮説の妥当性を客観的に判断する「仮説検定」という、二つの強力な推論手法を手にしました。
結論として、統計学とは、単なるデータの集計やグラフ作成の技術ではありません。それは、確率論という厳密な論理を基盤として、不完全な情報から、いかにして最も確からしい結論を導き出すかという、科学的推論の作法そのものです。ここで習得した、データと対話し、不確実性を評価し、論理的に意思決定を行うための「統計的思考のOS」は、あなたがこれからどのような分野に進むとしても、極めて価値のある知的コンパスとなるに違いありません。