福 岡 大 学

試験問題および解答紙

科 目 名 情報系のための確率・統計 / 担 当 者 鶴田 直之 / 過去問 完全解説ノート
100点満点全7問

この試験の設計図 ── 到達目標と大問の対応

ふりかえり資料は「どこが何点分の力を測っているか」を明かしている。先生が赤字で問題用紙に書き込んだタグ(「数学的表記法の理解」「問題と手法の対応」)が、そのまま採点の観点だと考えてよい。丸暗記ではなく、この3系統に分けて準備する。

問1 10
問2 20
問3 10
問4 20
問5 10
問6 20
問7 10

到達目標1:文章題(10点) 数学的表記法の理解(50点) 問題と手法の対応(40点)

GOAL 01

社会的意義を言語化する

  • 確率・統計を応用した情報処理の近年の事例
  • 少子化・人手不足/カーボンニュートラル/SDGs/国土強靭化
  • 5語(データマイニング・ビッグデータ・人工知能・機械学習・データサイエンス)で重要性を説明
  • デジタルトランスフォーメーションの必要性を説明
→ 大問1(文章題)。正しい日本語で書く練習が採点対象。
GOAL 02-A

数学的表記法の理解

  • 分散共分散行列
  • 固有値・固有ベクトル/固有値分解・特異値分解
  • 正規分布などの諸確率分布
  • ベイズの定理と同時確率の分解
→ 問2・問4・問7(計50点)。ここが最大の得点源
GOAL 02-B

問題と手法の対応

  • 問題の分類=「どんな問題を解くのか」(応用の分類・具体例)
  • 手法の分類=「どのように解くのか」+使い方・注意点
  • 手法は5分類:仮説検定/多変量解析/クラスタリング/認識/ベイズ統計(=シラバスの授業計画欄)
  • 出典:スタートアップ授業 2-動画(講義内容編)4ページ
→ 問3・問5・問6(計40点)。5分類に1問ずつ対応している。
GOAL 03

計算機環境の構築と実行

  • 確率・統計を使うための計算機環境の最新動向
  • 初歩的な環境を自分で構築し、実例を解ける
  • 理論と結びつけて「結果として何が言えるか」を説明できる
定期試験では問わない。演習課題(締切7/29 23:59)で評価。
戦略 問4(20点)は完全に計算問題で、手順が決まっている=取りこぼしが最も痛い。問2(20点)は判定基準さえ持っていれば1分で終わる。この40点を確実にしてから、文章題(問1・問3・問6の理由記述)に時間を回す。問4と問4(3)は「計算過程を裏面に書き残せ」と明記=部分点が用意されているので、答えが出なくても途中式は必ず書く。

問1 確率・統計の重要性(10点)

問1
10 points
到達目標1
文章題
語彙で決まる

予測困難な時代と呼ばれる現代において、大量の客観的なデータを瞬時に分析できることの利点を述べよ。また、大量のデータ、分析手法を何と呼んでいるか答えよ。

<利点>:  <大量のデータ>:  <分析手法>:

<利点> 予測が困難ということは、過去の経験が役に立たないということであるから、現状をリアルタイムに分析することによってのみ、急激な変化に対応が可能となる。

<大量のデータ> ビッグデータ

<分析手法> データマイニング

解答の論理を分解する

この設問は「便利だから」では0点に近い。「予測困難」という前提から論理的に演繹する形になっているのが模範解答の骨格である。

論理のステップ内容
① 前提の言い換え「予測困難」=過去のパターンが未来に当てはまらない=過去の経験・熟練者の勘が使えない
② そこから導かれる帰結頼れるのは「今この瞬間の観測データ」だけ
③ 技術的な要請だからリアルタイムで大量データを分析する能力が必要
④ 得られる価値急激な変化への即応が可能になる

ふりかえりが要求する「5語+DX」の説明

到達目標1は、5つの用語で確率・統計の重要性を語り、さらにDXの必要性まで説明することを求めている。用語は包含関係で整理すると混ざらない。

用語一行定義確率・統計との関係
ビッグデータ従来の手法では扱いきれない、量・種類・発生速度をもつデータ群(対象)母集団に近い規模の標本が手に入る。ただし偏り(バイアス)や欠測を統計的に評価しないと誤った結論になる
データマイニング大量データから有用な規則・パターンを掘り出す分析手法の総称(行為)「見つかった関係が偶然でないか」を判断する道具が検定・確率モデル
機械学習データから規則性を自動的に獲得するアルゴリズム群(手段)多くの手法は確率モデルのパラメータ推定(最尤推定・ベイズ推定)として定式化される
人工知能知的な判断・認識・生成を機械で実現する技術の総称(上位概念)現在のAIの中核は機械学習=確率・統計であり、出力は本質的に確率的
データサイエンス統計学・情報科学・対象分野の知識を統合し、データから価値を生む学問領域(学問)「何が言えて、何が言えないか」を確率で線引きするのが中核
つなぎの一文(暗記推奨) ビッグデータという対象に、データマイニング/機械学習という手法を適用し、人工知能として実装し、データサイエンスとして体系化する。そのすべての土台に、データのばらつきと不確実性を定量化する確率・統計がある。

デジタルトランスフォーメーション(DX)と社会問題への接続

DXは「紙をPDFにすること(デジタイゼーション)」ではなく、データが常に取れることを前提に、業務・組織・ビジネスモデルそのものを作り変えること。ふりかえりが挙げた4つの社会課題に、それぞれ確率・統計の役割を1文で言えるようにしておく。

社会課題確率・統計/DXの役割
少子化・人手不足人の経験と勘に依存した判断(需要予測、検査、シフト配置)をデータから学習したモデルで代替・支援し、少ない人数で同等の品質を維持する
カーボンニュートラル電力需要・再エネ発電量の確率的な変動を予測し、需給を最適化する。削減効果は統計的に検証して初めて主張できる
SDGs目標が定量指標で定義されている以上、標本調査と推定の精度が達成度の信頼性そのものになる
国土強靭化豪雨・地震などの極端現象の発生確率を推定し、インフラの劣化を異常検知で早期に捉える
解答用紙の赤字コメント(先生の補足) 「今回の大雨が、従来の気象現象の延長にある稀なケースなのか、根本的に違う現象なのか、確率・統計的に検定してみることもできよう。根本的に違うのであれば、新たな対策は絶対的に必要である。」
── つまり「稀な事象」と「分布そのものが変わった」を区別するのが検定、という具体例。文章題で1つ事例を書けと言われたらこれを書けばよい。

問2 多次元正規分布の性質(20点)

問2
20 points
数学的
表記法の理解
1分で満点可

次の1から5に与えられたデータに対して、分散共分散行列が次のA〜Dとして求まった。データと分散共分散行列を正しく対応付けなさい。

A = 45 (
54
45
)
  B = 15 (
20
02
)
  C = 25 (
5−3
−35
)
  D = 25 (
53
35
)

1=B 2=D 3=D 4=C 5=A

先生の赤ペンコメント:B=「無相関(=偏りなし)」/C=「負の相関(=右下がり)」/A=「Dより分散(広がり)が大」

まず記号の意味を確定させる

分散共分散行列は ΣE[(xμ)(xμ)t] であり、2次元なら次の形をしている。

Σ(
σxxσxy
σxyσyy
)
  対角=各軸の分散(広がり) 非対角=共分散(傾き)
  • 対角成分 σxx, σyy:その軸方向にどれだけ散らばっているか。必ず0以上
  • 非対角成分 σxy:正なら右上がり、負なら右下がり、0なら傾きなし。必ず対称ΣΣt)。
  • 相関係数 ρσxy/(σxσy)。−1〜1で、楕円の細長さを決める。

判定の手順(この順に見れば迷わない)

  1. 傾きの向きを見る → 右上がり=σxy>0、右下がり=σxy<0、円形/軸に平行=σxy≒0。ここで候補が3グループに割れる。
  2. 広がりの大きさを見る → 同符号の候補が複数あれば、対角成分(分散)の大きい方を「散らばりの大きい図」に割り当てる。
  3. 細長さ(相関の強さ)で最終判定ρ が1に近いほど直線に張り付いた細長い楕円。
行列σxx=σyyσxy相関係数 ρ固有値(長軸²/短軸²)散布図の見た目
A4+3.2+0.87.2 / 0.8右上がりで最も大きく広がる。細長い
B0.4000.4 / 0.4小さな円形の塊。傾きなし
C2−1.2−0.63.2 / 0.8右下がりの楕円
D2+1.2+0.63.2 / 0.8右上がりの楕円。Aより小さい

※ 固有値は 対角成分 ± 非対角成分 で出る(両対角が等しい対称行列の場合)。例:A なら 4±3.2。

この問題の“ひっかけ”:データ5個に対し行列は4個 必ずどれか1つが2回使われる(解答では D が 2 と 3 の両方)。「1対1で対応するはず」と思い込むと、無理に別の行列を当てはめて連鎖的に外す。
意味としては重要な教訓で、分散共分散行列は「平均まわりの広がりの向きと大きさ」しか表さない。点の並び順、平均の位置、曲線状の構造(非線形な関係)などは行列に一切現れないので、見た目が違う散布図でも同じ Σ になり得る
多次元正規分布として押さえる
p(x) = 1(2π)d/2 |Σ|1/2 exp {12 (xμ)t Σ−1 (xμ) }
指数部の (xμ)tΣ−1(xμ) = 一定 が等確率線=楕円。この楕円の主軸の向きが Σ の固有ベクトル、軸の長さの2乗が固有値。つまり問2と問4は同じ話をしている(問2=楕円を読む、問4=楕円の主軸を計算で出す)。この距離はマハラノビス距離と呼ばれる。

問3 検定(10点)

問3
10 points
問題と
手法の対応
暗記で満点

独立性の検定の例としては「お酒を飲む人と煙草をのむ人は独立か」という問いが考えられ、その検定にはカイ2乗分布が用いられる。さて、母平均の差の検定の例と用いる確率分布を答えよ。

<例>:  <確率分布>:

<例> 日本人もアメリカ人も身長の分布は正規分布だとして、平均は本当にアメリカ人のほうが高いか?

<確率分布> t 分布

設問の構造 ── 出題者は「型」を答えさせている

問題文が「独立性の検定 = お酒と煙草の例 = カイ2乗分布」という三つ組を見せている。だから解答も同じ三つ組の形式で書く。すなわち「2つの集団の平均を比べたい」という状況を1文で作り、分布名を答えるだけ。

解答例の作り方(自分の言葉で書けるように) テンプレート:「〇〇群と△△群の□□(連続量)の平均に差があると言えるか?」
例:新薬を投与した群と投与しない群で、血圧の平均に差があるか/A教室とB教室で、同じ試験の平均点に差があるか。
ポイントは、比較する2集団連続的な測定量が明示されていること。「男女で好きな色が違うか」だとカテゴリの話になってカイ2乗検定になってしまう。

なぜ正規分布ではなく t 分布なのか

母平均を扱うとき、標本平均は正規分布に従う。しかしその標準化には母分散 σ² が必要である。現実には母分散は分からず、標本から推定した不偏分散 s² で代用する。s² 自体がばらつく分だけ、標準正規分布より裾が厚くなる。それが t 分布。

母分散が既知 → Z = (x̄ − μ) / (σ/√n) は標準正規分布 N(0,1)
母分散が未知 → t = (x̄ − μ) / (s/√n) は自由度 n−1 の t 分布

自由度が大きくなると t 分布は標準正規分布に近づく(n が十分大きければ実質同じ)。だから「小標本で母分散未知」のときに t が本領を発揮する。

検定の早見表 ── 「何を比べたいか」から分布を引く

知りたいこと(問題)検定名(手法)確率分布典型的な例
2つのカテゴリ変数は独立か独立性の検定(クロス集計)カイ2乗分布お酒を飲む人と煙草をのむ人は独立か
観測度数が理論分布に合うか適合度検定カイ2乗分布サイコロは正しく作られているか
2群の平均に差があるか(母分散未知)母平均の差の検定(t検定)t 分布日米で身長の平均が違うか
1群の平均が基準値と違うか(母分散未知)1標本 t 検定t 分布製品の平均重量は表示の100gか
平均に関する検定(母分散が既知)Z 検定標準正規分布規格の分散が既知の工程の平均管理
2群のばらつき(分散)に差があるか等分散の検定F 分布2つの製造ラインの精度は同じか
3群以上の平均に差があるか分散分析(ANOVA)F 分布3種類の肥料で収穫量が違うか
1群の分散が基準値と違うか母分散の検定カイ2乗分布測定器のばらつきが規格内か
記述で使える検定の用語(書けると加点されやすい) 帰無仮説 H₀「差はない/独立である」を立て、対立仮説 H₁ と対比する。データから統計量を計算し、H₀ が正しいと仮定したときにその値以上に極端な値が出る確率(p 値)を求める。p 値が有意水準(通常5%や1%)より小さければ H₀ を棄却する。
誤りは2種類:第一種の誤り=本当は差がないのに「差がある」と言う(あわて者)、第二種の誤り=本当は差があるのに見逃す(ぼんやり者)。
注意:H₀ が棄却できなかったことは「差がないことの証明」ではない。

問4 主成分分析(20点)── 最重要・完全再現

問4
20 points
数学的
表記法の理解
手順で満点

学習データ x=(x,y)t として x1=(1,0)tx2=(3,2)tx3=(2,−1)tx4=(−1,−2)tx5=(0,1)t が与えられた。これらのデータを主成分分析の意味で最良近似する直線方程式を求めたい。

(1) 分散共分散行列 ΣT を求めよ (2) ΣT の固有方程式を示せ (3) 固有値と固有ベクトルを求めよ (4) 第一主成分の直線の方程式を示し、図に描け

※(1)(3)は「計算過程を裏面に書き残すこと」=部分点あり

(1) ΣT25 (
53
35
)
(
21.2
1.22
)
(2) (
10/5−λ6/5
6/510/5−λ
)
(
x
y
)
(
0
0
)
 (= ΣTu = λu、すなわち |ΣT − λI| = 0)

(3) λ1 = 16/5、u1 = (1, 1)t / λ2 = 4/5、u2 = (1, −1)t

(4) y = x − 1

先生の赤ペン:「第一主成分というのは、固有値の大きい方の固有ベクトルであり、それはデータの分散が最も大きくなる方向を示す。あるいは、誤差が最小になる最良近似直線の方向でもある。」

Step 1 ── 平均ベクトルを求める(ここを飛ばすと全滅)

分散共分散行列は必ず平均まわりで計算する。原点まわりで計算すると別物(自己相関行列)になる。

x の平均:(1 + 3 + 2 + (−1) + 0) / 5 = 5/5 = 1
y の平均:(0 + 2 + (−1) + (−2) + 1) / 5 = 0/5 = 0
μ = (1, 0)t

Step 2 ── 偏差ベクトルの表を作る

ixiyia=xi−1b=yi−0ab
11000000
23222444
32−11−111−1
4−1−2−2−2444
501−1111−1
合計10106

検算:偏差の合計は必ず 0 になる(a列:0+2+1−2−1=0、b列:0+2−1−2+1=0)。ここが合わなければ平均が間違っている。
余談:x1=(1,0) はちょうど平均そのもの。よって分散への寄与が 0 になる。

Step 3 ── 分散共分散行列(1)

σxx15 Σa² = 10/5 = 2   σyy15 Σb² = 10/5 = 2   σxy15 Σab = 6/5 = 1.2
ΣT(
26/5
6/52
)
25 (
53
35
)
n で割るか n−1 で割るか この授業(模範解答)は n=5 で割っている(標本分散)。n−1 で割るのは不偏分散で、推測統計の文脈で使う。主成分分析では固有ベクトルの向きは割る数に依存しない(全体が定数倍されるだけ)ので (4) の答えは変わらないが、(1)(3) の数値が変わるので授業に合わせて n で割ること

Step 4 ── 固有方程式(2)

固有値・固有ベクトルの定義は ΣTu = λu。移項すると (ΣT − λI)u0u0 の解を持つには係数行列が正則でなければよいので、

|ΣT − λI| = |
2−λ6/5
6/52−λ
|
= (2−λ)² − (6/5)² = 0
展開して λ² − 4λ + 4 − 36/25 = 0 → 25λ² − 100λ + 64 = 0 → (5λ − 16)(5λ − 4) = 0
因数分解の裏技(対角成分が等しい対称行列のとき) (2−λ)² = (6/5)² より 2−λ = ±6/5 と即座に解ける。
λ = 2 − 6/5 = 4/5、 λ = 2 + 6/5 = 16/5。2次方程式を展開する必要がない

Step 5 ── 固有値と固有ベクトル(3)

λ1 = 16/5 のとき: (2 − 16/5)x + (6/5)y = 0 → (−6/5)x + (6/5)y = 0 → y = xu1 = (1, 1)t
λ2 = 4/5 のとき: (2 − 4/5)x + (6/5)y = 0 → (6/5)x + (6/5)y = 0 → y = −xu2 = (1, −1)t

検算3点セット(試験中に必ずやる):

  • 固有値の和 = トレース:16/5 + 4/5 = 20/5 = 4 = 2 + 2 ✓
  • 固有値の積 = 行列式:(16/5)(4/5) = 64/25 = 2² − (6/5)² ✓
  • 対称行列なので固有ベクトルは直交:(1,1)・(1,−1) = 1 − 1 = 0 ✓

Step 6 ── 第一主成分の直線(4)

第一主成分は「最大固有値の固有ベクトルの方向」を持ち、「平均ベクトルを通る」直線。この2点が式を決める。

通る点:μ = (1, 0)  方向ベクトル:u1 = (1, 1) → 傾き 1
媒介変数表示:(x, y) = (1, 0) + t(1, 1)
y − 0 = 1·(x − 1) すなわち y = x − 1
最頻出ミス 固有ベクトルの向きだけ答えて y = x と書いてしまう。平均を通るという条件を忘れると原点を通る直線になり、この問題では −1 のずれが出る。「平均を通す」を最後に必ず確認。

図示(グラフ用紙への描き方)

y = x − 1 は (0,−1)、(1,0)、(2,1)、(3,2) を通る。定規で2点取って結べばよい。

x y 第二主成分 y = x − 1 u₁=(1,1) u₂=(1,−1) x₁(1,0)=μ x₂(3,2) x₃(2,−1) x₄(−1,−2) x₅(0,1) 2 1

この問題の意味 ── 主成分分析とは何をしているのか

見方説明
分散最大化データを直線に射影したとき、射影後の分散が最大になる方向を選ぶ。情報(ばらつき)を最も失わない軸。
誤差最小化各点から直線への垂直距離の2乗和が最小になる直線。=最良近似直線。上の2つは同じ答えになる。
回帰との違い最小二乗回帰は「y 方向の縦のずれ」を最小化するが、主成分分析は「直線への垂直距離」を最小化する。両者は一般に別の直線になる。
次元削減2次元のデータを、第一主成分の座標1つで近似的に表せる。d 次元 → k 次元の圧縮に一般化される。
寄与率(聞かれたら書ける準備を) 第一主成分の寄与率 = λ1 / (λ1 + λ2) = (16/5) / 4 = 0.8 = 80%
「1次元に落としても情報の8割が残る」という意味。分母のトレース=全分散。
関連:固有値分解は正方対称行列 ΣUΛUt特異値分解は任意の m×n 行列 XUSVt に拡張したもの。データ行列を直接SVDしても主成分が得られる(共分散行列を作らずに済み、数値的に安定)。

問5 クラスタリング(10点)

問5
10 points
問題と
手法の対応
順序で覚える

(1) 以下はクラスタリング法の手順の構成要素である。( )内に番号を付けて正しい順番を示せ。

( )標本の特徴ベクトルをグループ内学習データの平均ベクトルに置き換える。
( )N 個の標本の特徴ベクトルをランダムに設定する。
( )以上の手続きを平衡状態に達するまで繰り返す。
( )すべての学習データを最も近い標本に対応付けて N 個のグループに分ける。

(2) この手法の名称を述べよ。

3)標本の特徴ベクトルをグループ内学習データの平均ベクトルに置き換える。
1)N 個の標本の特徴ベクトルをランダムに設定する。
4)以上の手続きを平衡状態に達するまで繰り返す。
2)すべての学習データを最も近い標本に対応付けて N 個のグループに分ける。

(2) k-means 法(k平均法)

並べ替えの決め手

選択肢の文言そのものに順序のヒントが埋まっている。

手続き見分けるキーワード
1N 個の標本の特徴ベクトルをランダムに設定「ランダムに設定」=何も情報がない状態=初期化。必ず最初。
2全学習データを最も近い標本に対応付けてグループに分ける「グループに分ける」=割り当て。グループが存在しないと次が実行できない。
3標本の特徴ベクトルをグループ内の平均ベクトルに置き換える「グループ内の平均」=グループが既にある前提=更新。だから2より後。
4以上の手続きを平衡状態に達するまで繰り返す「以上の手続きを」=すべてを受ける=必ず最後

言い換えれば: 初期化 → 割り当て(Assignment)→ 更新(Update)→ 収束するまで 2・3 を反復。この「割り当てと更新の交互反復」が k-means の本体。

用語の対応(授業の言い方 ⇄ 一般的な言い方) 「標本の特徴ベクトル」=クラスタ中心(セントロイド)/「N 個」=k 個/「平衡状態」=収束(割り当てが変化しなくなる状態)
名称は「k-means 法」「k平均法」どちらでも可。平均ベクトルで中心を更新するから "means" と覚える。

使い方と注意点(到達目標2-Bで問われうる)

注意点内容と対策
初期値依存・局所解ランダム初期化なので、実行ごとに結果が変わる。最適解は保証されない。→ 複数の初期値で試して誤差(クラスタ内平方和)が最小のものを採用する/k-means++ で初期値を賢く選ぶ。
k を人間が決める必要クラスタ数は自動では決まらない。→ エルボー法(k に対する誤差の折れ曲がり)、シルエット係数などで選ぶ。
クラスタ形状の仮定ユークリッド距離+平均を使うので、等方的(球状)で同程度の大きさのクラスタが前提。細長い形や密度差の大きいデータは苦手。→ 混合正規分布+EM法、DBSCAN などを検討。
スケールの影響単位が違う特徴(cm と kg など)をそのまま使うと、値の大きい軸だけで距離が決まる。→ 標準化してから適用。
外れ値に弱い平均を使うため外れ値に中心が引っ張られる。→ 中央値を使う k-medoids など。
教師なし/教師ありの区別(最頻出の概念問題) クラスタリング=教師なし学習:正解ラベルがなく、データの構造だけからグループを見つける(k-means、階層型クラスタリング)。
識別/分類=教師あり学習:正解ラベル付きデータから境界を学ぶ(問6のベイズ識別、判別分析、SVM)。
主成分分析(問4)も教師なしだが、目的はグループ分けではなく次元削減・特徴抽出。「教師なし=クラスタリング」と短絡しないこと。
なお、k-means は非階層型階層型(凝集型)は最も近いもの同士を順に併合して樹形図(デンドログラム)を作る手法で、k を後から決められるのが利点。

問6 統計的な識別法(20点)

問6
20 points
問題と
手法の対応
割り算だけ

次の表を基に、朝の気温と湿度から、その日の午後の天気(晴、雨)を言い当てたい。

(1) 午前の気温が10℃以上、湿度が60%未満である時の晴れの事後確率を求めよ。
(2) 午前の気温が10℃未満、湿度が60%以上である時の天気を言い当てよ。また、そう答える理由を述べよ。

湿度 60%未満湿度 60%以上行合計
10℃未満晴:130 日
雨:100 日
晴:70 日
雨:200 日
500
10℃以上晴:300 日
雨: 30 日
晴:100 日
雨: 70 日
500
列合計5604401000

(1) 300 / 330 = 10/11(≒ 0.909)

(2) <天気>
<理由> 晴れの事後確率 70/270 より、雨の事後確率 200/270 の方が高いから。

やっていることは「条件の欄だけを見て割り算」

事後確率 P(クラス | 観測) とは、「観測された条件に当てはまる日だけを取り出したとき、そのうち何割がそのクラスか」。だから該当セルの中だけで割合を出せばよい。

(1) 気温10℃以上 かつ 湿度60%未満 の日 = 300 + 30 = 330 日 うち晴れ = 300 日
  P(晴 | 10℃以上, 60%未満) = 300 / 330 = 10/11 ≒ 0.909

(2) 気温10℃未満 かつ 湿度60%以上 の日 = 70 + 200 = 270 日
  P(晴 | ・) = 70/270 ≒ 0.259  P(雨 | ・) = 200/270 ≒ 0.741
  大きい方を選ぶ →
(2) は「理由」に配点がある 「雨」だけ書くと点が減る。両方の事後確率を数値で示し、大きい方を選んだと明記するのが完全解答。
書き方の型:「晴れの事後確率は 70/270 ≒ 0.26、雨の事後確率は 200/270 ≒ 0.74 であり、事後確率が最大のクラスを選ぶ(MAP 判定)ので雨と答える。」

ベイズの定理で書き直す(数学的表記法の練習)

観測を x=(気温, 湿度)、クラスを ω(晴 or 雨)とすると、

P(ω | x) = p(x | ω) P(ω)p(x)    事後確率 = (尤度 × 事前確率) / 周辺確率

(1) を定理どおりに計算して、割り算と一致することを確かめる:

事前確率 P(晴) = (130+70+300+100)/1000 = 600/1000 = 0.6  P(雨) = 400/1000 = 0.4
尤度 p(x | 晴) = 300/600 = 0.5  p(x | 雨) = 30/400 = 0.075
周辺確率 p(x) = 330/1000 = 0.33
P(晴|x) = (0.5 × 0.6) / 0.33 = 0.30/0.33 = 10/11
用語を必ずセットで覚える 事前確率 P(ω):観測する前の、そのクラスの起こりやすさ(この表では晴6割・雨4割)。
尤度 p(x|ω):そのクラスだったとして、この観測が得られる確率。
事後確率 P(ω|x):観測を踏まえて更新された、そのクラスである確率。
MAP 推定:事後確率最大のクラスを選ぶ(=この問題の判定法。誤り率が最小になる)。
最尤(ML)推定:尤度最大のクラスを選ぶ(事前確率を無視。事前確率が一様なら MAP と一致)。

4つのセルすべてを埋めて識別器を完成させる

条件該当日数P(晴|x)P(雨|x)判定誤る日数
10℃未満・60%未満230130/230 ≒ 0.565100/230 ≒ 0.435100
10℃未満・60%以上27070/270 ≒ 0.259200/270 ≒ 0.74170
10℃以上・60%未満330300/330 ≒ 0.90930/330 ≒ 0.09130
10℃以上・60%以上170100/170 ≒ 0.58870/170 ≒ 0.41270
識別誤り率270/1000 = 27%

この表全体が「気温と湿度から天気を当てる識別器」そのもの。MAP 判定を全セルで行うと誤り率が最小になる(ベイズ誤り率)という点が、統計的識別法の理論的な核心。

よくある勘違い 「10℃以上のときは晴が多いから、湿度に関係なく晴」ではない。条件を両方満たすセルだけで割ること。行合計や全体の割合で計算すると別の値になる。
また、事後確率の分母は「全1000日」ではなく「条件に該当する日数(330 や 270)」。分母を間違えると 300/1000 のような値になり、晴と雨の和が 1 にならないので気づける。P(晴|x) + P(雨|x) = 1 を検算に使う。

問7 ベイズ統計(10点)

問7
10 points
数学的
表記法の理解
規則を1つ

(1) 以下のグラフで示される因果関係に基づいて、同時確率 p(X, Y, Z) を分解しなさい。

グラフ:X → Y、X → Z、Y → Z

p(X,Y,Z) = p(Z|X,Y) p(X,Y)
       = p(Z|X,Y) p(Y|X) p(X)

覚えるべき規則はこれ一つ

p(すべてのノード) = Πi p( ノードi | そのノードの親 )

ベイジアンネットワークでは、各ノードを「自分に矢印を向けている親ノードで条件付けた確率」で書き、全部かけ算する。それだけ。

ノード書く因子
Xなしp(X)
YXp(Y|X)
ZX と Yp(Z|X,Y)

掛け合わせて p(X) p(Y|X) p(Z|X,Y)。模範解答は乗法定理を2段階に適用する書き方で示しているが、結果は同じ。答案には途中式(1行目)も書いておくと過程が伝わる。

この問題の面白いところ 3つのノードすべてが矢印で結ばれている(完全グラフ)ため、条件付き独立が1つもない。したがって結果は連鎖律(chain rule)そのものになる。
p(X,Y,Z) = p(Z|X,Y)p(Y|X)p(X) はどんな3変数でも常に成り立つ恒等式
ベイジアンネットワークの本当の価値は「矢印がない=条件付き独立」によって因子が小さくなり、必要なパラメータ数が激減する点にある。矢印を1本減らすとどうなるかを下で確認しておくこと。

矢印の形が変わったらどうなるか(類題対策)

グラフの形構造分解成り立つ独立性
X → Y → Z直列(chain)p(X)p(Y|X)p(Z|Y)Y を知ると X と Z は独立(Z ⊥ X | Y)
Y ← X → Z分岐(共通原因)p(X)p(Y|X)p(Z|X)X を知ると Y と Z は独立(Y ⊥ Z | X)=「見かけの相関」の正体
X → Z ← Y合流(collider)p(X)p(Y)p(Z|X,Y)X と Y はもともと独立。Z を知ると逆に従属になる
X→Y, X→Z, Y→Z完全グラフ(本問)p(X)p(Y|X)p(Z|X,Y)なし(連鎖律と同じ)
答案での注意 ・条件付き確率の縦棒の左が自分、右が親。逆に書くと別物になる。
・親が複数あるときは p(Z|X,Y) のようにカンマで並べるp(Z|X)p(Z|Y) は誤り。
・因子の数はノードの数と必ず一致する(3ノードなら3因子)。検算に使える。

横断整理① 応用(問題)と手法の対応 ── 出典:スタートアップ授業 2-動画 p.4

ふりかえりが名指しで「復習しておけ」と指定したのがこのページ。右半分(手法の分類)はシラバスの授業計画欄と同じと注記されている。つまりこの表の手法5分類が、そのまま授業の骨格であり、試験の骨格でもある。

応用(どんな問題を解くのか)手法(どのように解くのか)
分類具体例分類具体例
仮説検定適合度、独立性、母平均差、母比率差、母分散比仮説検定カイ2乗検定、F検定、T検定、ベイズ統計
多変量データの解析マーケティング、因子分析、次元削減、可視化、特徴抽出多変量解析回帰分析、主成分分析、独立成分分析、潜在的意味分析、ベイズ線形回帰
クラスタリング顧客分類、患者分類、都市分類、犯罪分類クラスタリングウォード法、k-means法、スペクトラルクラスタリング
検出・識別・認識顔検出、画像認識、音声認識認識ベイズ決定則、サポートベクターマシン、ニューラルネットワーク
モデリング政策の最適化、薬の効果分析ベイズ統計ベイジアンネットワーク、MCMC法
シミュレーション・予測市場予測、リスク評価ベイズ統計ベイジアンネットワーク、MCMC法
最大の発見:過去問はこの表を1行ずつ出題している 手法の分類は仮説検定/多変量解析/クラスタリング/認識/ベイズ統計の5つ。過去問の問3〜問7が、この5分類にちょうど1問ずつ対応している。「今どの行の話をしているか」を意識すれば、初見の設問でも解くべき枠が決まる。
過去問手法の分類(この表の行)応用の側から見ると問われた具体例
問3仮説検定独立性/母平均差母平均の差の検定 → T検定(t 分布)。独立性 → カイ2乗検定
問4多変量解析次元削減・可視化・特徴抽出主成分分析(固有値・固有ベクトル)
問5クラスタリング顧客分類・患者分類などk-means 法の手順と名称
問6認識検出・識別・認識ベイズ決定則(事後確率最大=MAP判定)
問7ベイズ統計モデリング/シミュレーション・予測ベイジアンネットワークによる同時確率の分解
問2(全手法の土台)データの分布そのものの記述分散共分散行列と多次元正規分布
問1(到達目標1)社会実装としての意義ビッグデータ/データマイニング

表に載っている用語の一行説明(穴を埋めておく)

「どの問題をどの手法で解くべきか」を答えるには、授業で深く扱っていない用語も名前と役割だけは言える必要がある。太字が過去問で実際に問われたもの。

分類手法何をする手法か
仮説検定カイ2乗検定度数(カウント)の偏りを見る。独立性の検定・適合度の検定に使う
T検定母分散が未知のときの平均に関する検定。母平均の差の検定の標準
F検定2つの分散の比を見る。等分散の検定、分散分析(3群以上の平均比較)
ベイズ統計(検定として)仮説そのものの事後確率を計算して比較する立場。p 値ではなくベイズファクターで判断する
多変量解析回帰分析説明変数から目的変数を予測する。誤差(縦方向)の2乗和を最小化
主成分分析(PCA)分散が最大になる軸を固有ベクトルとして求め、次元を削減する
独立成分分析(ICA)混ざり合った信号を、統計的に独立な成分に分離する(例:混合音声の分離)。PCAが無相関化なのに対し、ICAは独立性まで要求する
潜在的意味分析(LSA)文書×単語の行列を特異値分解し、背後の「意味の次元」を取り出す。検索・自然言語処理で使う
ベイズ線形回帰回帰係数を1つの値ではなく確率分布として推定する。予測に信頼区間が付き、データが少なくても過学習しにくい
クラスタリングウォード法階層型クラスタリングの代表。クラスタ内の平方和の増加が最小になる組を順に併合し、デンドログラムを作る
k-means 法非階層型。初期化→割り当て→平均で更新、を収束まで反復
スペクトラルクラスタリングデータ間の類似度グラフを作り、そのラプラシアン行列の固有ベクトルの空間で分割する。三日月型などk-meansが苦手な非球状のクラスタにも対応できる
認識ベイズ決定則事後確率が最大のクラスに判定する(MAP判定)。理論上、誤り率が最小になる
サポートベクターマシン(SVM)2クラスの間隔(マージン)が最大になる境界を引く。カーネル法で非線形の境界も扱える
ニューラルネットワーク非線形変換の多層合成で複雑な境界を学習する。深層学習の基礎
ベイズ統計ベイジアンネットワーク変数間の因果・依存関係を有向グラフで表し、同時確率を「各ノード|その親」の積に分解する
MCMC法解析的に計算できない事後分布から、乱数によるシミュレーションで標本を得る方法(マルコフ連鎖モンテカルロ)。ベイズ推論の実行手段
応用側の具体例も答えられるようにする 「どんな問題を解くのか」を問われたら、表の左側から即答する。
仮説検定 → 適合度・独立性・母平均差・母比率差・母分散比/多変量解析 → マーケティング、因子分析、次元削減、可視化、特徴抽出/クラスタリング → 顧客分類、患者分類、都市分類、犯罪分類/認識 → 顔検出、画像認識、音声認識/ベイズ統計 → 政策の最適化、薬の効果分析、市場予測、リスク評価
問1の文章題で「近年の応用事例」を書くときも、この左側の語彙をそのまま使えば授業の枠内で答えられる。

手法の「使い方・注意点」(ふりかえりが要求している部分)

手法使うときの前提・注意点
仮説検定帰無仮説と有意水準をデータを見る前に決める。棄却できない=差がないの証明ではない。母分散が既知なら Z、未知なら T。第一種/第二種の誤りを区別する
主成分分析必ず平均を引いてから共分散行列を作る。単位が違う変数は標準化(相関行列を使う)。寄与率で残す次元数を決める。軸に解釈を与えるのは人間の仕事
クラスタリング教師なしなので正解がない。k は人が決める(エルボー法など)。k-means は初期値依存・局所解・球状クラスタ前提。スケールを揃える
認識(識別)教師あり。事前確率の偏りが判定を変える。学習データの少ないセルの確率は信用しない。誤りの種類(見逃しと誤検出)で代償が違う場合は損失を重み付けする
ベイズ統計矢印の向き=因果の仮定であり、データだけからは決まらない。事前分布の選び方が結果に影響する。分解した因子の数はノード数と一致する

横断整理② 数学的表記法チェックリスト

到達目標2-Aは「理論を説明するための数学的表記法を理解する」。読めるだけでなく、白紙から書ける状態にしておく。

記号・式読み方意味と注意
x = (x, y)t転置つき列ベクトルデータは縦ベクトルで扱う。t を書き忘れると行ベクトルになり、行列の積の形が崩れる
μE[x]平均ベクトル各成分ごとの平均を並べたもの
ΣE[(xμ)(xμ)t]分散共分散行列縦×横なので結果は d×d の対称行列。順序を逆にするとスカラーになってしまう
ρσxy/(σxσy)相関係数−1 ≤ ρ ≤ 1。単位に依存しない
Σu = λu固有値方程式u0。固有ベクトルは定数倍の自由度があるので (1,1) でも (2,2) でも正解
|Σ − λI| = 0固有方程式(特性方程式)行列式=0。d 次なら λ の d 次方程式
tr(Σ) = Σλiトレース=固有値の和全分散。寄与率の分母になる。検算に必須
ΣUΛUt固有値分解(スペクトル分解)対称行列限定。U は固有ベクトルを並べた直交行列、Λ は固有値の対角行列
XUSVt特異値分解(SVD)正方でなくてもよい一般化。特異値の2乗が固有値に対応
N(μ, Σ)多次元正規分布指数部 (xμ)tΣ−1(xμ)=マハラノビス距離²。等確率線が楕円
P(A|B) = P(B|A)P(A) / P(B)ベイズの定理左右の条件を入れ替える公式。分母は周辺確率 ΣAP(B|A)P(A)
p(X,Y) = p(Y|X)p(X)乗法定理/連鎖律常に成立。独立なら p(X)p(Y) に簡約される

直前ドリル ── 行をクリックで解答表示

大量のデータのことを何と呼ぶか
tap
ビッグデータ
大量のデータから有用な規則を掘り出す分析手法の総称は
tap
データマイニング
母平均の差の検定に用いる確率分布は
tap
t 分布
独立性の検定に用いる確率分布は
tap
カイ2乗分布
2群の分散に差があるかを調べる検定に用いる分布は
tap
F 分布
分散共分散行列の対角成分・非対角成分はそれぞれ何か
tap
分散/共分散
共分散が 0 の散布図の見た目は
tap
傾きのない円形
共分散が負のときの散布図の傾きは
tap
右下がり
分散共分散行列を計算する前に必ずすることは
tap
平均を引く(中心化)
固有方程式の形を式で書くと
tap
|Σ − λI| = 0
第一主成分とは何の方向か(2通りで)
tap
最大固有値の固有ベクトル=分散最大=誤差最小
第一主成分の直線が必ず通る点は
tap
平均ベクトル
固有値の和と一致する行列の量は
tap
トレース(対角成分の和)
第一主成分の寄与率の式は
tap
λ₁ / Σλi
対称行列の異なる固有値に対する固有ベクトルの関係は
tap
直交する
k-means の 4 手順を順に
tap
初期化→割り当て→平均で更新→収束まで反復
k-means の最大の弱点を2つ
tap
初期値依存(局所解)/k を人が決める
クラスタリングと識別は教師あり・なしのどちらか
tap
クラスタリング=教師なし/識別=教師あり
事後確率 = ? の式
tap
(尤度 × 事前確率) / 周辺確率
事後確率が最大のクラスを選ぶ判定法の名前は
tap
MAP 判定(最大事後確率)
ベイジアンネットワークの分解規則を一言で
tap
各ノードを親で条件付けた確率の積
X→Y→Z のとき成り立つ条件付き独立は
tap
Y を与えると X と Z は独立
多次元正規分布の等確率線の形は
tap
楕円(主軸が Σ の固有ベクトル)
正方対称行列に限らない一般の行列への分解の拡張は
tap
特異値分解(SVD)
手法の5分類をすべて挙げよ
tap
仮説検定/多変量解析/クラスタリング/認識/ベイズ統計
仮説検定に分類される手法の具体例を4つ
tap
カイ2乗検定、F検定、T検定、ベイズ統計
多変量解析の具体例を5つ
tap
回帰分析、主成分分析、独立成分分析、潜在的意味分析、ベイズ線形回帰
クラスタリングの具体例を3つ
tap
ウォード法、k-means法、スペクトラルクラスタリング
認識(識別)の具体例を3つ
tap
ベイズ決定則、SVM、ニューラルネットワーク
ベイズ統計の具体例を2つ
tap
ベイジアンネットワーク、MCMC法
階層型クラスタリングの代表的手法は
tap
ウォード法(デンドログラムを作る)
k-meansが苦手な非球状クラスタに強い手法は
tap
スペクトラルクラスタリング
事後分布から乱数で標本を得るベイズ推論の実行手段は
tap
MCMC法(マルコフ連鎖モンテカルロ)
仮説検定の応用例を5つ(応用側の語彙で)
tap
適合度、独立性、母平均差、母比率差、母分散比
検出・識別・認識の応用例を3つ
tap
顔検出、画像認識、音声認識

試験直前チェック

計算問題(問4)で落とさないための7手順

  1. 平均ベクトルを求める(偏差の和が 0 かで検算)
  2. 偏差の表を作り、a²、b²、ab の3列を合計する
  3. n で割って Σ を作り、共通因数でくくって答案の形に整える
  4. |Σ − λI| = 0 を「固有方程式」として明示して書く
  5. 固有値を求め、和=トレース/積=行列式で検算
  6. 各固有値を代入して固有ベクトルを求め、直交性で検算
  7. 平均を通ることを使って直線の式にし、グラフ用紙に2点取って引く

記述で加点を取りにいく言い回し

場面書くべき一文
問1(利点)「予測困難=過去の経験が役に立たないということであり、現状をリアルタイムに分析することでのみ急激な変化に対応できる」
問3(例)「〇〇群と△△群の□□の平均に差があると言えるか」+「母分散が未知なので t 分布を用いる」
問4(第一主成分の意味)「最大固有値の固有ベクトル方向であり、データの分散が最大=近似誤差が最小になる方向である」
問6(理由)「晴の事後確率○○より雨の事後確率○○の方が大きく、事後確率最大のクラスを選ぶため」
問7(根拠)「各ノードをその親で条件付けた確率の積に分解した」

「学んだこと」欄が出たときの書き方

ふりかえりは到達目標とは別に「何を技術として重要だと考えたか/何が自分にとって重要だったか/何に強く興味を引かれたか」を挙げている。科目の知識ではなく、自分の視点を書く欄なので、テンプレ的な感想では意味がない。次の型で1つ具体例を持っておく。

構成の型 ① 授業のどの内容か(例:主成分分析/ベイズ識別/検定)
② それが何を可能にするか、自分の言葉で(例:高次元のデータを、情報の損失を数値で把握しながら圧縮できる)
③ 自分の関心・経験とどう接続したか(例:自分が作るアプリで扱うログデータも同じ枠組みで整理できると気づいた/AIの出力が確率的である以上、その不確実性をユーザーにどう提示するかが設計の問題になると考えた)
④ 今後どう使うか(例:単なる精度の数値ではなく、誤りの種類と代償を区別して評価したい)
日程メモ 到達目標3(環境構築・実行)は定期試験では問われず、演習で評価。全演習課題の締切は7月29日 23:59。試験勉強は到達目標1・2に集中してよい。