機械学習の手法と評価

1. 教師あり学習 回帰と分類を分ける道具

正解つきのデータから予測の規則を学ぶのが教師あり学習です。回帰と分類の違い、決定木とアンサンブル、SVM、そして時系列のARモデルまでを一続きに整理します。

教師あり学習は、入力になる特徴量と、その答えである教師データのペアを与えて、入力から答えを言い当てる規則を学ばせるやり方です。シラバスはこの中項目の目標の先頭に「教師あり学習には、特徴量と教師データのペアが必要であることを理解する」と置いています。裏を返せば、正解が用意できないデータしか手元に無い場面では、そもそもこの枠組みに乗りません。ここが教師なし学習や強化学習との分かれ道になります。

教師あり学習が扱う問題は、大きく回帰問題と分類問題に分かれます。回帰問題は売上や気温のような連続値を予測するもの、分類問題は迷惑メールかどうか、どの品種かといった離散的なクラスを予測するものです。クラスが3つ以上あるものは多クラス分類と呼ばれます。線形回帰は回帰問題の基本形で、説明変数が1つのものを単回帰分析、2つ以上のものを重回帰分析といいます。

ここで最初のつまずきどころが来ます。ロジスティック回帰は、名前に「回帰」が付いていますが分類に使う手法です。線形の計算結果を確率の形に押し込んで、そのクラスに属する確率として読むところが要点になります。名前だけで回帰問題の手法だと決めつけると、四択でそのまま落とされます。シラバスでも線形回帰とロジスティック回帰は同じ「7. 教師あり学習」の中に並んでいますが、役割は回帰と分類で分かれています。

決定木は、特徴量に対する条件分岐を木の形に並べてデータを絞り込んでいく手法です。どの条件でどちらへ進んだかを人が読み取れるので、説明のしやすさでは群を抜きます。ただし木を深く育てるほど訓練データの細かい癖まで覚えてしまい、単体では過学習しやすいという弱点があります。そこで、木を1本で使うのではなく大量に束ねる発想が出てきます。

多数のモデルを束ねて1つの答えを出すやり方をアンサンブル学習といい、束ね方に大きく2通りあります。バギングは、ブートストラップサンプリングという重複を許した抽出で少しずつ違う訓練データを作り、そこから作った学習器を並列に、互いに独立に学習させて多数決や平均をとります。ランダムフォレストがその代表で、決定木を大量に並列に育てます。

もう一方のブースティングは、学習器を逐次に足していきます。前の学習器が間違えた例を重く扱いながら次の学習器を作るので、順番に依存し、並列には作れません。勾配ブースティングがその代表です。並列のバギングと逐次のブースティング、この対比はほぼ必ず問われます。ランダムフォレストがどちらの仲間かも合わせて覚えてください。

サポートベクターマシン(SVM)は、境界と最も近いデータ点との間隔、すなわちマージンが最大になる位置に境界を引きます。これがマージン最大化です。まっすぐな境界では分けられないデータは、高次元へ写してから分ければよいのですが、写した先の座標をまともに計算すると重くなります。そこで写像後の内積だけをカーネル関数で直接求めるのがカーネルトリックで、座標を計算せずに非線形な分離ができます。

最後に時系列です。自己回帰モデル(ARモデル)は、1つの時系列の現在の値を、その系列自身の過去の値で説明します。ベクトル自己回帰モデル(VARモデル)は、複数の時系列を並べて、互いの過去の値で説明し合う形に広げたものです。1本か複数本か、という違いで覚えておくと取り違えません。

教師あり学習で手法を選ぶときの順番 1. 予測したいものは連続値か、クラスか   連続値 -> 回帰問題（線形回帰、単回帰分析、重回帰分析）   クラス -> 分類問題（ロジスティック回帰、決定木、SVM） 2. 1本のモデルで足りるか   足りない -> アンサンブル学習      並列に束ねる -> バギング（ランダムフォレスト）      逐次に足す   -> ブースティング（勾配ブースティング） 3. 予測したいものが時間に沿って並んでいるか   1系列だけ -> ARモデル   複数系列   -> VARモデル

用語

教師あり学習

特徴量と教師データ（正解）のペアを与えて、入力から答えを予測する規則を学ばせる枠組み。ペアが必要であることがシラバスの目標に明記されている。

回帰問題

売上や気温のような連続値を予測する問題。線形回帰が基本形。

分類問題

離散的なクラスのどれに属するかを予測する問題。クラスが3つ以上あるものが多クラス分類。

単回帰分析

説明変数が1つの回帰分析。説明変数が2つ以上になると重回帰分析と呼ぶ。

ロジスティック回帰

名前に反して分類に使う手法。線形の計算結果を確率の形に変換し、クラスに属する確率として読む。

決定木

条件分岐の木でデータを絞り込む手法。分岐の条件を人が読み取れる一方、単体では過学習しやすい。

アンサンブル学習

複数のモデルを束ねて1つの答えを出す考え方。束ね方の代表がバギングとブースティング。

ブートストラップサンプリング

重複を許して元データから標本を取り直す方法。バギングで少しずつ違う訓練データを作るのに使う。

バギング

学習器を並列に、互いに独立に学習させて多数決や平均をとる束ね方。ランダムフォレストが代表例。

ブースティング

前の学習器が誤った例を重く扱いながら学習器を逐次に足していく束ね方。勾配ブースティングが代表例。

ランダムフォレスト

ブートストラップサンプリングで作った多数の決定木を並列に育てる、バギングの代表例。

マージン最大化

SVMが、境界と最も近いデータ点との間隔が最大になる位置に境界を引くこと。

カーネルトリック

高次元へ写した後の座標を計算せず、内積だけをカーネル関数で直接求めて非線形な分離を行う工夫。

自己回帰モデル(ARモデル)

1つの時系列の現在の値を、その系列自身の過去の値で説明するモデル。複数系列に広げたものがVARモデル。

例題

出典・根拠：一般社団法人日本ディープラーニング協会「G検定 試験出題範囲（シラバス 2024）」第1.4版（2026年5月11日） 技術分野　機械学習の概要　7. 教師あり学習

2. 教師なし学習と強化学習 正解が無いところで学ぶ

正解ラベルが無くても学べる道はふたつ。データの構造そのものを見つける教師なし学習と、報酬を手がかりに行動を直していく強化学習を、まとめて押さえます。

教師なし学習は、正解ラベルを持たず、特徴量だけを与えてデータそのものが持つ構造や規則を見つけさせるやり方です。シラバスの目標にも「教師なし学習には、特徴量のみが必要であることを理解する」と書かれています。答え合わせをする相手がいないので、出てきた結果が何を意味するのかは人が解釈することになります。ここが教師あり学習との一番大きな違いです。

代表的な仕事のひとつがクラスタリング、つまり似たものどうしをまとめる作業です。k-means法は、クラスタ数kをあらかじめ決めておき、各点を最も近い重心に割り当てる操作と重心の再計算を繰り返します。非階層の手法で、樹形図は作りません。一方ウォード法は階層的クラスタリングで、近いものから順に併合していく過程をデンドログラム（樹形図）として描けます。何個に分けるかを後から決めたいならこちらです。

もうひとつの柱が次元削減です。主成分分析(PCA)は、分散が最大になる方向に軸を取り直して情報の損失を抑えながら次元を落とす線形の手法です。t-SNEは近い点どうしの近さを保つように低次元へ写す非線形の手法で、2次元や3次元での可視化によく使われます。多次元尺度構成法(MDS)は点どうしの距離関係を保つ配置を探し、特異値分解(SVD)は行列を分解する形で成分を取り出します。PCAは線形、t-SNEは非線形という対比が問われます。

文書を扱う場面ではトピックモデルが出てきます。1つの文書がいくつかの話題の混ざり物だとみなし、その話題の割合を推定する考え方で、潜在的ディリクレ配分法(LDA)が代表です。どの話題が何個あるかを人が用意する必要はなく、単語の出方から話題を浮かび上がらせます。

推薦の場面では協調フィルタリングが使われます。似た好みの利用者が高く評価したものを勧める、あるいは一緒に買われている商品を勧める、という具合に評価の履歴を手がかりにします。ここで避けられないのがコールドスタート問題で、新しい利用者や新しい商品には履歴が無く、手がかりが取れません。商品の説明文や属性そのものを手がかりにするコンテンツベースフィルタリングは、この弱点を補う方向の考え方です。

ここから強化学習に移ります。強化学習は、環境の中でエージェントが行動し、状態が変わり、報酬を受け取る、というやり取りを繰り返しながら、累積の報酬が大きくなる方策を学びます。この枠組みを数学的に整えたものがマルコフ決定過程です。学習の手がかりは1手ごとの正解ラベルではなく報酬である、という点をまず押さえてください。遠い将来の報酬をどれだけ軽く見るかを決めるのが割引率で、1に近いほど先を見る学習になります。

シラバスは「価値関数の学習と、方策の学習の2つの代表的なアプローチを理解する」ことを目標に挙げています。前者はその状態の良さを表す状態価値関数や、その状態でその行動をとる良さを表す行動価値関数を推定してから行動を選ぶやり方で、Q学習とSARSAが代表です。両者の違いは更新に何を使うかで、Q学習は次の状態で価値が最大の行動を使い、SARSAは実際に選んだ次の行動を使います。後者は方策そのものをパラメータで表して直接更新するやり方で、方策勾配法やREINFORCEが代表です。Actor-Criticは方策を担うActorと価値を担うCriticを組み合わせ、両方を併せ持ちます。

最後に探索と活用の兼ね合いです。今いちばん良さそうな手ばかり選んでいると、まだ試していない良い手を見つけられません。バンディットアルゴリズムはこの問題を扱う枠組みで、ε-greedy方策は一定の確率εでランダムに試し、残りで最も良さそうな手を選びます。UCB方策は、推定の不確かさが大きい手ほど選ばれやすくなる形で探索を促します。

強化学習の用語を1本の流れに並べる 環境の中でエージェントが行動する  -> 状態が変わり、報酬を受け取る（マルコフ決定過程）  -> 遠い将来の報酬ほど割引率で小さく評価する 学び方は大きく2つ  A. 価値関数を学ぶ     状態価値関数（その状態の良さ）     行動価値関数（その状態でその行動をとる良さ）     代表手法: Q学習, SARSA  B. 方策を直接学ぶ     代表手法: 方策勾配法, REINFORCE  A と B を組み合わせたもの: Actor-Critic まだ試していない手を試すか（探索）、今よい手を選ぶか（活用）  代表手法: ε-greedy 方策, UCB 方策（バンディットアルゴリズム）

用語

教師なし学習

特徴量のみを与えて、データそのものが持つ構造や規則を見つけさせる枠組み。正解ラベルは使わない。

k-means法

クラスタ数kを先に決め、最も近い重心への割り当てと重心の再計算を繰り返す非階層クラスタリング。樹形図は作らない。

ウォード法

近いものから順に併合していく階層的クラスタリング。併合の過程をデンドログラム（樹形図）として描ける。

主成分分析(PCA)

分散が最大になる方向へ軸を取り直す線形の次元削減。

t-SNE

近い点どうしの近さを保つように低次元へ写す非線形の次元削減。可視化に向く。

潜在的ディリクレ配分法(LDA)

文書をいくつかの話題の混ざり物とみなして話題の割合を推定する、トピックモデルの代表。

協調フィルタリング

利用者どうし、または商品どうしの評価の似かたを手がかりに推薦する方法。

コールドスタート問題

履歴がまだ無い新しい利用者や商品には手がかりが取れず、推薦を出しにくいという協調フィルタリングの弱点。

強化学習

環境とのやり取りで受け取る報酬を手がかりに、累積の報酬が大きくなる方策を学ぶ枠組み。正解ラベルは使わない。

割引率

遠い将来の報酬をどれだけ軽く見るかを決める値。1に近いほど先まで見る学習になる。

行動価値関数

その状態でその行動をとることの良さを表す関数。状態そのものの良さを表すのが状態価値関数。

Q学習とSARSA

どちらも行動価値関数を更新する手法。Q学習は次の状態で価値が最大の行動を使い、SARSAは実際に選んだ次の行動を使う。

方策勾配法

方策そのものをパラメータで表して直接更新するアプローチ。REINFORCEが代表例。

Actor-Critic

方策を担うActorと価値を担うCriticを組み合わせ、方策の学習と価値関数の学習を併せ持つ手法。

ε-greedy方策

一定の確率εでランダムに試し、残りの確率で推定価値が最大の手を選ぶ、探索と活用の兼ね合いのとり方。

例題

出典・根拠：一般社団法人日本ディープラーニング協会「G検定 試験出題範囲（シラバス 2024）」第1.4版（2026年5月11日） 技術分野　機械学習の概要　8. 教師なし学習／同 技術分野　機械学習の概要　9. 強化学習

3. モデルの選択・評価と、支えになる統計

作ったモデルが本当に使えるのかを測る物差しの話です。混同行列から出る指標、ROC曲線とAUC、交差検証、情報量規準、そして土台になる統計の基本をまとめます。

モデルに求められているのは、訓練データをうまく再現することではなく、まだ見ていないデータでも当たることです。この力を汎化性能といいます。訓練データに合わせ込みすぎて細かい癖まで覚えてしまい、新しいデータで成績が落ちる状態が過学習です。訓練データでの成績だけを見ていては過学習に気づけないので、必ず学習に使っていないデータで測ります。

測り方の基本は2つです。ホールドアウト検証は、手元のデータを訓練用と検証用に一度だけ分けます。単純で計算も軽い代わりに、たまたまどう分かれたかに結果が左右されます。k-分割交差検証は、データをk個に分け、1つを検証、残りを学習に使う手続きをk回繰り返して結果を平均します。全部のデータが一度ずつ検証に回るので、分割の運に振り回されにくく、データが少ないときほど効きます。

分類の評価は混同行列から始まります。実際に陽性か陰性か、モデルが陽性と予測したか陰性と予測したかの組合せで、真陽性・偽陽性・偽陰性・真陰性の4つに数えます。ここから出る指標はどれも、この4つの数のどれを分子に、どれを分母に置くかの違いにすぎません。数字を暗記するのではなく、分母に何を置いているかで区別してください。

正解率は、全件のうち正しく当てた割合です。適合率は、陽性と予測したもののうち実際に陽性だった割合で、分母が予測側にあります。再現率は、実際に陽性のもののうち拾えた割合で、分母が実際側にあります。この2つを逆に覚える誤りが最も多いので、分母が予測か実際かで思い出してください。誤検出を減らしたいときは適合率、見逃しを減らしたいときは再現率を重く見ます。F値はこの2つの調和平均で、算術平均ではありません。調和平均は小さいほうへ引き寄せられるので、片方だけ高くても数字が伸びません。

正解率にはわなもあります。陽性が全体の1%しかないデータでは、すべて陰性と答えるだけで正解率は99%になりますが、陽性は1件も拾えていません。クラスの数が釣り合っていないときは、正解率だけを見て判断しないことです。閾値の取り方によらず全体を見たいときはROC曲線を描きます。縦軸に真陽性率、横軸に偽陽性率をとり、その下の面積がAUCです。AUCは1に近いほど良く、0.5はでたらめに判定したのと同じ水準です。なお縦軸を適合率、横軸を再現率にすると、これとは別の曲線になります。

回帰の評価には、平均二乗誤差(MSE)、二乗平均平方根誤差(RMSE)、平均絶対値誤差(MAE)を使います。MSEは誤差を二乗して平均したもので、大きな外れをより強く罰します。その平方根がRMSEで、誤差ともとの単位がそろうので読みやすくなります。MAEは誤差の絶対値の平均で、外れ値の影響がMSEほど強く出ません。同じ予測でも、どの物差しを使うかで良し悪しの見え方が変わります。

モデルの複雑さそのものを罰する物差しもあります。赤池情報量規準(AIC)とベイズ情報量規準(BIC)は、データへの当てはまりの良さと、パラメータを増やしたことへの罰則を足し合わせた指標で、どちらも値が小さいほど良いモデルとみなします。大きいほど良い、と覚え違えないでください。必要以上に複雑な説明を持ち込まないというオッカムの剃刀の考え方と、同じ向きを向いた道具です。

土台には統計の基本があります。代表値には平均・中央値・最頻値があり、外れ値があるときに大きく動くのは平均です。ばらつきは分散と標準偏差で見ます。データがどんな形で散らばっているかは確率分布で表し、正規分布はその代表で、確率変数の平均的な値が期待値です。2つの量が一緒に動く度合いは共分散、それを単位によらない形に直したものが相関係数ですが、相関があるからといって因果があるとは限りません。共通の要因があるために関係の無い2つが一緒に動くことを疑似相関といいます。ほかに、ある条件のもとでの確率を表す条件付き確率、点どうしの近さを測るユークリッド距離やマハラノビス距離、向きの近さを測るコサイン類似度、当てはめの基準となる最小二乗法や最尤法、検定で立てる帰無仮説と対立仮説も、この中項目に並んでいます。

混同行列の置き方と、指標の作り方                 実際に陽性   実際に陰性  予測が陽性        TP           FP  予測が陰性        FN           TN   正解率 = (TP + TN) / (TP + FP + FN + TN)  適合率 = TP / (TP + FP)     分母は「陽性と予測した数」  再現率 = TP / (TP + FN)     分母は「実際に陽性の数」  F値   = 2 * 適合率 * 再現率 / (適合率 + 再現率)   調和平均   ROC 曲線: 縦軸 真陽性率, 横軸 偽陽性率。その下の面積が AUC  AIC, BIC: 値が小さいほうが良いモデル

用語

汎化性能

まだ見ていないデータに対しても当たる力。モデルの評価はここを推定するために行う。

過学習

訓練データに合わせ込みすぎて細かい癖まで覚え、新しいデータで成績が落ちる状態。

ホールドアウト検証

手元のデータを訓練用と検証用に一度だけ分ける検証方法。軽いが分割の仕方に左右されやすい。

k-分割交差検証

データをk個に分け、1つを検証、残りを学習に使う手続きをk回繰り返して平均する検証方法。

混同行列

真陽性・偽陽性・偽陰性・真陰性の4つの数え方をまとめた表。分類の評価指標はここから作られる。

適合率

陽性と予測したもののうち実際に陽性だった割合。分母は予測側。誤検出を減らしたいときに重く見る。

再現率

実際に陽性のもののうち拾えた割合。分母は実際側。見逃しを減らしたいときに重く見る。

F値

適合率と再現率の調和平均。算術平均ではなく、片方だけが高くても値は伸びない。

ROC曲線・AUC

縦軸に真陽性率、横軸に偽陽性率をとって閾値を動かしながら描く曲線がROC曲線。その下の面積がAUCで、1に近いほど良い。

MSE・RMSE・MAE

回帰の誤差の物差し。MSEは誤差の二乗の平均、RMSEはその平方根で単位がそろう、MAEは誤差の絶対値の平均。

AIC・BIC

当てはまりの良さとパラメータ数への罰則を足し合わせた情報量規準。どちらも値が小さいほど良い。

オッカムの剃刀

必要以上に複雑な説明を持ち込まないという指針。情報量規準が罰則を置く考え方と同じ向き。

代表値

平均・中央値・最頻値。外れ値があるときに大きく引っ張られるのは平均で、中央値は動きにくい。

疑似相関

共通の要因があるために、直接の因果が無い2つの間にも相関が現れること。相関は因果を意味しない。

例題

出典・根拠：一般社団法人日本ディープラーニング協会「G検定 試験出題範囲（シラバス 2024）」第1.4版（2026年5月11日） 技術分野　機械学習の概要　10. モデルの選択・評価／同 技術分野　AI に必要な数理・統計知識　37. AI に必要な数理・統計知識

演習：この章の問題を解く

ランダム出題の演習ツールです（JavaScript が有効な場合に動きます）。上の「確認問題」はそのままでもすべて読めます。