重回帰分析

重回帰分析（じゅうかいきぶんせき）は、多変量解析の一つ。回帰分析において独立変数が2つ以上（2次元以上）のもの。独立変数が1つのものを単回帰分析という。

一般的によく使われている最小二乗法、一般化線形モデルの重回帰は、数学的には線形分析の一種であり、分散分析などと数学的に類似している。適切な変数を複数選択することで、計算しやすく誤差の少ない予測式を作ることができる。重回帰モデルの各説明変数の係数を偏回帰係数という。目的変数への影響度は偏回帰係数は示さないが標準化偏回帰係数は目的係数への影響度を示す。下記の関係式が知られている。

${\displaystyle SPRC=PRC\times {\frac {SDEV}{SDRV}}}$

変数名	意味
${\displaystyle SPRC}$	標準化偏回帰係数[1]
${\displaystyle PRC}$	偏回帰係数[2]
${\displaystyle SDEV}$	説明変数の標準偏差[3]
${\displaystyle SDRV}$	目的変数の標準偏差[4]

例

中学生を対象に調査を行いその結果を重回帰分析したところ下の式が得られたとする。

${\displaystyle t_{C}\times 3+t_{SJ}\times 5+20=n}$

変数名	意味
${\displaystyle t_{C}}$	中学で勉強した時間数
${\displaystyle t_{SJ}}$	小学生の時代の塾の学習時間数
${\displaystyle n}$	知っている英単語の数

この場合、Aさんが中学で${\displaystyle 100}$時間、小学生時代${\displaystyle 20}$時間勉強していたら ${\displaystyle 100\times 3+20\times 5+20=420}$ 語を知っているという計算になる。中学で1時間勉強すると平均的には3単語を覚えているという解釈ができる。

ここでは${\displaystyle \times 3}$や${\displaystyle \times 5}$という数値を重回帰分析で計算・算出するが、あくまで平均的な値であり個々のサンプルにおいてその通りに一致するとは限らない。例えば、Aさんの英単語数は${\displaystyle 420}$語ではなく、実際には${\displaystyle 450}$語かもしれない。全体の平均を取ると、3や5という値を取ると全体が最もうまく説明できデータによく適合するということから出てきた数値になる。

また英単語数を決めるのが勉強時間だという関係は、分析者が自分で決めるため絶対的なものではない。あくまで勉強時間が独立変数（説明変数）だと仮定した上で分析している。そのため、予測を行うことはできてもその方向に因果関係があることは保証されない。

独立変数が二値の場合

性別や民族といった名義尺度データを説明変数に用いたい場合は、ダミー変数を導入して重回帰分析を行うことになる。日本国内で見かける数量化I類は、実質的にはこれと同じ分析である。

ダミー変数は通常、条件ごとに説明変数を作り${\displaystyle 0}$と${\displaystyle 1}$を持つデータを設定して、分析する。その際、重回帰では一つは回帰式に含めない（多重共線性を避けるためである）。

信号の色による車の通過速度の違いを例に取ると、

${\displaystyle {\overline {v}}=50\times \delta _{B}+15\times \delta _{Y}+0}$

変数	意味
${\displaystyle {\overline {v}}}$	信号機のある交差点を通過する車の平均速度 (${\displaystyle km/h}$)
${\displaystyle \delta _{B}}$	信号が青なら${\displaystyle 1}$、さもなくば${\displaystyle 0}$
${\displaystyle \delta _{Y}}$	信号が黄色なら${\displaystyle 1}$、さもなくば${\displaystyle 0}$

という式が得られうる。

この場合、青でも黄色でもない条件のデータは、赤になり、計算値は定数の0になる。つまり、赤なら平均速度${\displaystyle 0km/h}$となる。解釈としては交差点を抜ける車はいないという意味になる。また、青の場合なら平均速度は${\displaystyle 50km/h}$と推定されたことになる。

男女の体重の予測では、

${\displaystyle w=12\times \delta _{m}+50}$

変数	意味
${\displaystyle w}$	体重 (${\displaystyle kg}$)
${\displaystyle \delta _{m}}$	男なら${\displaystyle 1}$、さもなくば${\displaystyle 0}$

という予測式が得られたら、男でない「女」の平均体重は${\displaystyle 50kg}$と計算される。男性なら${\displaystyle 12kg}$多く、${\displaystyle 62kg}$が平均になるという意味になる。ちなみにこれは同じデータを男女別に単純平均したものと一致する。

性別、学年など複数の変数を組み合わせて、分析することもできる。

${\displaystyle w=\alpha \times \delta _{m}+\beta \times G}$

変数	意味
${\displaystyle w}$	体重 (${\displaystyle kg}$)
${\displaystyle \delta _{m}}$	男なら${\displaystyle 1}$、さもなくば${\displaystyle 0}$
${\displaystyle G}$	学年

また、「男性で1年生なら${\displaystyle 1}$」というように細かく分けてダミー変数を増やして重回帰を行うことも可能ではある。ただし、説明変数の数が大きく増すので、連関の強いダミー変数同士で多重共線性の問題が生じやすいこと、十分な信頼性を確保するためにはサンプル数がかなり求められることなどを考えると、実用性に乏しい。

多重共線性

独立変数（説明変数）を選択する際、マーケティングやアンケートでよく使う一般的な重回帰の場合、複数の説明変数同士は強い相関がないという仮定が入っている。そのため、説明変数同士が関連性の高い場合、一般化線形モデルでは多重共線性と呼ばれる状態になるため、係数が直感に反する値になることがある。

例えば、小学校での定期テスト得点から重回帰で分析する場合、理科の点数を従属変数に、数学と国語とを説明変数にした場合、数学が増えると理科の点数が増え、国語の点数が高ければ理科の点数が減るといった意味の係数が出ることがある。これは数学と国語との点数の間に強い相関がある（一般に、どちらの成績も学習習慣や知能の影響を強く受ける）ことで起こりうる。この場合のように説明変数間の相関が高いと係数が不安定になりやすい。

実務的対応としては、一方を除いて分析するのが最も手軽である。また、数学と国語の平均点と、数学と国語の得点の差というように和と差に数字を加工すると、この2つは相関がたいてい低く、かつ解釈しやすい。数学と国語の得点の差は、数学の方が高い生徒の方が理科の点数が高い傾向があるというように理解できるためである。ただし、このような正の相関を持つ変数同士の差得点は元の変数よりも信頼性が落ちるので、サンプル数を増やすなどの対応が求められる。

また、適切な予測力を実質的には持たない変数であっても、説明変数に加えると予測式自体の寄与率（決定係数）R²は上がることが多い。そのため、単なるR²ではなく、その分を調整した修正R²を参照する、ステップワイズ法（英語版）等で投入する説明変数を取捨選択する、AICを見るなどの対応が求められる。

ソフトウェア

ほぼ全ての統計パッケージで重回帰分析は実行できる。

• Microsoft Excel
• SAS
• Stata
• SPSS
• College Analysis
• 多変量解析入門
• R言語 - 統計解析言語。重回帰分析だけでなく多変量解析ほか多くの統計関数を標準装備したフリーウェア。『モデル式』でモデル記述や当てはめが容易。他アプリケーションのファイル取込やODBC接続対応。FDA公認。CRANなる仕組で世界の膨大なソフトを無償利用可能。可視化機能に優れ、日本語対応。マルチプラットフォーム。Rの基本パッケージ中の回帰、分散分析関数一覧。重回帰分析はlm関数で行えるほか、独自に書かれた関数もある: [1][2]。

関連する分析手法

• 回帰分析
• 分散分析 - 重回帰モデルの有意性の検定に用いられる
• 数量化I類 - ダミー変数を用いた回帰分析の別名
• ロジスティック回帰 - 目的変数は名義尺度、ロジスティック関数に基づく予測
• プロビット分析 - 目的変数は名義尺度、正規累積関数に基づく予測
• 正準相関分析 - 変数群の一方が一変数のみであれば、重回帰分析と同様
• パス解析 - 古典的なパス解析は、複雑なモデルについて重回帰分析の繰り返しから個々の係数を推定
• 共分散構造分析（構造方程式モデリング） - 重回帰モデルに対し、適合度統計量等の算出が可能

脚注

1. ^ 英: standardised partial regression coefficient
2. ^ 英: partial regression coefficient
3. ^ 英: standard deviation of explanatory variable
4. ^ 英: standard deviation of response variable

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ