回帰分析

この項目では、統計学における回帰について説明しています。その他の用法については「回帰」をご覧ください。

回帰分析
統計学

モデル
線形回帰線形単回帰（英語版）多項式回帰一般線形モデル
一般化線形モデル離散選択（英語版）ロジスティック回帰多項ロジット（英語版）混合ロジット（英語版）プロビット（英語版）多項プロビット（英語版）順序ロジット（英語版）順序プロビット（英語版）ポアソン（英語版）
多水準モデル（英語版）固定効果（英語版）変量効果混合モデル
非線形回帰ノンパラメトリック（英語版）セミパラメトリック（英語版）ロバスト（英語版）分位点（英語版）等調（英語版）主成分（英語版）最小角度（英語版）局所折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法線形（英語版）非線形
普通（英語版）加重（英語版）一般化（英語版）
部分総最小二乗法（英語版）非負（英語版）リッジ回帰正則化（英語版）
最小絶対偏差（英語版）繰返し加重（英語版）ベイズ（英語版）ベイズ多変量（英語版）
背景
回帰検証（英語版）平均応答と予測応答（英語版）誤差と残差適合度（英語版）スチューデント化残差ガウス＝マルコフの定理
表話編歴

回帰（かいき、（英: regression）とは、統計学において、Y が連続値の時にデータに Y = f(X) というモデル(「定量的な関係の構造^[1]」)を当てはめること。別の言い方では、連続尺度の従属変数（目的変数）Y と独立変数（説明変数）X の間にモデルを当てはめること。X が1次元ならば単回帰、X が2次元以上ならば重回帰と言う。Y が離散の場合は分類と言う。

回帰分析（かいきぶんせき、（英: regression analysis）とは、回帰により分析すること。

回帰で使われる、最も基本的なモデルは $Y=AX+B$ という形式の線形回帰である。

歴史

「回帰」という用語は、英語の「regression」からの翻訳であるが、元々は生物学的現象を表すために19世紀にフランシス・ゴルトンによって造られた。ゴルトンは、背の高い祖先の子孫の身長が必ずしも遺伝せず、先祖返りのように平均値に戻っていく、すなわち「逆戻り、後戻り（=regression）」する傾向があることを発見した。これを「平均への回帰」という。ゴルトンはこの事象を分析するために「線形回帰（英: linear regression）」を発明した。ゴルトンにとって回帰はこの生物学的意味しか持っていなかったが、のちに統計学の基礎となり、「回帰（英: regression）」という用語も統計学へ受け継がれたのである。

概要

回帰分析では独立変数と従属変数の間の関係を表す式を統計的手法によって推計する。

従属変数（目的変数）とは、説明したい変数（注目している変数）を指す。独立変数（説明変数）とは、これを説明するために用いられる変数のことである。経済学の例を挙げてみると次のようになる。経済全体の消費（ $Y$ ）を国民所得（ $X$ ）で説明する消費関数が $Y=aX+b$ というモデルで表されるとする。この例では、消費 Y が従属変数、国民所得 X が独立変数に対応する。そして $a$ 、 $b$ といった係数（パラメータ）を推定する。

最も単純な方法は上式のような一般化線形モデルを用いる線形回帰であるが、その他の非線形モデルを用いる非線形回帰もある。

モデル

線形（一般化線形モデル、一般線形モデルなど）

線形回帰
正則化項付き

非線形

最小二乗法による推定

詳細は「最小二乗法」を参照

パラメータを推定する代表的な方法として、最小二乗法がある。これは、二乗和誤差を最小化する最尤推定である。

最小二乗法の概要は次の通りである。初めに回帰式（目的変数を説明変数で計算する式）を設定する。次に、回帰式の係数を求めるが、「従属変数の測定値と、独立変数の測定値および回帰式を用いて求めた推定値の差の二乗和誤差」が最小になるように求める。線形モデルの場合、回帰式の係数で推定値の差の2乗平均を微分し0と置いた連立方程式を解いて求められる。

独立変数同士の相関

マーケティングやアンケートでよく使う一般的な重回帰の場合、複数の説明変数同士は強い相関がないという仮定が入っている。そのため、一般化線形モデルで説明変数同士が関連性の高いものを使うと係数が妙な値になることがあるので注意する必要がある（これは多重共線性と呼ばれる）。

例：小学校での定期テスト得点から重回帰で分析する場合に、理科の点数を従属変数に、算数と国語を説明変数にした場合、算数が増えると理科の点数が多く、国語の点数が高ければ理科の点数が減るといった意味の係数が出ることがある。これは算数と国語の点数に強い相関が両者にあるからである。この場合は算数と国語の平均点と、算数と国語の得点の差というように和と差に数字を加工すると、この2つは相関が大抵低く、かつ解釈しやすい。算数と国語の得点の差は、算数の方が高い生徒の方が理科の点数が高い傾向があるというように理解できるからである。

これは、線形モデルの問題であるため、線形モデルが不適切ならば、非線形モデルを使用すればよい。また、共分散構造分析という重回帰より複雑な関係を適切に説明できるモデルもある。

語源

回帰は語源的には回帰効果（平均への回帰）に由来する。回帰効果は相関（直線的な関係）が低い場合に顕著に現れる。しかし回帰分析では必ずしも直線的関係を仮定しない。また「目的変数yを説明変数xに回帰する」といい、「回帰」という言葉が由来とは異なる意味に使われている。

解析ソフト

NAG
IMSL
R言語 - 統計解析言語。回帰分析ほか多くの統計関数を標準装備したフリーウェア。『モデル式』でモデル記述や当てはめが容易。他アプリケーションのファイル取込やODBC接続対応。FDA公認。CRANという仕組みで世界の膨大なソフトを無償利用可能。可視化機能に優れ、日本語対応。マルチプラットフォーム。
Stata
Gretl

脚注

^ 『統計学入門』(東京大学出版会)、257頁

参考文献

『統計学入門』東京大学出版会、1991年。
J. R. Taylor 著、林茂雄、馬場凉（訳）編『計測における誤差解析入門』東京化学同人、2000年。
蓑谷千凰彦『回帰分析のはなし』東京図書、1985年。

関連項目

位置	平均算術幾何調和中央値分位数順序統計量最頻値階級値
分散	範囲偏差偏差値標準偏差標準誤差変動係数決定係数相関係数自己相関共分散自己共分散分散共分散行列百分率統計的ばらつき
モーメント	分散歪度尖度

カテゴリデータ

頻度
分割表

推計統計学

仮説検定

パラメトリック	t検定ウェルチのt検定 F検定 Z検定二項検定ジャック-ベラ検定シャピロ–ウィルク検定分散分析共分散分析
ノンパラメトリック	ウィルコクソンの符号順位検定マン・ホイットニーのU検定カイ二乗検定イェイツのカイ二乗検定累積カイ二乗検定フィッシャーの正確確率検定尤度比検定 G検定アンダーソン–ダーリング検定コルモゴロフ–スミルノフ検定カイパー検定マンテル検定コクラン・マンテル・ヘンツェルの統計量
その他	帰無仮説対立仮説有意棄却

区間推定

モデル選択基準

その他

ベイズ統計学

確率	主観確率ベイズ確率事前確率事後確率最大事後確率
その他	ベイズ推定ベイズ因子

相関

モデル

回帰

線形	リッジ回帰ラッソ回帰エラスティックネット
非線形	k近傍法決定木ランダムフォレストニューラルネットワークサポートベクターマシン射影追跡回帰
時系列	自己回帰モデル自己回帰移動平均モデル ARCHモデル対移動平均比率法トレンド定常傾向推定共和分構造変化

分類

線形	線形判別分析ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器単純パーセプトロン線形サポートベクターマシン
二次	二次判別分析
非線形	k近傍法決定木ランダムフォレストニューラルネットワークサポートベクターマシンベイジアンネットワーク隠れマルコフモデル
その他	二項分類多クラス分類第一種過誤と第二種過誤

教師なし学習

クラスタリング	k平均法（k-means++法） DBSCAN
密度推定（英語版）	カーネル密度推定（カーネル）
その他	主成分分析独立成分分析自己組織化写像