回帰分析とは、原因と結果の関係を法則性として捉える方法で、この分析をするときには、複数の変数から、原因となる変数、結果となる変数を選択します。
結果を「目的変数」または「従属変数」、原因を「説明変数」または「独立変数」と呼びます。
数ある変数の中から、どの変数を説明変数として設定したらいいでしょうか。
どの変数を説明変数として選ぶか。基準に沿って選ぶことを変数選択といいます。
主に変数選択方法には、
- 増加法（フォーワード法）
- 減少法（バックワード法）
- 増減法（ステップワイズ）
- 減増法
と呼ばれるものがあります。
増加法（フォーワード法）
増加法は、説明変数を一つずつ増やしていく方法です。
説明変数について、一つずつ単回帰分析を行い、回帰係数のｐ値が最も小さかった説明変数を一つ目の説明変数とします。
次に、他の説明変数で二番目に回帰係数のｐ値が小さかった説明変数を加えて、重回帰分析を行います。
さらに、他の説明変数で三番目にｐ値が小さかった説明変数を加えて、重回帰分析を行う、といったことを繰り返します。
どこまで繰り返すかというと、追加した説明変数に対応するｐ値が、基準内であるまで、です。基準は0.05であることが多いです。
ｐ値が基準を越えてしまったら、その説明変数は加えずに、変数の増加を終えて終わりとします。
減少法（バックワード法）
減少法は、説明変数を一つずつ減らしていく方法です。
最初にすべての説明変数を用いて重回帰分析を行います。対応するｐ値が最も大きい説明変数を除外し、ふたたび重回帰分析を行います。
さらに、対応するｐ値が最も大きい説明変数を除外して、重回帰分析を行い、結果を見て、対応するｐ値が最も大きい説明変数を除外し、重回帰分析を行う、といったことを繰り返します。
すべての説明変数のｐ値が基準内になれば、そこで終わりにします。
増減法（ステップワイズ）
増減法は、増加法のように説明変数を増やしつつ、削除も行っていく方法です。
増加法と同じように、説明変数について、一つずつ単回帰分析を行い、回帰係数のｐ値が最も小さかった説明変数を一つ目の説明変数とします。
次に、他の説明変数で二番目に回帰係数のｐ値が小さかった説明変数を加えて、重回帰分析を行っていくのは、増加法と同じですが、
もし、基準以上のｐ値となった説明変数は除外をします。
追加も削除もできなくなったら、そこで終わりとします。
減増法
減増法は、減少法のように説明変数を減らしつつ、追加も行っていく方法です。
最初にすべての説明変数を用いて重回帰分析を行います。対応するｐ値が最も大きい説明変数を除外します。
ふたたび重回帰分析を行い、対応するｐ値が最も大きい説明変数を除外します。対応するｐ値が最も大きい説明変数を除外し、重回帰分析を行っていくのは、減少法と同じですが、
もし、除外した説明変数のなかから、増加法と同じ判断方法で基準以上のｐ値となるものがないか確認し、基準以上のｐ値となった場合には、組み入れをします。
削除も追加もできなくなったら、そこで終わりとします。