回帰分析での変数選択の方法




回帰分析とは、原因と結果の関係を法則性として捉える方法で、この分析をするときには、複数の変数から、原因となる変数、結果となる変数を選択します。

結果を「目的変数」または「従属変数」、原因を「説明変数」または「独立変数」と呼びます。

数ある変数の中から、どの変数を説明変数として設定したらいいでしょうか。

どの変数を説明変数として選ぶか。基準に沿って選ぶことを変数選択といいます。

主に変数選択方法には、

  • 増加法(フォーワード法)
  • 減少法(バックワード法)
  • 増減法(ステップワイズ)
  • 減増法

と呼ばれるものがあります。

増加法(フォーワード法)

増加法は、説明変数を一つずつ増やしていく方法です。

説明変数について、一つずつ単回帰分析を行い、回帰係数のp値が最も小さかった説明変数を一つ目の説明変数とします。

次に、他の説明変数で二番目に回帰係数のp値が小さかった説明変数を加えて、重回帰分析を行います。

さらに、他の説明変数で三番目にp値が小さかった説明変数を加えて、重回帰分析を行う、といったことを繰り返します。

どこまで繰り返すかというと、追加した説明変数に対応するp値が、基準内であるまで、です。基準は0.05であることが多いです。

p値が基準を越えてしまったら、その説明変数は加えずに、変数の増加を終えて終わりとします。

減少法(バックワード法)

減少法は、説明変数を一つずつ減らしていく方法です。

最初にすべての説明変数を用いて重回帰分析を行います。対応するp値が最も大きい説明変数を除外し、ふたたび重回帰分析を行います。

さらに、対応するp値が最も大きい説明変数を除外して、重回帰分析を行い、結果を見て、対応するp値が最も大きい説明変数を除外し、重回帰分析を行う、といったことを繰り返します。

すべての説明変数のp値が基準内になれば、そこで終わりにします。

増減法(ステップワイズ)

増減法は、増加法のように説明変数を増やしつつ、削除も行っていく方法です。

増加法と同じように、説明変数について、一つずつ単回帰分析を行い、回帰係数のp値が最も小さかった説明変数を一つ目の説明変数とします。

次に、他の説明変数で二番目に回帰係数のp値が小さかった説明変数を加えて、重回帰分析を行っていくのは、増加法と同じですが、

もし、基準以上のp値となった説明変数は除外をします。

追加も削除もできなくなったら、そこで終わりとします。

減増法

減増法は、減少法のように説明変数を減らしつつ、追加も行っていく方法です。

最初にすべての説明変数を用いて重回帰分析を行います。対応するp値が最も大きい説明変数を除外します。

ふたたび重回帰分析を行い、対応するp値が最も大きい説明変数を除外します。対応するp値が最も大きい説明変数を除外し、重回帰分析を行っていくのは、減少法と同じですが、

もし、除外した説明変数のなかから、増加法と同じ判断方法で基準以上のp値となるものがないか確認し、基準以上のp値となった場合には、組み入れをします。

削除も追加もできなくなったら、そこで終わりとします。