メインコンテンツへスキップ
線形回帰は、基本的な予測モデルを作るためのアルゴリズムです。シンプルさと説明力の高さから、データサイエンスの世界で最もよく使われる統計学習(または機械学習)アルゴリズムの一つです。

何ができるか

線形回帰を使うと、次の質問に答えられます。
  • このデータ(説明変数)を使うことで、目的変数(例:売上)のばらつきの何%を説明できるか。
  • どの変数が目的変数を予測するうえで重要か。
  • 変数の値が変わると、目的変数の値はどのように変わるか。
  • その説明変数は、目的変数の変化を説明するうえで有意と言えるか。
  • 他の変数が一定のとき、変数の値が1上がると、目的変数の値はどれだけ上がる(または下がる)か。

必要なデータ

線形回帰を作成するためには、1行が1観察対象(例:1行が1従業員)となっているデータが必要です。 また、目的変数として使用できるデータタイプは「数値型」の列で、説明変数におけるデータタイプには特に縛りはありません。しかし、線形回帰などの統計系のモデル作成時には、説明変数どうしの相関があまりにも強い時に発生する「多重共線性」などの問題を考慮する必要があります。

サンプルデータ

今回はサンプルデータとして、従業員データを使用していきます。 このデータは1行が1従業員のデータで、列には年齢や給料、職種など従業員の属性を表す列があります。

線形回帰のモデルを作成する

今回は従業員の「給料」を予測する線形回帰のモデルを作成します。 アナリティクスビューを開き、「タイプ」のメニューから「線形回帰」を選択します。 「目的変数」のメニューから「給料」を選択します。 「説明変数」をクリックすると、「列の選択と設定」ダイアログが開きます。 説明変数を選択します。Shiftキーを押しながら列を選ぶことで、一気に列を選択できます。今回は給料、部署、日付列(入社日・退社日)を除く22列を選び、「OK」をクリックします。 目的変数と説明変数を割り当てることができたら、「実行」ボタンをクリックします。 線形回帰のモデルが作成されました。結果はレポートとして縦に並び、上部の「多重共線性」「変数間の関係」「変数の係数と有意性」「モデルの指標」「補足情報」のリンクから各節へ移動できます。「分析条件とデータの確認」には、目的変数(給料)、説明変数の数(22)、行数(1,470)、除外された行数(0)が表示されます。

結果の解釈

説明変数の重要度

「変数間の関係」にある「説明変数の重要度」では、給料を予測するためにどの説明変数が相対的により重要なのかを調べることができます。 職位の重要度が突出して大きく(19,708,737.2695)、ほかの変数との差が大きいことがわかります。 この節の「決定係数(R²)の内訳」は、説明変数が22個あり、正確な内訳を計算できる上限(18個)を超えているため、表示されません。

説明変数の影響度

「変数間の関係」の「説明変数の影響度」では、他の変数の値が一定であったとき、それぞれの説明変数の値が変わると給料の値がどのように変わるのかがわかります。 グレーの線は実測値(平均値)を表しています。チャートを拡大してカーソルを合わせると、たとえば職位が4のときの給料の実測値は15,503.7830です。 青い線は予測値を表します。職位が2のときの予測値は6,269.8129です。 職位が3では9,035.7368、5では14,567.5845と、職位が上がると給料が高くなる関係があることがわかります。 予測値のツールチップには係数とP値も表示されます。他の変数が一定だった時に、職位の値が1上がると給料が2,765.9239(係数)上がる関係があるようです。 職種で見ると、マネージャーの予測値は10,485.3409です。

変数の係数と有意性

「変数の係数と有意性」にある「係数と信頼区間の可視化」では、それぞれの変数の傾きとその信頼区間、有意性がわかります。 係数が増加(青)または減少(赤)の場合は、目的変数である給料との関係が有意な変数で、P値は5%以下です。これらの有意な変数は係数の信頼区間が0に重なっていない、つまり傾きが0になることはありません。たとえば、職種の「リサーチサイエンティスト」(ベースレベルは「営業幹部」)の係数は-424.8094で、信頼区間は-658.3776から-191.2412、P値は0.0004です。 係数がグレーの変数はP値が基準値の5%以上で、統計的に有意であるとは言えない変数です。これらの変数は係数の信頼区間が0に重なっているため、傾きが0の可能性があります。たとえば、教育分野の「人事」(ベースレベルは「ライフサイエンス」)は係数が19.9182ですが、信頼区間が-504.8168から544.6533と0をまたいでおり、P値も0.9407です。 他の変数が一定だった時に、職位の値が1上がると給料が2,765.9239上がると期待されます。 他の変数が一定だった時に、仕事への関与度が1上がると給料が94.5742下がると期待されます。 他の変数が一定だった時に、職種が営業幹部からマネージャーになると給料が4,222.4512上がることが期待されます。 他の変数が一定だった時に、年齢が1歳増えると給料が4.2449下がることが期待されます。また、年齢は信頼区間が-13.2168から4.7270と0をまたいでおり、P値も35%(0.3539)と高いため給料に関係があるとは言いきれません。

モデルの指標

「モデルの指標」では、この予測モデルの評価を確認できます。表には「R2乗」「調整済みR2乗」「二乗平均平方根誤差」「F値」「P値」が並びます。 右にスクロールすると、行数、自由度、対数尤度、AIC、BICなども確認できます。 R2乗はデータの平均からのばらつきをモデルが説明できている割合の指標で、0から1の間の値を取ります。1に近ければ近いほど、モデルがデータのばらつきをよく説明できていることを示します。 今回の R2乗は 0.94 で、このモデルは給料のばらつきの 94% を説明できています。

予測結果

「補足情報」の前にある「トレーニングデータに対する予測」の「予測結果」では、モデルに使用したデータと予測値がテーブル形式で表示されます。 目的変数である給料と、このモデルで算出された予測値(Predicted Value)を確認できます。

線形回帰に関するよくある質問

Q: 「説明変数の影響度」で表示されている実測値はどのように求められているのですか?

「説明変数の影響度」の実測値はそれぞれの説明変数のデータタイプによって表示が異なります。 詳しくはこちらのノートをご覧ください。

Q: 「説明変数の影響度」で表示されている予測値はどのように求められているのですか?

予測値のチャートはPartial Dependence Plot(PDP)と呼ばれるもので、注目している変数の値を変化させたときに、予測結果がどう変わるかを可視化したチャートとなります。詳しくはこちらのノートをご覧ください。

Q: 説明変数に割り当てているカテゴリ列の全ての値が表示されない。

線形回帰で説明変数にカテゴリ列を割り当てた際は、一意な値の数が12個より多い時は、頻度の多いものから11個の値を残し、それ以外は「その他」としてまとめられます。「設定」の「データの前処理」にある「説明変数のカテゴリ数の最大値」(初期値は12)を変更していただくことで、使用するカテゴリ数を調整いただけます。

Q: 説明変数にあるカテゴリ型の列のベースレベルを変更したい

線形回帰などの統計のモデルでのカテゴリ型の列を説明変数に選択して実行した際には、ベースレベルと比べて特定の値だった時に有意なのかどうかが分かるようになっており、ベースレベルはその列の値で最頻値(行の数が最も多い)が自動的に選ばれます。 ベースレベルを変更したい場合は、こちらの投稿をご覧ください。

Q: 「変数の係数と有意性」で表示される「係数」は標準化回帰係数ですか、それとも、偏回帰係数ですか?

「変数の係数と有意性」の「係数」は説明変数の値を標準化した後の係数(標準化回帰係数)ではなく、「元の単位」における係数(偏回帰係数)となります。標準化した係数は、同じ表の「標準化係数」の列にあります。

Q: 説明変数が一つのときと、複数の時で予測値や傾き(係数)が異なるのはなぜでしょうか?

線形回帰などの統計の予測モデルで、説明変数が一つの時は「単回帰」と呼びます。 説明変数が複数の時は「重回帰」と呼ばれます。 例えば、「給料」を予測する線形回帰のモデルを作成した際に、説明変数に「勤続年数」だけを割り当てた「単回帰」の時は、勤続年数の傾き(係数)は467.66程となります。 しかし、説明変数に「勤続年数」と「職位」を割り当てた「重回帰」の時は、勤続年数の傾き(係数)は46.08程となり、傾きに違いがあることがわかります。 線形回帰で説明変数に複数の列を割り当てた「重回帰」の時には、他の変数を固定した上で、その変数での効果が出るようになります。つまりは、他の変数の効果を除いて、その変数だけの効果が見れるようになっています。 もし、説明変数が一つしかない「単回帰」の場合は、その変数が他の変数の効果を内包している可能性があります。上記の例では、「勤続年数」は「職位」と相関関係があったために、「勤続年数」単体だと職位の効果も内包していたということになります。 何が本当に関係しているのかを知りたい場合には、説明変数に複数の列を割り当てた方が、どの変数が重要なのか、それはどういった予測(効果)があるのかを調べていくことができます。

Q: 説明変数の値が上がると目的変数の値を増加させる関係があると思っていたんですが、結果は係数がマイナスになっています。どう解釈したら良いでしょうか?

係数の値だけではなく、係数の信頼区間の上限と下限を見て、0を跨いでいないか確認してみてください。もし、0を跨いでいる場合は係数がマイナスになるかもしれないしプラスになるかもしれないので、有意とは言えない変数になります。もし、信頼区間が0を跨いでいない状態で係数がマイナスになっている場合は、他の変数の効果を一定とした時にその変数の独立した効果として目的変数の値を下げる方に影響していると判断できます。

Q: 不要な変数を減らした方がよりいいモデルになるんですか?

モデルの予測精度をよくしたいならば、ノイズになるような変数は削った方がよい場合が多いです。ただ、モデルによっては1,000行のうち10行のみを予測するのにそのデータが役立つといった場合もあるので、できるだけ入れるという考え方もあります。 もし、因果関係を明確にしたいという目的なら、予測力の向上には不要な変数でも加えておくと「〜が一定だったとしたら」という因果関係の話ができることがあります。因果関係を調べるときには、まずドメイン知識をもとにバックドア基準などの変数選択基準をもとに、因果効果を見積もるのに最適な変数セットを選ぶべきという考えもあります。

Q: 「多重共線性」でVIFが10を超える変数が複数あった時にはどのように説明変数を除いたらいいですか?

VIFが10を超える変数が複数あった時の説明変数の選び方については、こちらの投稿をご参照ください。

Q: 変数重要度は、係数の大きさと関係しているのでしょうか?

変数重要度と係数の大きさには基本的には関係がありません。一般的に、重回帰において係数はそれぞれ単位が違うため、変数重要度のようにお互いを比較できません。変数重要度は特定の変数の値をシャッフルしたときに元の予測よりどれだけ精度が落ちているかをもとに計算され、こちらはお互いに比較できる値です。

Q: 変数重要度で単位が違う変数どうしを比較してもいいのでしょうか?

係数どうしでは、変数の単位が違う場合は比較することはできないのですが、変数重要度(Permutation Importance)の場合は単位の違いは気にしなくて大丈夫です。

Q: 変数重要度は具体的にどのような計算をしていますか?

変数重要度については、下記のノートで詳しく紹介しておりますので、そちらをご参考ください。 https://exploratory.io/note/kanaugust/56-Svv7VWV8tA また、変数重要度の仕組みについては、以下のようになります。
  • 学習済みのモデルは固定したまま、評価用のデータで1つの説明変数の列の値だけをランダムに並べ替え(シャッフルし)、予測し直す。
  • 並べ替える前に比べて、予測誤差がどれだけ悪くなったか(誤差の増加量)を計算する。
  • これを全ての変数で繰り返す。
  • 予測誤差の増加量をもとに、それぞれの変数の相対的な重要度を評価する。
詳細はこちらのノートで説明をしています。 また、変数重要度の計算の際にはmmpfパッケージのpermutationImportanceを使用しています。 この変数重要度の計算の際には、線形回帰のように数値を目的とした予測モデルであれば、予測誤差の指標として「平均二乗誤差」を利用しています。並べ替えた後の平均二乗誤差から並べ替える前の平均二乗誤差を引いた増加量が大きい変数ほど、重要度が高くなります。 変数重要度の具体的な計算式に興味がある場合は、下記のページが参考になるかと思います。 https://hacarus.github.io/interpretable-ml-book-ja/feature-importance.html

Q: 単回帰では有意にならない変数が、重回帰にすると有意になりました。どう解釈すればいいのでしょうか。

単回帰では有意な関係がないと見えていたものが、重回帰にすると有意になることを負の交絡(Negative Confounding)と言います。詳しくはこちらをご覧ください。

Q: 線形回帰でのt値やP値は何を表しているのでしょうか。

線形回帰でのt値は、推定された係数をその標準誤差で割った値です。P値は、係数が0であるという帰無仮説のもとで、今回得られた値以上に絶対値の大きいt値が得られる確率です。

Q: 「変数の係数と有意性」の表に表示されている「(切片)」は何を表しているのでしょうか。

「(切片)」は線形回帰のモデルでの切片(Intercept)を表します。 この線形回帰のモデルは勤続年数をもとに給料をを予測するモデルですが、下記の式で表せます。
「説明変数の影響度」で見ると、勤続年数が0のときの予測値は1,227.9353で、表の切片(1,227.94)と一致することがわかります。

Q: 説明変数でP値は有意になっているが、R2乗が低い時の解釈について

説明変数と目的変数で有意な関係性があっても、R2乗を見ると使用している説明変数では目的変数の3%ほどしか説明できていないことがあります。 どの変数が関係しているのかを知るためには、説明変数と目的変数の関係性は貴重な情報になります。しかし、これらの変数で将来の値を予測していきたいとなると、目的変数のばらつきを説明する能力が低いので、うまく予測できるモデルにはなりません。 そのため、他の変数を探してモデルに追加してみて、予測精度が向上しているかを確認していく方法が良いかと思います。

Q: データの行数より説明変数(列)の数の方が多い時に、一部の説明変数しかモデルで使用されない。

線形回帰などのアルゴリズムでは、データの行数が説明変数よりも多いことを前提としています。 例えば、データの行数が30行で、説明変数に100列指定して線形回帰を実行したとします。 その場合は、目的変数である1つの列と説明変数の29列しか使用されずにモデルが作られます。 そのため、データの行数が指定している説明変数よりも多いか確認してから、線形回帰を実行してください。

Q: 予測に利用したデータ量に対して、予測されたデータ量が少ない。

予測に利用したデータ量に対して、予測されたデータ量が少ないときには、数値型の説明変数に欠損値が含まれていることが想定されます。 Exploratoryでは数値列のデータの中に欠損値があると、欠損値を含む行を除いて線形回帰を実行します。

Q: 説明変数に欠損値があった場合はどのように扱われますか。

説明変数が数値型の場合 Exploratoryでは数値列のデータの中に欠損値があると、欠損値を含む行を除いて線形回帰のアルゴリズムを実行しています。 例えば、年齢の列に147行の欠損値があったとします。この例のデータは説明用に作ったものです。元の従業員データから分岐(ブランチ)を作り、「カスタムRコマンド」のステップで、行番号を10で割った余りが0の行は年齢を、1の行は婚姻ステータスを欠損値(NA)にしています。これにより、年齢と婚姻ステータスに別々の147行の欠損値ができます。
説明変数に年齢(と婚姻ステータス)を割り当てて線形回帰を実行したところ、モデルで使用している行の数はデータ全体の行の数である1,470行ではなく、147行を引いた「1,323行」になり、「除外された行数」は147と表示されます。 説明変数がカテゴリ型の場合 カテゴリ型の列に欠損値がある場合は、欠損値自身を1つのカテゴリ値として扱うことになります。 例えば、カテゴリ型の列である婚姻ステータスの列に欠損値があったとします(この例では年齢の欠損値とは別の147行)。カテゴリ列の欠損値の場合は、下記の「説明変数の影響度」のように、欠損値(Missing)というカテゴリ値として扱われます。

Q: データのサンプルは何を表しますか?

Exploratoryで線形回帰などのアルゴリズムの実行した時には、「データをサンプルする」にチェックが付いている場合は、使用するデータの行数に上限(デフォルトは50,000行)を設けて実行しています。データがこの上限より少ない場合は、全ての行が使われます(上の例でも、1,470行の元データがそのまま使われています)。 サンプルするデータの行数を変更したい場合は、上限の行数を指定する、またはチェックを外してサンプリングを解除していただくことで、使用するデータの行数を変更できます。

Q: 線形回帰で標準偏回帰係数を求めることはできますか。

まず、線形回帰の「変数の係数と有意性」の表を確認してください。表の「標準化係数」の列に、数値型の説明変数について標準化した係数が表示されます。 また、線形回帰を実行する前に数値列を「標準化」しておき、そのデータを使って「変数の係数と有意性」を見た時の係数も、標準偏回帰係数に該当します。 数値列の標準化の方法についてはこちらの資料をご覧ください。

Q: 線形回帰での説明変数は標準化しておく必要がありますか?

どの説明変数が目的変数により関係しているのかを調べたい場合であれば、標準化をしておく必要はなく、「説明変数の重要度」から確認いただけます。 詳しくはこちらの投稿をご覧ください。