メインコンテンツへスキップ
ロジスティック回帰は線形回帰と似ていますが、線形回帰の目的変数が「数値」であるのに対し、ロジスティック回帰の目的変数は「二値」のロジカル型です。たとえば、この人はコンバージョンするのか、離職するのかといった、「はい」「いいえ」で決まるデータを扱います。

何ができるか

ロジスティック回帰を使うと、次の質問に答えられます。
  • このデータ(説明変数)を使うことで、目的変数(例:コンバージョン)のTRUE/FALSEをどれだけうまく分けられているか。
  • どの変数が目的変数を予測するうえで重要か。
  • 変数の値が変わると、目的変数の値はどのように変わるか。
  • その説明変数は、目的変数の変化を説明するうえで有意と言えるか。
  • 他の変数が一定のとき、変数の値が1上がると、目的変数の値はどれだけ上がる(または下がる)か。

必要なデータ

ロジスティック回帰を作成するためには、1行が1観察対象(例:1行が1従業員)となっているデータが必要です。 また、目的変数として使用できるデータタイプはTRUE/FALSEの二値をとる「ロジカル型」の列で、説明変数におけるデータタイプには特に縛りはありません。しかし、ロジスティック回帰などの統計系のモデル作成時には、説明変数どうしの相関があまりにも強い時に発生する「多重共線性」などの問題を考慮する必要があります。 もし、目的変数にしたい列のデータタイプがロジカル型になっていない場合、こちらのノートを参考にロジカル型に変更してからロジスティック回帰のモデルを作成ください。

サンプルデータ

今回はサンプルデータとして、従業員データを使用していきます。 このデータは1行が1従業員のデータで、列には年齢や職種、離職など従業員の属性を表す列があります。 上の画像の「離職」は、後述の変換を行ったあとの表示(TRUE/FALSE)です。元のデータでは文字型(Yes/No)です。

ロジスティック回帰のモデルを作成する

今回は従業員が「離職」しているかどうかを予測するロジスティック回帰のモデルを作成します。 元の従業員データでは「離職」が文字型の列で、そのままでは目的変数に選べません。そこで、データフレームに「カスタムRコマンド」のステップを追加し、dplyr::mutate(離職 = 離職 == "Yes") で「離職」をロジカル型に変換しています。変換後の「離職」はTRUEが237件、FALSEが1,233件です。 アナリティクスビューを開き、「タイプ」のメニューから「ロジスティック回帰」を選ぶと、「二項ロジスティック回帰」「多項ロジスティック回帰」「順序ロジスティック回帰」が表示されます。ここでは「二項ロジスティック回帰」を選択します。 「目的変数」に、ロジカル型の「離職」を選択します。 「説明変数」の「選択…」をクリックすると、「列の選択と設定」ダイアログが開きます。 説明変数にする列を選びます。Shiftキーを押しながら列を選ぶことで、一気に複数の列を選択できます。今回は「離職」「部署」「給料」「職位」と日付列(入社日・退社日)の6列を除く、20列を選び、「OK」をクリックします。 目的変数と説明変数を割り当てることができたら、「実行」ボタンをクリックします。 ロジスティック回帰のモデルが作成されました。結果は「サマリ」から始まり、レポートの上部に「サマリ」「多重共線性」「変数間の関係」「変数の係数と有意性」「モデルの指標」といったリンクが並びます。「サマリ」の「分析条件とデータの確認」には、目的変数(離職)、カテゴリ数(2)、説明変数の数(20)、行数(1,470)、除外された行数(0)が表示されます。

結果の解釈

説明変数の重要度

レポートの「変数間の関係」にある「説明変数の重要度」では、どの変数が目的変数とより相関が強いのか、予測するときにより重要なのかを調べることができます。 残業が離職を予測するうえで最も重要な変数で、重要度は119.32です。ほかの変数は、残業よりも大きく下回っています。 変数重要度の詳しい説明については、こちらの「機械学習モデル - 変数重要度の仕組みと解釈」のノートをご覧ください。

説明変数の影響度

同じ「変数間の関係」にある「説明変数の影響度」では、それぞれの変数の値が変わると、離職の確率がどのように変わるのかがわかります。青い線(または点)は説明変数の値に対する予測値、グレーの線は実測値とその95%信頼区間、縦軸は離職の確率です。 チャートを拡大して、グレーの線にカーソルを合わせると、実測値(割合)が表示されます。勤務企業数が5のとき、離職の確率(実測)は0.2540で、信頼区間は0.1465から0.3615、行数は63です。 青い線にカーソルを合わせると、予測値が表示されます。勤務企業数が2のときの離職の確率は0.1516です。 勤務企業数が7のときは0.2481、8.55のときは0.2840で、勤務企業数が増えると離職の確率が高くなる関係があることがわかります。 予測値のツールチップには、オッズ比と P値も表示されます。他の変数が一定だった時に、勤務企業数の値が1上がると離職する可能性(オッズ)が1.1994倍になる関係があるようです(P値は0.0001未満)。 残業で見ると、残業が TRUE の場合の離職の確率(予測)は0.3230で、FALSE の場合はそれよりも低くなっています。残業している場合は、していない場合に比べて離職率が高いようです。 実測値の割合と予測値がずれていることがありますが、これは他の変数の効果が一定だとした時に、その変数での効果を予測しているからになります。たとえば職種の「営業担当」では、実測値は0.3976(信頼区間は0.2923から0.5029、行数は83)ですが、予測値の青い点は別の位置にあります。 こういった実測値の割合と予測値でずれがある時には、その変数では他の変数と相関が強いことが多いです。 さらに、他の変数の効果を内包していたために、実測値で見た時に効果が高いように見えていたが、実際にはその変数単体で見た時にはそこまでの効果はなかった、またはその逆のパターンが発生することがあります。

変数の係数と有意性

「変数の係数と有意性」では、それぞれの変数のオッズ比とその信頼区間、P値がわかります。表には「オッズ比」「信頼区間下限」などの列があり、右にスクロールすると続きが表示されます。 「オッズ比と信頼区間の可視化」のチャートでは、係数が増加(青)または減少(赤)の変数は、離職との関係が有意な変数で、P値は5%以下です。これらの有意な変数はオッズ比の信頼区間が1に重なっていない、つまりオッズ比が1になることはありません。たとえば、残業が TRUE のオッズ比は6.6367(ベースレベルは FALSE)で、信頼区間は4.6067から9.5613、P値は0.0001未満です。 係数がグレーの変数は、P値が基準値の5%以上で、統計的に有意であるとは言えない変数です。これらの変数は係数の信頼区間が1に重なっているため、オッズ比が1の可能性があります。たとえば、教育分野の「人事」(ベースレベルは「ライフサイエンス」)はオッズ比が1.8211ですが、信頼区間が0.4243から7.8057と1をまたいでおり、P値も0.4195です。 他の変数が一定だった時に、勤務企業数の値が1上がるとオッズ(離職する可能性)が1.2倍(1.1994)になると期待されます。 他の変数が一定だった時に、年齢が1歳上がるとオッズ(離職する可能性)が0.97倍(0.9719)になると期待されます。この場合は離職しにくくなるという解釈になります。 他の変数が一定だった時に、職種が「ベースレベル」である営業幹部から営業担当になるとオッズ(離職する可能性)が2.95倍(2.9491)になると期待されます。 他の変数が一定だった時に、人事評価が1上がるとオッズ(離職する可能性)が約1.12倍(1.1162)になると期待されます。また、人事評価の信頼区間は0.5259から2.3690と1をまたいでおり、P値も77%(0.7747)と高いため、離職に関係があるとは言いきれません。

モデルの指標

「モデルの指標」では、この予測モデルの評価を確認できます。「予測精度」には、ROC AUC、PR AUC、均衡正解率、正解率、誤分類率などが並びます。現在の指標はトレーニングデータに対する予測結果をもとに計算されており、未知データに対する予測精度を評価するにはテストデータを使うことが推奨されています。その場合は「設定」から「テストモード」を有効にしてください。 表を拡大すると、すべての指標を確認できます。 右にスクロールすると、特異度や行数(TRUE)、行数(FALSE)、行数も確認できます。 ROC AUCは離職のTRUE/FALSEをこのモデルでどれだけ上手く分けられているかの指標で、0から1の間の値を取ります。0.5はランダムに順位を付けた場合の目安で、1に近ければ近いほど、モデルがデータのTRUE/FALSEを上手く分けられていることを示します。 今回は、ROC AUCが0.853と1に近いため、このモデルを使うとTRUEとFALSEを上手く分けられていそうです。 またROC AUC以外の指標は下記を表しています。今回の値は、PR AUCが0.671、均衡正解率が0.705、正解率が0.891、誤分類率が0.109、F1スコアが0.56、適合率が0.803、再現率が0.43、特異度が0.98です。

F1スコア

適合率と再現率の調和平均です。0から1の間の値をとり、1に近いほど良い指標です。

正解率

実測値と予測値を比べたときに予測値が正解だった割合です。TRUEとFALSEの件数に偏りがある場合、正解率は、多数派のカテゴリを予測するだけでも高くなることがあります。そのため、均衡正解率、再現率、適合率、F1スコアなどとあわせて評価します。

誤分類率

予測値と実測値を比べたときに予測値が不正解だった割合です。誤分類率は、タイプ1エラー(第一種過誤/偽陽性/False Positive)の件数とタイプ2エラー(第二種過誤/偽陰性/False Negative)の件数の合計を、全件数で割った値です。

適合率(Precision)

「TRUE」と予測したデータの中で、実際に正解が「TRUE」だった割合です。

再現率(Recall)

実測値が「TRUE」のときに、予測モデルが「TRUE」と予測できている割合です。 上記の指標につきましては下記のノートで詳細をご紹介していますので、ご参考ください。
  • ロジカル型予測モデルの評価指標: AUC & F値 - リンク

予測確率の分布

「モデルの指標」の「予測確率の分布」では、このロジスティック回帰のモデルで離職を予測した確率を、実際のデータでTRUEだったとき、FALSEだったときに分けて、それぞれ分布(密度曲線)にして可視化しています。分布の上には、実測値と予測値を対応表にまとめた混同行列も表示されます。

ROC曲線

「モデルの指標」の「ROC曲線」では、ROC AUCの元となる面積をROC曲線から確認できます。 ROC AUCが低い時はROC曲線が対角線上に近づいていきます。下の例は、説明変数を「部署」だけにしたモデルのROC曲線です。 ROC AUCが高い時はROC曲線が左上の角に近づいていきます。下の例は、ここまで使ってきた20列の説明変数のモデルのROC曲線です。

予測結果

「予測結果」では、モデルに使用したデータと予測値がテーブル形式で表示されます。 目的変数である離職と、このモデルで算出された予測確率(Predicted Probability)、境界値を元にしたTRUE/FALSEのラベル(Predicted Label)を確認できます。

ロジスティック回帰に関するよくある質問

オッズは何を表していますか

TRUEの確率がFALSEの確率に比べて何倍かを表しており、下記のように計算できます。
例えば、コンバートするかしないかに関するデータがあった時には、オッズは下記のように求められます。

説明変数が数値型の時のオッズ比は何を表していますか

オッズ比とは、説明変数の値が増えた時に、オッズが何倍で増えていくのかを表しています。 下記の例では、視聴時間が増えた時にオッズが2倍ずつで増えているため、オッズ比は「2」となっています。

説明変数がカテゴリ型の時のオッズ比は何を表していますか

説明変数がカテゴリ型の時のオッズ比は、ベースレベルのオッズと比べて、それぞれの値のオッズが何倍であるかを求めています。 下記の例では、人事では、ベースレベルである研究開発と比べていくことになり、人事のオッズ / 研究開発(ベースレベル)のオッズ)で求めたものが人事のオッズ比になります。

データサイズが少ない時でも、カテゴリ型の説明変数のオッズ比は高く算出されますか

前提として、データサイズが少なかったとしても、TRUEとFALSEの比率が変わらなければ、オッズ自体の値は変わりません。
  • 100人いて20人がTRUE、80人がFALSEの時
  • 10人いて2人がTRUE、8人がFALSEの時
どちらもオッズとしては同じ0.25になります。
1つ前の解答でご紹介したカテゴリ型の時のオッズ比の計算を踏まえると、データ数が少なかったとしてもオッズ比自体の計算には、ベースレベルとそれぞれの値のオッズのみが重要になるためデータサイズは考慮されていません。 では、どういった時にカテゴリ型の変数でオッズ比が高くなるのかというと、ベースレベルと比較対象の変数のオッズに差が大きい時にオッズ比が高くなり、差が小さい時にはオッズ比が小さくなるようになっています。 例えば、下記のように研究開発がベースレベルで、人事と営業があった時に、営業の方がオッズが高くなっており、研究開発との差が大きいです。 そのため、人事に比べて営業のオッズ比が高くなるという結果になっています。 一方で有意かどうかについては別となり、ロジスティック回帰ではその変数の有意性をオッズ比のP値または信頼区間として表してくれます。 下記の例は、説明変数を「部署」だけにしたモデルです(ここまで使ってきた20列の説明変数のモデルには、部署は含まれません)。オッズ比は1.46のため、ベースレベルである研究開発に比べて人事は離職するオッズが1.46倍となりますが、信頼区間が0.76 - 2.82と1をまたいでいます。 つまりはオッズ比が0.76になるかもしれないし、2.82になるかもしれないことです。オッズ比が1をまたいでいると、オッズが1倍である可能性を否定できません。つまり、研究開発と比べて人事になったとしてもTRUEになる可能性に差があるとは確認できない、という判断になります。 この信頼区間は、データサイズに影響を受け、データサイズが多くなれば信頼区間は短くなり、データサイズが小さければ信頼区間は長くなります。 合わせて、P値の方でも一般的に使用される5%を基準として、有意かどうかを判断していくことが可能です。

Q: 「変数の係数と有意性」で表示される係数は標準化回帰係数ですか、それとも、偏回帰係数ですか?

「変数の係数と有意性」で表示される係数は説明変数の値を標準化した後の係数(標準化回帰係数)ではなく、「元の単位」における係数(偏回帰係数)となります。

説明変数にあるカテゴリ型の列のベースレベルを変更したい

ロジスティック回帰などの統計のモデルでのカテゴリ型の列を説明変数に選択して実行した際には、ベースレベルと比べて特定の値だった時に有意なのかどうかが分かるようになっており、ベースレベルはその列の値で最頻値(行の数が最も多い)が自動的に選ばれます。 ベースレベルを変更したい場合は、こちらの投稿をご覧ください。

Q: 「説明変数の影響度」で表示されている実測値はどのように求められているのですか?

「説明変数の影響度」の実測値はそれぞれの説明変数のデータタイプによって表示が異なります。 詳しくはこちらのノートをご覧ください。

Q: 「説明変数の影響度」で表示されている予測値はどのように求められているのですか?

予測値のチャートはPartial Dependence Plot(PDP)と呼ばれるもので、注目している変数の値を変化させたときに、予測結果がどう変わるかを可視化したチャートとなります。詳しくはこちらのノートをご覧ください。

Q: 閾値はどのように変更できますか?

「設定」の「モデル評価」にある「分類の境界値」に値を指定することで閾値を変更できます。閾値のデフォルトは0.5になっており、0.5以上の場合はTRUEと予測、0.5よりも小さい場合はFALSEと予測されています。

Q: 予測精度を上げるためにしきい値などの調整はどうすれば良いですか。どちらを優先すれば良いですか。

F値を最もよくするしきい値にすることもできますが、ドメインによってどちらを重視したいかは変わります。

Q: タイプ1とタイプ2エラーで、どれくらいなら許せるかの基準値はありますか?

各タイプのエラーが起きたときの損害をどこまで許容できるかによって判断することになります。

Q: 「多重共線性」でVIFが10を超える変数が複数あった時にはどのように説明変数を除いたらいいですか?

VIFが10を超える変数が複数あった時の説明変数の選び方については、こちらの投稿をご参照ください。

Q: 単回帰では有意にならない変数が、重回帰にすると有意になりました。どう解釈すればいいのでしょうか。

単回帰では有意な関係がないと見えていたものが、重回帰にすると有意になることを負の交絡(Negative Confounding)と言います。詳しくはこちらをご覧ください。

Q: オッズ比の信頼区間はどのように求められていますか?

Exploratoryでは、ロジスティック回帰を実行したときにオッズ比とその信頼区間を「変数の係数と有意性」から確認できます。 また、Exploratoryが呼び出している、Rのロジスティック回帰の関数(glm)では、IRLSという逐次計算で解を求めています。 こちらで出た解の副産物として係数の標準誤差が出るため、こちらのページの一番上の回答にあるような計算をしてオッズ比の信頼区間に変換しています。