メインコンテンツへスキップ
ランダムフォレストは、複数のモデルに学習させ、それぞれの予測結果を一つの予測にまとめるアンサンブル学習の代表的なアルゴリズムの一つです。ランダムにサンプリングした複数の決定木を作り、その結果の平均値(または多数決)をとることで、一つの決定木よりも高い予測精度が得られます。 統計学習のモデルでは、線形回帰の目的変数が数値型、ロジスティック回帰の目的変数がロジカル型に限られます。機械学習のモデルであるランダムフォレスト(決定木、XGBoost も同様)は、目的変数に数値型とロジカル型のどちらも扱えます。

何ができるか

ランダムフォレストを使うと、次の質問に答えられます。
  • 目的変数が数値型の場合:このデータ(説明変数)を使うことで、目的変数(例:売上)のばらつきの何%を説明できるか。
  • 目的変数がロジカル型の場合:このデータ(説明変数)を使うことで、目的変数(例:コンバージョン)のTRUE、FALSEをどれだけうまく分けられているか。
  • どの変数が目的変数を予測するうえで重要か。
  • 変数の値が変わると、目的変数の値はどのように変わるか。

必要なデータ

ランダムフォレストを作成するためには、1行が1観察対象(例:1行が1従業員)となっているデータが必要です。 また、目的変数として使用できるデータタイプは、「数値型」と「ロジカル型」の両方を扱うことができます。説明変数におけるデータタイプには特に縛りはありません。しかし、説明変数同士の相関が強い場合は影響度を取り合ってしまい、変数重要度の順番が低く見積もられることがあります。

サンプルデータ

今回はサンプルデータとして、従業員データを使用していきます。 このデータは1行が1従業員のデータで、列には年齢や給料、職種など従業員の属性を表す列があります。

数値型を目的としたランダムフォレストのモデルを作成する

従業員の「給料」を予測するランダムフォレストのモデルを作成します。 「目的変数」のメニューから「給料」を選択します。 「説明変数」をクリックすると、「列の選択と設定」ダイアログが開きます。 説明変数を選択します。Shiftキーを押しながら列を選ぶことで、一気に列を選択できます。今回は給料、部署、日付列(入社日・退社日)を除く22列を選び、「OK」をクリックします。 目的変数と説明変数を割り当てることができたら、「実行」ボタンをクリックします。 ランダムフォレストのモデルが作成されました。結果はレポートとして縦に並び、上部の「サマリ」「予測に関係する変数」「予測精度」「予測結果」「補足情報」のリンクから各節へ移動できます。「サマリ」には、行数(1,470)、説明変数の数(22)、検証データ(トレーニング)などが表示されます。

結果の解釈

変数重要度

「予測に関係する変数」の「変数重要度」では、どの変数が目的変数との関係がより強いのか、予測する時により重要なのかを調べることができます。各変数の重要度は予測性能の低下量(Permutation)で計算され、最大値が100になるよう正規化されています。 拡大すると、職位の重要度が100で最も高く、続いて勤続年数、職種、年齢の順になっていることがわかります。 さらに、どの変数が重要でどの変数は意味がないのかを判断をするために変数重要度に統計的手法をかけ合わせた「ボルータ」という手法を使うこともできます。歯車の「設定」の「変数重要度 / 変数の値と予測値」にある「ボルータを有効化」をTRUEにします(初期値はFALSE、「ボルータの最大反復回数」は20です)。

変数の値と予測値

「予測に関係する変数」の「変数の値と予測値」では、それぞれの変数の値が変わると、目的変数の値はどのように変わるのかがわかります。 グレーの線は実測値(平均値)を表しています。拡大してカーソルを合わせると、たとえば職位が4のときの給料の実測値は15,503.7830です。 青い線は予測値を表します。職位が2のときの予測値は5,815.6360です。 職位が5のときの予測値は11,137.1933で、職位が上がると給料が高くなる関係があることがわかります。 職種で見ると、たとえばマネージャーの予測値は7,447.2612です。

予測精度

「予測精度」の「モデルの評価指標」では、この予測モデルの評価を確認できます。現在の指標はトレーニングデータに対する予測結果をもとに計算されており、未知データに対する予測精度を評価するにはテストデータを使うことが推奨されています。その場合は「設定」から「テストモード」を有効にしてください。 R2乗はデータの平均からのばらつきをモデルが説明できている割合の指標で、0から1の間の値を取ります。1に近ければ近いほど、モデルがデータのばらつきをよく説明できていることを示します。「モデルの指標の詳細」を開くと、各指標の説明が表示されます。 今回は、R2乗が0.951とこのモデルを使うと給料のばらつきの95.1%説明できています(トレーニングデータに対する値です)。

予測結果

「予測結果」では、モデルに使用したデータと予測値がテーブル形式で表示されます。 目的変数である給料と、このモデルで算出された予測値(Predicted Value)を確認できます。

ロジカル型を目的としたランダムフォレストのモデルを作成する

従業員が「離職」しているかどうかを予測するランダムフォレストのモデルを作成します。元の従業員データでは「離職」が文字型のため、ロジスティック回帰と同じく、「カスタムRコマンド」で dplyr::mutate(離職 = 離職 == "Yes") を実行して、ロジカル型に変換したデータフレームを使います。 目的変数に「離職」を選択し、説明変数に任意の列を選択します。今回は離職と日付列(入社日・退社日)を除く23列(部署と給料を含む)を選びました。 目的変数と説明変数を割り当てることができたら、「実行」ボタンをクリックします。 ランダムフォレストのモデルが作成されました。「サマリ」には、ロジカル型の目的変数「離職」を予測するモデルであることと、行数(1,470)、説明変数の数(23)、TRUEの境界値(0.5)、目的変数の分布(TRUE 237行・16.1%、FALSE 1,233行・83.9%)が表示されます。

結果の解釈

先程の数値型で紹介しているものは一部省いて説明しています。

変数重要度

「予測に関係する変数」の「変数重要度」を見ると、残業、給料、職位、勤続年数、年齢が離職を予測する上で重要な変数のようです。

変数の値と予測確率

それぞれの変数の値が変わると、離職の予測確率がどのように変わるかを「変数の値と予測確率」で確認します。 残業が TRUE の場合の予測確率は0.2513で、していない場合に比べて離職の確率が高いようです。 年齢が24.3のときの予測確率は0.2202で、年齢が高くなるにつれて離職の確率が低くなる傾向が見られます。

予測精度

「予測精度」の「モデルの評価指標」では、この予測モデルの評価を確認できます。 ROC AUCは離職のTRUE/FALSEをこのモデルでどれだけ上手く分けられているかの指標で、0から1の間の値を取ります。0.5はランダムに順位を付けた場合の目安で、1に近ければ近いほど、モデルがデータのTRUE/FALSEを上手く分けられていることを示します。 今回は、ROC AUCが0.982と1に近いため、このモデルを使うとTRUEとFALSEを上手く分けられていそうです。そのほかの値は、PR AUCが0.912、均衡正解率が0.659、正解率が0.888です(いずれもトレーニングデータに対する値です)。

予測確率の分布

「予測確率の分布」では、このランダムフォレストのモデルで離職を予測した確率を、実際のデータでTRUEだったとき、FALSEだったときに分けて、それぞれ分布(密度曲線)にして可視化しています。

ROC曲線

「ROC曲線」では、ROC AUCの元となる面積をROC曲線から確認できます。青い線は曲線が左上に近いほど、FALSEの誤検出を抑えながらTRUEを正しく見つけられていて、分類性能が高いことを示します。灰色の対角線はランダムな予測と同程度の性能です。 チャートにカーソルを合わせると、偽陽性率と真陽性率を確認できます。今回は、偽陽性率が0.071のとき、真陽性率は0.949です。 「ROC AUC」はROC曲線の下の面積を表す指標で、1に近いほどTRUEとFALSEを区別する性能が高く、0.5の場合はランダムに分類した場合と同程度であることを示します。ROC曲線の下には「Precision-Recall曲線(PR曲線)」も表示されます。

予測結果

「予測結果」では、目的変数である離職と、このモデルで算出された予測ラベル(Predicted Label)、予測確率(Predicted Probability)を確認できます。

ランダムフォレストに関するよくある質問

Q: 「変数の値と予測値」で表示されている実測値はどのように求められているのですか?

「変数の値と予測値」の実測値はそれぞれの説明変数のデータタイプによって表示が異なります。 詳しくはこちらのノートをご覧ください。

Q: 「変数の値と予測値」で表示されている予測値はどのように求められているのですか?

予測値のチャートはPartial Dependence Plot(PDP)と呼ばれるもので、注目している変数の値を変化させたときに、予測結果がどう変わるかを可視化したチャートとなります。詳しくはこちらのノートをご覧ください。

Q: 機械学習と統計学習の違いで、統計学だと少ないサンプルで予測する、機械学習だと大きなデータで予測する。なにかデータ数の基準はありますか?

特にありません。

Q: ランダムフォレストには多重共線性の問題は関係ないのでしょうか?

多重共線性という名前で呼ばれることはないのですが同様の問題はあって、同じような情報が複数の列から得られると、変数重要度などの分析結果が不安定になることがあります。

Q: ランダムフォレストで決定木を作る回数などは分析者がチューニングするのでしょうか?

予測する際にはチューニングしすぎると、オーバーフィッティング(過学習)が起きる可能性があるのでテストが必要になります。

Q: 変数重要度がマイナスになってしまう時はどう解釈すれば良いでしょうか?

変数重要度ではPermutationという手法を使用しており、下記のような仕組みになっています。
  • 学習済みのモデルは固定したまま、評価用のデータで1つの説明変数の列の値をランダムに並べ替え(シャッフルし)、予測し直す。
  • 並べ替える前に比べて、予測性能がどれだけ下がったか(予測誤差がどれだけ増えたか)を計算する。
  • これを全ての変数で繰り返す。
  • 予測性能の低下量をもとに、それぞれの変数の相対的な重要度を評価する。
変数重要度の詳細はこちらのノートをご覧ください。 変数重要度は、元の列を使った時の評価スコアと、並べ替えた列を使った時の評価スコアの差で求められます。
  • プラスの時: 並べ替えると予測性能が下がるため、その変数が予測に役立っていると考えられます。
  • マイナスの時: 並べ替えた方が、元の列を使った時よりも予測性能が良くなっています。
そのため、変数重要度がマイナスになるケースの多くは、あまり関係のない変数のことが多いかと思います。

Q: ランダムフォレストでボルータを使用した時に変数重要度がマイナスになるのはなぜでしょうか?

ボルータを有効にすると、変数重要度のチャートは箱ひげ図になり、変数が「確定」「保留」「却下」のどれかに分けて表示されます。下位の変数では、重要度が0を下回るものもあります。 ボルータで下位の変数の重要度の中央値が負になるのは、その変数が予測にほとんど役に立っていないためゼロ近辺で重要度が分布していて、それがばらつきによってたまたま負になったと考えるのが自然と思います。 複数ある変数の最下位近辺になると、たまたま重要度の中央値が負になった変数が最下位として表示されることになりますので、そういった結果は珍しくありません。