メインコンテンツへスキップ
XGBoost は、複数のモデルに学習させ、それぞれの予測結果を一つの予測にまとめるアンサンブル学習の代表的なアルゴリズムの一つです。決定木を一つずつ順に作り、それまでの決定木の多数決で間違ったデータに重みをかけて、次の決定木ではその間違いをカバーするように学習を進めます。

何ができるか

たとえば、顧客ごとの売上データがあったとします。予測対象は売上で、属性として職業、性別、年齢の列があります。 XGBoost などの予測モデルを作るとき、予測対象の列を目的変数、目的変数を予測するために使う列を説明変数(説明変数)と呼びます。 手元のデータを使って売上を予測する XGBoost のモデルを作ります。 作成したモデルを使って、未知のデータに対して売上を予測できます。 また、作成したモデルから、データの中にあるパターンについて次のようなことがわかります。
  • 目的変数と関係の強い変数はどれか。
  • 変数の値が変わると、目的変数の値はどのように変わるか。
  • このモデルでは、目的変数の動きのどれくらいを説明できるのか。

必要なデータの形式

XGBoostを実行する際には、1行が1観測対象となっているデータを使う必要があります。 目的変数には数値型、ロジカル型のどちらも扱うことができます。説明変数におけるデータタイプには特に縛りはありません。しかし、説明変数同士の相関が強い場合は影響度を取り合ってしまい、変数重要度の順番が低く見積もられることがあります。

サンプルデータ

今回はサンプルデータとして、従業員データを使用していきます。 このデータは1行が1従業員のデータで、列には年齢や給料、職種など従業員の属性を表す列があります。

XGBoostを実行する

今回は、従業員の「給料」を予測するXGBoostのモデルを作成します。 アナリティクスビューを開き、「タイプ」のメニューから「機械学習」を選ぶと、「ランダムフォレスト」「XGBoost」「LightGBM」「CatBoost」が表示されます。ここでは「XGBoost」を選択します。 「目的変数」のメニューから「給料」を選択します。 「説明変数」をクリックして、「列の選択と設定」ダイアログで、給料を予測する上で使用する列を選択します。シフトキーを押すことで、複数の列を一気に選択できます。今回は給料、部署、日付列(入社日・退社日)を除く22列を選び、「OK」をクリックします。 目的変数と説明変数を割り当てることができたら、「実行」ボタンをクリックします。 給料(数値)を予測するXGBoostのモデルが作成されました。結果はレポートとして縦に並び、上部の「サマリ」「予測に関係する変数」「予測精度」「予測結果」「補足情報」のリンクから各節へ移動できます。「サマリ」には、行数(1,470)、説明変数の数(22)、検証データ(トレーニング)などが表示されます。

結果の解釈

変数重要度

「予測に関係する変数」の「変数重要度」では、どの変数が目的変数とより相関が強いのか、予測する時により重要なのかを調べることができます。各変数の重要度は予測性能の低下量(Permutation)で計算され、最大値が100になるよう正規化されています。 職位の相対重要度が100で、給料を予測する上で圧倒的に重要です。その次に職種や勤続年数が続いています。 変数重要度の詳細については、機械学習モデル - 変数重要度の仕組みと解釈のノートをご覧ください。

変数の値と予測値

「予測に関係する変数」の「変数の値と予測値」では、それぞれの変数の値が変わると、目的変数の値はどのように変わるのかがわかります。 グレーの線は実測値(平均値)を表しています。拡大してカーソルを合わせると、たとえば職位が4のときの給料の実測値は15,503.7830です。 青い線は予測値を表します。職位が2のときの予測値は5,271.4555です。 職位が4.8のときの予測値は13,838.1136で、職位が上がると給料が高くなる関係があることがわかります。 職種で見ると、たとえばマネージャーの予測値は7,152.3326です。

学習回数と精度の向上

「予測精度」の「学習回数と精度の向上」では、学習回数(作成された決定木の数)によって、評価指標がどのように変化したかが確認できます。「+ チャート」を開くと、横軸が学習回数、縦軸がRMSEのチャートが表示されます。 「学習回数 (木の数)」の初期値は200で、歯車の「設定」の「学習戦略」から変更できます。同じ画面の「検証と早期停止」には、「検証(バリデーション)データを使用する」(初期値はFALSE)や、「早期停止の反復回数」(評価指標が何回続けて改善しなかったら学習を止めるか。初期値は「早期停止なし」)があります。

モデルの評価指標

「予測精度」の「モデルの評価指標」では、この予測モデルの評価を確認できます。 R2乗はデータの平均からのばらつきをモデルが説明できている割合の指標で、0から1の間の値を取ります。1に近ければ近いほど、モデルがデータのばらつきをよく説明できていることを示します。「モデルの指標の詳細」を開くと、各指標の説明が表示されます。 今回は、R2乗が0.997とこのモデルを使うと給料のばらつきの99.7%説明できています(トレーニングデータに対する値です)。

予測結果

「予測結果」では、モデルに使用したデータと予測値をテーブル形式で表示されます。 目的変数である給料と、このモデルで算出された予測値(Predicted Value)を確認できます。

XGBoostに関するよくある質問

Q: 「変数の値と予測値」で表示されている実測値はどのように求められているのですか?

「変数の値と予測値」の実測値はそれぞれの説明変数のデータタイプによって表示が異なります。 詳しくはこちらのノートをご覧ください。

Q: 「変数の値と予測値」で表示されている予測値はどのように求められているのですか?

予測値のチャートはPartial Dependence Plot(PDP)と呼ばれるもので、注目している変数の値を変化させたときに、予測結果がどう変わるかを可視化したチャートとなります。詳しくはこちらのノートをご覧ください。