XGBoost との違い
主な違いの一つが、木の「育て方」です。XGBoost はデフォルトでは、木の各階層をまんべんなく広げていく「Level-wise(レベル単位)」という方法をとります。一方、LightGBM は「Leaf-wise(葉単位)」という方法をとり、「ここを分割すれば一番予測が改善する」という葉だけを優先的に分割します。必要なところだけを重点的に分割するため、同じ数の葉でも、より予測精度の高い木を作れます。 学習をさらに高速化するための工夫もあります。- GOSS(Gradient-based One-Side Sampling):すでに予測がうまくいっているデータの一部をスキップし、予測を大きく外しているデータに集中して学習します。
- EFB(Exclusive Feature Bundling):同時に値を持たない特徴量(たとえば「Aが1のときBは必ず0」のような関係)をまとめて一つの特徴量として扱い、計算量を減らします。
- ヒストグラムベースアルゴリズム:連続的な数値をあらかじめいくつかのグループ(ビン)に分けておき、分割点の探索を高速化します。
必要なデータの形式
LightGBMを実行する際には、1行が1観測対象となっているデータを使う必要があります。目的変数には数値型、ロジカル型のどちらも扱うことができます。説明変数におけるデータタイプには特に縛りはありません。しかし、説明変数同士の相関が強い場合は影響度を取り合ってしまい、変数重要度の順番が低く見積もられることがあります。サンプルデータ
今回はサンプルデータとして、従業員データを使用していきます。 このデータは1行が1従業員のデータで、1,470行・26列です。列には年齢や給料、職種など従業員の属性を表す列があります。
LightGBMを実行する
今回は、従業員の「給料」を予測するLightGBMのモデルを作成します。





結果の解釈
変数重要度
「予測に関係する変数」の節の「変数重要度」では、どの変数が目的変数とより相関が強いのか、予測する時により重要なのかを調べることができます。
変数の値と予測値
同じ節の「変数の値と予測値」では、それぞれの変数の値が変わると、目的変数の値はどのように変わるのかがわかります。これはPartial Dependence Plot(PDP)と呼ばれる手法で可視化されています。
学習回数と精度の向上
「予測精度」の節の「学習回数と精度の向上」では、学習回数(作成された決定木の数)によって、予測精度がどれだけ向上したかが確認できます。「チャート」をクリックすると、学習回数ごとのRMSEが表示されます。今回の例では、学習回数が増えるにつれてRMSEが下がり、最初の50回ほどで大きく下がったあとは緩やかになっています。

モデルの評価指標
「予測精度」の節の「モデルの評価指標」では、この予測モデルの予測精度を確認できます。ここでは、「設定」で「学習回数 (木の数)」を10にして実行した結果を示します。




予測結果
「予測結果」の節では、モデルに使用したデータと予測値をテーブル形式で確認できます。表を右へスクロールすると、目的変数である給料と、このモデルで算出された予測値(Predicted Value)、テストデータかどうか(Test Data)が並んでいます。給料と予測値を並べて確認することで、モデルの予測がどの程度正確かを個別のデータレベルで把握できます。
