LightGBM

W&B で ツリー を追跡しましょう。

wandb ライブラリには、 LightGBM 用の特別な コールバック が含まれています。また、 Weights & Biases の汎用的な ログ 機能を使用すると、 ハイパーパラメーター 探索 のような大規模な 実験 を簡単に追跡できます。

from wandb.integration.lightgbm import wandb_callback, log_summary
import lightgbm as lgb

# メトリクス を W&B に ログ 記録
gbm = lgb.train(..., callbacks=[wandb_callback()])

# 特徴量の インポータンスプロット を ログ 記録し、 モデル の チェックポイント を W&B にアップロード
log_summary(gbm, save_model_checkpoint=True)

Sweeps を使用した ハイパーパラメーター の調整

モデル のパフォーマンスを最大限に引き出すには、 ツリー の深さや学習率などの ハイパーパラメーター を調整する必要があります。Weights & Biases には、大規模な ハイパーパラメーター のテスト 実験 を構成、編成、分析するための強力な ツールキットである Sweeps が含まれています。

これらの ツール の詳細と、XGBoost で Sweeps を使用する方法の例については、このインタラクティブな Colab ノートブック をご覧ください。

Summary: trees outperform linear learners on this classification dataset.