Keras

Keras コールバック

W&B には Keras 用の 3 つのコールバックがあり、wandb v0.13.4 から利用できます。従来の WandbCallback については、下にスクロールしてください。

• WandbMetricsLogger: 実験管理には、このコールバックを使用します。トレーニングと検証のメトリクスをシステムメトリクスとともに Weights & Biases に記録します。

• WandbModelCheckpoint: モデルのチェックポイントを Weight and Biases Artifactsに記録するには、このコールバックを使用します。

• WandbEvalCallback: このベースコールバックは、モデルの予測を Weights and Biases Tablesに記録して、インタラクティブな可視化を実現します。

これらの新しいコールバック：

• Keras の設計理念に準拠しています。
• すべてに単一のコールバック（WandbCallback）を使用することによる認知負荷を軽減します。
• Keras ユーザーがコールバックをサブクラス化してニッチなユースケースをサポートすることで、コールバックを簡単に変更できるようにします。

WandbMetricsLogger で実験を追跡する

WandbMetricsLogger は、on_epoch_end、on_batch_end などのコールバックメソッドが引数として受け取る Keras の logs 辞書を自動的に記録します。

これにより、以下が追跡されます。

• model.compile で定義されたトレーニングおよび検証のメトリクス。
• システム (CPU/GPU/TPU) メトリクス。
• 学習率 (固定値と学習率スケジューラの両方)。

import wandb
from wandb.integration.keras import WandbMetricsLogger

# 新しい W&B の run を初期化します。
wandb.init(config={"bs": 12})

# WandbMetricsLogger を model.fit に渡します。
model.fit(
    X_train, y_train, validation_data=(X_test, y_test), callbacks=[WandbMetricsLogger()]
)

WandbMetricsLogger リファレンス

WandbModelCheckpoint を使用してモデルをチェックポイントする

WandbModelCheckpoint コールバックを使用して、Keras モデル (SavedModel 形式) またはモデルの重みを定期的に保存し、モデルの バージョン管理 用の wandb.Artifact として W&B にアップロードします。

このコールバックは tf.keras.callbacks.ModelCheckpoint からサブクラス化されているため、チェックポイントロジックは親コールバックによって処理されます。

このコールバックは以下を保存します。

• モニターに基づいて最高のパフォーマンスを達成したモデル。
• パフォーマンスに関係なく、すべてのエポックの終わりにモデル。
• エポックの終わり、または固定数のトレーニングバッチの後。
• モデルの重みのみ、またはモデル全体。
• SavedModel 形式または .h5 形式のいずれかでモデル。

このコールバックを WandbMetricsLogger と組み合わせて使用​​します。

import wandb
from wandb.integration.keras import WandbMetricsLogger, WandbModelCheckpoint

# 新しい W&B の run を初期化します。
wandb.init(config={"bs": 12})

# WandbModelCheckpoint を model.fit に渡します。
model.fit(
    X_train,
    y_train,
    validation_data=(X_test, y_test),
    callbacks=[
        WandbMetricsLogger(),
        WandbModelCheckpoint("models"),
    ],
)

WandbModelCheckpoint リファレンス

N エポック後にチェックポイントを記録する

デフォルト (save_freq="epoch") では、コールバックは各エポックの後にチェックポイントを作成し、アーティファクトとしてアップロードします。特定の数のバッチの後にチェックポイントを作成するには、save_freq を整数に設定します。N エポック後にチェックポイントを作成するには、train データローダーのカーディナリティを計算し、それを save_freq に渡します。

WandbModelCheckpoint(
    filepath="models/",
    save_freq=int((trainloader.cardinality()*N).numpy())
)

TPU アーキテクチャでチェックポイントを効率的に記録する

TPU でチェックポイントを作成しているときに、UnimplementedError: File system scheme '[local]' not implemented エラーメッセージが表示される場合があります。これは、モデルディレクトリー (filepath) がクラウドストレージバケットパス (gs://bucket-name/...) を使用する必要があり、このバケットが TPU サーバーからアクセスできる必要があるために発生します。ただし、チェックポイント作成にはローカルパスを使用できます。これは Artifacts としてアップロードされます。

checkpoint_options = tf.saved_model.SaveOptions(experimental_io_device="/job:localhost")

WandbModelCheckpoint(
    filepath="models/,
    options=checkpoint_options,
)

WandbEvalCallback を使用してモデルの予測を可視化する

WandbEvalCallback は、主にモデルの予測、次にデータセットの可視化のための Keras コールバックを構築するための抽象ベースクラスです。

この抽象コールバックは、データセットとタスクに関して不可知論的です。これを使用するには、このベースの WandbEvalCallback コールバッククラスから継承し、add_ground_truth メソッドと add_model_prediction メソッドを実装します。

WandbEvalCallback は、次のメソッドを提供するユーティリティクラスです。

• データと予測の wandb.Table インスタンスを作成します。
• データと予測の Tables を wandb.Artifact として記録します。
• データテーブル on_train_begin を記録します。
• 予測テーブル on_epoch_end を記録します。

次の例では、画像分類タスクに WandbClfEvalCallback を使用しています。この例のコールバックは、検証データ (data_table) を W&B に記録し、推論を実行し、すべてのエポックの終わりに予測 (pred_table) を W&B に記録します。

import wandb
from wandb.integration.keras import WandbMetricsLogger, WandbEvalCallback


# モデル予測の可視化コールバックを実装します。
class WandbClfEvalCallback(WandbEvalCallback):
    def __init__(
        self, validation_data, data_table_columns, pred_table_columns, num_samples=100
    ):
        super().__init__(data_table_columns, pred_table_columns)

        self.x = validation_data[0]
        self.y = validation_data[1]

    def add_ground_truth(self, logs=None):
        for idx, (image, label) in enumerate(zip(self.x, self.y)):
            self.data_table.add_data(idx, wandb.Image(image), label)

    def add_model_predictions(self, epoch, logs=None):
        preds = self.model.predict(self.x, verbose=0)
        preds = tf.argmax(preds, axis=-1)

        table_idxs = self.data_table_ref.get_index()

        for idx in table_idxs:
            pred = preds[idx]
            self.pred_table.add_data(
                epoch,
                self.data_table_ref.data[idx][0],
                self.data_table_ref.data[idx][1],
                self.data_table_ref.data[idx][2],
                pred,
            )


# ...

# 新しい W&B の run を初期化します。
wandb.init(config={"hyper": "parameter"})

# コールバックを Model.fit に追加します。
model.fit(
    X_train,
    y_train,
    validation_data=(X_test, y_test),
    callbacks=[
        WandbMetricsLogger(),
        WandbClfEvalCallback(
            validation_data=(X_test, y_test),
            data_table_columns=["idx", "image", "label"],
            pred_table_columns=["epoch", "idx", "image", "label", "pred"],
        ),
    ],
)

WandbEvalCallback リファレンス

メモリフットプリントの詳細

on_train_begin メソッドが呼び出されると、data_table を W&B に記録します。W&B Artifact としてアップロードされると、data_table_ref クラス変数を使用してアクセスできるこのテーブルへの参照を取得します。data_table_ref は、self.data_table_ref[idx][n] のようにインデックスを付けることができる 2D リストです。ここで、idx は行番号で、n は列番号です。以下の例で使用法を見てみましょう。

コールバックをカスタマイズする

on_train_begin メソッドまたは on_epoch_end メソッドをオーバーライドして、よりきめ細かい制御を行うことができます。N バッチ後にサンプルを記録する場合は、on_train_batch_end メソッドを実装できます。

WandbCallback [レガシー]

W&B ライブラリの WandbCallback クラスを使用して、model.fit で追跡されるすべてのメトリクスと損失値を自動的に保存します。

import wandb
from wandb.integration.keras import WandbCallback

wandb.init(config={"hyper": "parameter"})

...  # Keras でモデルをセットアップするコード

# コールバックを model.fit に渡します。
model.fit(
    X_train, y_train, validation_data=(X_test, y_test), callbacks=[WandbCallback()]
)

短いビデオ 1 分以内に Keras と Weights & Biases を使い始める をご覧ください。

より詳細なビデオについては、Weights & Biases と Keras を統合する をご覧ください。Colab Jupyter Notebook を確認できます。

WandbCallback クラスは、監視するメトリックの指定、重みと勾配の追跡、training_data と validation_data での予測の記録など、さまざまなログ構成オプションをサポートしています。

詳細については、keras.WandbCallback のリファレンスドキュメント を確認してください。

WandbCallback

• Keras によって収集されたメトリクスから履歴データを自動的に記録します: 損失と keras_model.compile() に渡されたもの。
• monitor および mode 属性で定義されているように、「最良」のトレーニングステップに関連付けられた run の概要メトリクスを設定します。これはデフォルトで、最小の val_loss を持つエポックになります。WandbCallback はデフォルトで、最良の epoch に関連付けられたモデルを保存します。
• オプションで勾配とパラメーターのヒストグラムを記録します。
• オプションで、wandb が可視化するためにトレーニングデータと検証データを保存します。

WandbCallback リファレンス

よくある質問

Keras マルチプロセッシングを wandb で使用するにはどうすればよいですか?

use_multiprocessing=True を設定すると、次のエラーが発生する可能性があります。

Error("You must call wandb.init() before wandb.config.batch_size")

これを回避するには:

1. Sequence クラスの構築で、wandb.init(group='...') を追加します。
2. main で、if __name__ == "__main__": を使用していることを確認し、残りのスクリプト ロジックをその中に入れます。