Integrations

• 1: keras
• 1.1: WandbCallback
• 1.2: WandbEvalCallback
• 1.3: WandbMetricsLogger
• 1.4: WandbModelCheckpoint

1 - keras

wandb を Keras と統合するためのツール。

クラス

class WandbCallback: WandbCallback は、Keras と wandb を自動的に統合します。

class WandbEvalCallback: モデル の 予測 の 可視化 のための Keras コールバック を構築するための抽象基底クラス。

class WandbMetricsLogger: システム メトリクス を W&B に送信する Logger。

class WandbModelCheckpoint: Keras モデル または モデル の重みを定期的に保存する チェックポイント 。

1.1 - WandbCallback

WandbCallback は、keras と wandb を自動的に インテグレーション します。

WandbCallback(
    monitor="val_loss", verbose=0, mode="auto", save_weights_only=(False),
    log_weights=(False), log_gradients=(False), save_model=(True),
    training_data=None, validation_data=None, labels=None, predictions=36,
    generator=None, input_type=None, output_type=None, log_evaluation=(False),
    validation_steps=None, class_colors=None, log_batch_frequency=None,
    log_best_prefix="best_", save_graph=(True), validation_indexes=None,
    validation_row_processor=None, prediction_row_processor=None,
    infer_missing_processors=(True), log_evaluation_frequency=0,
    compute_flops=(False), **kwargs
)

例:

model.fit(
    X_train,
    y_train,
    validation_data=(X_test, y_test),
    callbacks=[WandbCallback()],
)

WandbCallback は、keras によって収集されたすべての メトリクス (loss や keras_model.compile() に渡されたもの) から履歴 データを自動的に ログ します。

WandbCallback は、“best” の トレーニング ステップに関連付けられた run の概要 メトリクス を設定します。ここで、“best” は monitor および mode 属性によって定義されます。これはデフォルトで最小の val_loss を持つ エポック になります。WandbCallback は、デフォルトで best の epoch に関連付けられた model を保存します。

WandbCallback は、オプションで 勾配 と パラメータ のヒストグラムを ログ できます。

WandbCallback は、オプションで wandb が 可視化 するための トレーニング データ と 検証データ を保存できます。

メソッド

get_flops

View source

get_flops() -> float

推論モードで tf.keras.Model または tf.keras.Sequential model の FLOPS [GFLOPs] を計算します。

内部的には tf.compat.v1.profiler を使用します。

set_model

View source

set_model(
    model
)

set_params

View source

set_params(
    params
)

1.2 - WandbEvalCallback

モデルの予測の可視化のために Keras の callback を構築するための抽象基底クラス。

WandbEvalCallback(
    data_table_columns: List[str],
    pred_table_columns: List[str],
    *args,
    **kwargs
) -> None

分類、オブジェクト検出、セグメンテーションなどのタスクのために、model.fit() に渡すことができる on_epoch_end でモデルの予測を可視化するための callback を構築できます。

これを使用するには、この基底 callback クラスを継承し、add_ground_truth と add_model_prediction メソッドを実装します。

基底クラスは、以下を処理します。

• 正解をログするための data_table と、予測のための pred_table を初期化します。
• data_table にアップロードされたデータは、pred_table の参照として使用されます。これは、メモリフットプリントを削減するためです。data_table_ref は、参照されたデータにアクセスするために使用できるリストです。その方法については、以下の例を確認してください。
• テーブルを W&B に W&B Artifacts として記録します。
• 新しい pred_table はそれぞれ、エイリアスを持つ新しいバージョンとしてログに記録されます。

例:

class WandbClfEvalCallback(WandbEvalCallback):
    def __init__(self, validation_data, data_table_columns, pred_table_columns):
        super().__init__(data_table_columns, pred_table_columns)

        self.x = validation_data[0]
        self.y = validation_data[1]

    def add_ground_truth(self):
        for idx, (image, label) in enumerate(zip(self.x, self.y)):
            self.data_table.add_data(idx, wandb.Image(image), label)

    def add_model_predictions(self, epoch):
        preds = self.model.predict(self.x, verbose=0)
        preds = tf.argmax(preds, axis=-1)

        data_table_ref = self.data_table_ref
        table_idxs = data_table_ref.get_index()

        for idx in table_idxs:
            pred = preds[idx]
            self.pred_table.add_data(
                epoch,
                data_table_ref.data[idx][0],
                data_table_ref.data[idx][1],
                data_table_ref.data[idx][2],
                pred,
            )


model.fit(
    x,
    y,
    epochs=2,
    validation_data=(x, y),
    callbacks=[
        WandbClfEvalCallback(
            validation_data=(x, y),
            data_table_columns=["idx", "image", "label"],
            pred_table_columns=["epoch", "idx", "image", "label", "pred"],
        )
    ],
)

よりきめ細かい制御を行うには、on_train_begin メソッドと on_epoch_end メソッドをオーバーライドできます。N 個のバッチ処理後にサンプルをログに記録する場合は、on_train_batch_end メソッドを実装できます。

メソッド

add_ground_truth

ソースを表示

@abc.abstractmethod
add_ground_truth(
    logs: Optional[Dict[str, float]] = None
) -> None

正解 データを data_table に追加します。

このメソッドを使用して、init_data_table メソッドを使用して初期化された data_table に、検証/トレーニングデータを追加するロジックを記述します。

例:

for idx, data in enumerate(dataloader):
    self.data_table.add_data(idx, data)

このメソッドは、on_train_begin または同等の hook で 1 回呼び出されます。

add_model_predictions

ソースを表示

@abc.abstractmethod
add_model_predictions(
    epoch: int,
    logs: Optional[Dict[str, float]] = None
) -> None

モデルからの予測を pred_table に追加します。

このメソッドを使用して、init_pred_table メソッドを使用して初期化された pred_table に、検証/トレーニングデータのモデル予測を追加するロジックを記述します。

例:

# データローダーがサンプルをシャッフルしないと仮定します。
for idx, data in enumerate(dataloader):
    preds = model.predict(data)
    self.pred_table.add_data(
        self.data_table_ref.data[idx][0],
        self.data_table_ref.data[idx][1],
        preds,
    )

このメソッドは、on_epoch_end または同等の hook で呼び出されます。

init_data_table

ソースを表示

init_data_table(
    column_names: List[str]
) -> None

検証データ 用の W&B Tables を初期化します。

このメソッドを on_train_begin または同等の hook で呼び出します。これに続いて、テーブルに行ごとまたは列ごとにデータを追加します。

init_pred_table

ソースを表示

init_pred_table(
    column_names: List[str]
) -> None

モデル評価用の W&B Tables を初期化します。

このメソッドを on_epoch_end または同等の hook で呼び出します。これに続いて、テーブルに行ごとまたは列ごとにデータを追加します。

log_data_table

ソースを表示

log_data_table(
    name: str = "val",
    type: str = "dataset",
    table_name: str = "val_data"
) -> None

data_table を W&B artifact としてログに記録し、それに対して use_artifact を呼び出します。

これにより、評価テーブルは、すでにアップロードされたデータ (画像、テキスト、スカラーなど) の参照を、再アップロードせずに使用できます。

log_pred_table

ソースを表示

log_pred_table(
    type: str = "evaluation",
    table_name: str = "eval_data",
    aliases: Optional[List[str]] = None
) -> None

モデル評価用の W&B Tables をログに記録します。

テーブルは複数回ログに記録され、新しいバージョンが作成されます。これを使用して、さまざまな間隔でモデルをインタラクティブに比較します。

set_model

set_model(
    model
)

set_params

set_params(
    params
)

1.3 - WandbMetricsLogger

システムメトリクスを W&B に送信するロガー。

WandbMetricsLogger(
    log_freq: Union[LogStrategy, int] = "epoch",
    initial_global_step: int = 0,
    *args,
    **kwargs
) -> None

WandbMetricsLogger は、コールバックメソッドが wandb に引数として取る logs 辞書を自動的に ログ 記録します。

このコールバックは、以下のものを自動的に W&B の run ページにログ記録します。

• システム (CPU/GPU/TPU) メトリクス
• model.compile で定義されたトレーニングおよび検証メトリクス
• 学習率（固定値と学習率スケジューラの両方）

注:

initial_epoch を model.fit に渡してトレーニングを再開し、学習率スケジューラを使用している場合は、initial_global_step を WandbMetricsLogger に渡してください。initial_global_step は step_size * initial_step です。step_size は、エポックごとのトレーニングステップ数です。step_size は、トレーニングデータセットのカーディナリティとバッチサイズの積として計算できます。

メソッド

set_model

set_model(
    model
)

set_params

set_params(
    params
)

1.4 - WandbModelCheckpoint

Keras の model または model の重みを定期的に保存するチェックポイントです。

WandbModelCheckpoint(
    filepath: StrPath,
    monitor: str = "val_loss",
    verbose: int = 0,
    save_best_only: bool = (False),
    save_weights_only: bool = (False),
    mode: Mode = "auto",
    save_freq: Union[SaveStrategy, int] = "epoch",
    initial_value_threshold: Optional[float] = None,
    **kwargs
) -> None

保存された重みは、 wandb.Artifact として W&B にアップロードされます。

この callback は tf.keras.callbacks.ModelCheckpoint からサブクラス化されているため、 チェックポイントのロジックは親の callback によって処理されます。詳細については、 こちらをご覧ください: https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/ModelCheckpoint

この callback は、model.fit() を使用した training と組み合わせて使用​​し、 model または重み (チェックポイントファイル内) を一定の間隔で保存します。 model のチェックポイントは、W&B Artifacts としてログに記録されます。詳細については、こちらをご覧ください: https://docs.wandb.ai/guides/artifacts

この callback は、次の機能を提供します。

• 「monitor」に基づいて「最高のパフォーマンス」を達成した model を保存します。
• パフォーマンスに関係なく、エポックの最後に毎回 model を保存します。
• エポックの終わり、または固定数の training バッチの後に model を保存します。
• model の重みのみを保存するか、model 全体を保存します。
• SavedModel 形式または .h5 形式で model を保存します。

Methods

set_model

set_model(
    model
)

set_params

set_params(
    params
)