SageMaker

W&B と Amazon SageMaker の統合方法について。

W&B は Amazon SageMaker と連携し、ハイパーパラメータの自動読み取り、分散 run のグループ化、チェックポイントからの run の再開を自動で行います。

認証

W&B は、トレーニングスクリプトを基準とした secrets.env という名前のファイルを探し、wandb.init() が呼び出されると、それらを環境にロードします。secrets.env ファイルは、実験の launch に使用するスクリプトで wandb.sagemaker_auth(path="source_dir") を呼び出すことによって生成できます。このファイルを必ず .gitignore に追加してください!

既存のエスティメーター

SageMaker の事前構成済みエスティメーターのいずれかを使用している場合は、wandb を含む requirements.txt をソースディレクトリーに追加する必要があります。

wandb

Python 2 を実行しているエスティメーターを使用している場合は、wandb をインストールする前に、この wheel から直接 psutil をインストールする必要があります。

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

完全な例は GitHub で確認し、詳細については blog を参照してください。

SageMaker と W&B を使用したセンチメント分析アナライザーのデプロイに関する チュートリアル もお読みいただけます。