Model registry

• 1: Tutorial: Use W&B for model management
• 2: Model Registry Terms and Concepts
• 3: Track a model
• 4: Create a registered model
• 5: Link a model version
• 6: Organize models
• 7: Create model lineage map
• 8: Document machine learning model
• 9: Download a model version
• 10: Create alerts and notifications
• 11: Manage data governance and access control

W&B는 결국 W&B Model Registry에 대한 지원을 중단할 예정입니다. 사용자는 대신 모델 아티팩트 버전을 연결하고 공유하기 위해 W&B Registry를 사용하는 것이 좋습니다. W&B Registry는 기존 W&B Model Registry의 기능을 확장합니다. W&B Registry에 대한 자세한 내용은 Registry 문서를 참조하세요.

W&B는 기존 Model Registry에 연결된 기존 모델 아티팩트를 가까운 시일 내에 새로운 W&B Registry로 마이그레이션할 예정입니다. 마이그레이션 프로세스에 대한 자세한 내용은 기존 Model Registry에서 마이그레이션을 참조하세요.

W&B Model Registry는 팀의 트레이닝된 모델을 보관하는 곳으로, ML 전문가가 프로덕션 후보를 게시하여 다운스트림 팀과 이해 관계자가 사용할 수 있습니다. 스테이징된/후보 모델을 보관하고 스테이징과 관련된 워크플로우를 관리하는 데 사용됩니다.

W&B Model Registry를 사용하면 다음을 수행할 수 있습니다.

• 각 기계 학습 작업에 대해 가장 적합한 모델 버전을 북마크합니다.
• 다운스트림 프로세스 및 모델 CI/CD를 자동화합니다.
• 모델 버전을 ML 라이프사이클(스테이징에서 프로덕션)을 거쳐 이동합니다.
• 모델의 계보를 추적하고 프로덕션 모델에 대한 변경 이력을 감사합니다.

작동 방식

몇 가지 간단한 단계를 통해 스테이징된 모델을 추적하고 관리합니다.

1. 모델 버전 로깅: 트레이닝 스크립트에서 몇 줄의 코드를 추가하여 모델 파일을 아티팩트 로 W&B에 저장합니다.
2. 성능 비교: 라이브 차트를 확인하여 모델 트레이닝 및 유효성 검사에서 메트릭 과 샘플 예측값을 비교합니다. 어떤 모델 버전이 가장 성능이 좋았는지 식별합니다.
3. 레지스트리에 연결: Python에서 프로그래밍 방식으로 또는 W&B UI에서 대화식으로 등록된 모델에 연결하여 최상의 모델 버전을 북마크합니다.

다음 코드 조각은 모델을 Model Registry에 로깅하고 연결하는 방법을 보여줍니다.

import wandb
import random

# Start a new W&B run
run = wandb.init(project="models_quickstart")

# Simulate logging model metrics
run.log({"acc": random.random()})

# Create a simulated model file
with open("my_model.h5", "w") as f:
    f.write("Model: " + str(random.random()))

# Log and link the model to the Model Registry
run.link_model(path="./my_model.h5", registered_model_name="MNIST")

run.finish()

4. 모델 전환을 CI/CD 워크플로우에 연결: 웹훅을 사용하여 워크플로우 단계를 통해 후보 모델을 전환하고 다운스트림 작업 자동화합니다.

시작 방법

유스 케이스에 따라 다음 리소스를 탐색하여 W&B Models를 시작하십시오.

• 2부작 비디오 시리즈를 확인하세요.
  1. 모델 로깅 및 등록
  2. Model Registry에서 모델 사용 및 다운스트림 프로세스 자동화.
• W&B Python SDK 코맨드에 대한 단계별 개요는 모델 둘러보기를 읽어보세요. 이를 통해 데이터셋 아티팩트 를 생성, 추적 및 사용할 수 있습니다.
• 다음에 대해 알아보세요.
  • 보호된 모델 및 엑세스 제어.
  • 레지스트리를 CI/CD 프로세스에 연결하는 방법.
  • 새 모델 버전이 등록된 모델에 연결되면 Slack 알림을 설정합니다.
• Model Registry가 ML 워크플로우에 어떻게 적합하고 모델 관리에 사용하는 이점에 대한 [이] (https://wandb.ai/wandb_fc/model-registry-reports/reports/What-is-an-ML-Model-Registry---Vmlldzo1MTE5MjYx) 리포트 를 검토합니다.
• W&B Enterprise Model Management 코스를 수강하고 다음 방법을 배우세요.
  • W&B Model Registry를 사용하여 모델을 관리 및 버전 관리하고, 계보를 추적하고, 다양한 라이프사이클 단계를 거쳐 모델을 승격합니다.
  • 웹훅을 사용하여 모델 관리 워크플로우를 자동화합니다.
  • 모델 평가, 모니터링 및 배포를 위해 Model Registry가 모델 개발 라이프사이클의 외부 ML 시스템 및 툴 과 어떻게 통합되는지 확인하세요.

1 - Tutorial: Use W&B for model management

다음 가이드에서는 W&B에 모델을 기록하는 방법을 안내합니다. 이 가이드가 끝나면 다음을 수행할 수 있습니다.

• MNIST 데이터셋과 Keras 프레임워크를 사용하여 모델을 만들고 트레이닝합니다.
• 트레이닝한 모델을 W&B project에 기록합니다.
• 사용된 데이터셋을 생성한 모델의 종속성으로 표시합니다.
• 해당 모델을 W&B Registry에 연결합니다.
• 레지스트리에 연결한 모델의 성능을 평가합니다.
• 모델 버전을 프로덕션 준비 완료로 표시합니다.

설정

시작하기 전에 이 가이드에 필요한 Python 종속성을 가져옵니다.

import wandb
import numpy as np
from tensorflow import keras
from tensorflow.keras import layers
from wandb.integration.keras import WandbMetricsLogger
from sklearn.model_selection import train_test_split

W&B entity를 entity 변수에 제공합니다.

entity = "<entity>"

데이터셋 아티팩트 생성

먼저 데이터셋을 만듭니다. 다음 코드 조각은 MNIST 데이터셋을 다운로드하는 함수를 생성합니다.

def generate_raw_data(train_size=6000):
    eval_size = int(train_size / 6)
    (x_train, y_train), (x_eval, y_eval) = keras.datasets.mnist.load_data()

    x_train = x_train.astype("float32") / 255
    x_eval = x_eval.astype("float32") / 255
    x_train = np.expand_dims(x_train, -1)
    x_eval = np.expand_dims(x_eval, -1)

    print("Generated {} rows of training data.".format(train_size))
    # 트레이닝 데이터 {}행 생성됨.
    print("Generated {} rows of eval data.".format(eval_size))
    # 평가 데이터 {}행 생성됨.

    return (x_train[:train_size], y_train[:train_size]), (
        x_eval[:eval_size],
        y_eval[:eval_size],
    )

# 데이터셋 생성
(x_train, y_train), (x_eval, y_eval) = generate_raw_data()

다음으로 데이터셋을 W&B에 업로드합니다. 이렇게 하려면 artifact 오브젝트를 생성하고 해당 아티팩트에 데이터셋을 추가합니다.

project = "model-registry-dev"

model_use_case_id = "mnist"
job_type = "build_dataset"

# W&B run 초기화
run = wandb.init(entity=entity, project=project, job_type=job_type)

# 트레이닝 데이터를 위한 W&B 테이블 생성
train_table = wandb.Table(data=[], columns=[])
train_table.add_column("x_train", x_train)
train_table.add_column("y_train", y_train)
train_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_train"])})

# 평가 데이터를 위한 W&B 테이블 생성
eval_table = wandb.Table(data=[], columns=[])
eval_table.add_column("x_eval", x_eval)
eval_table.add_column("y_eval", y_eval)
eval_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_eval"])})

# 아티팩트 오브젝트 생성
artifact_name = "{}_dataset".format(model_use_case_id)
artifact = wandb.Artifact(name=artifact_name, type="dataset")

# wandb.WBValue obj를 아티팩트에 추가
artifact.add(train_table, "train_table")
artifact.add(eval_table, "eval_table")

# 아티팩트에 대한 변경 사항을 유지합니다.
artifact.save()

# W&B에 이 run이 완료되었음을 알립니다.
run.finish()

모델 트레이닝

이전 단계에서 생성한 아티팩트 데이터셋으로 모델을 트레이닝합니다.

데이터셋 아티팩트를 run에 대한 입력으로 선언

이전 단계에서 생성한 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언합니다. 아티팩트를 run에 대한 입력으로 선언하면 특정 모델을 트레이닝하는 데 사용된 데이터셋(및 데이터셋 버전)을 추적할 수 있으므로 모델 로깅 컨텍스트에서 특히 유용합니다. W&B는 수집된 정보를 사용하여 lineage map을 만듭니다.

use_artifact API를 사용하여 데이터셋 아티팩트를 run의 입력으로 선언하고 아티팩트 자체를 검색합니다.

job_type = "train_model"
config = {
    "optimizer": "adam",
    "batch_size": 128,
    "epochs": 5,
    "validation_split": 0.1,
}

# W&B run 초기화
run = wandb.init(project=project, job_type=job_type, config=config)

# 데이터셋 아티팩트 검색
version = "latest"
name = "{}:{}".format("{}_dataset".format(model_use_case_id), version)
artifact = run.use_artifact(artifact_or_name=name)

# 데이터프레임에서 특정 콘텐츠 가져오기
train_table = artifact.get("train_table")
x_train = train_table.get_column("x_train", convert_to="numpy")
y_train = train_table.get_column("y_train", convert_to="numpy")

모델의 입력 및 출력 추적에 대한 자세한 내용은 모델 계보 맵 만들기를 참조하세요.

모델 정의 및 트레이닝

이 가이드에서는 Keras를 사용하여 MNIST 데이터셋의 이미지를 분류하기 위해 2D Convolutional Neural Network (CNN)를 정의합니다.

# 구성 사전의 값을 변수에 저장하여 쉽게 엑세스
num_classes = 10
input_shape = (28, 28, 1)
loss = "categorical_crossentropy"
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
batch_size = run.config["batch_size"]
epochs = run.config["epochs"]
validation_split = run.config["validation_split"]

# 모델 아키텍처 생성
model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)
model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# 트레이닝 데이터에 대한 레이블 생성
y_train = keras.utils.to_categorical(y_train, num_classes)

# 트레이닝 및 테스트 세트 생성
x_t, x_v, y_t, y_v = train_test_split(x_train, y_train, test_size=0.33)

# 모델 트레이닝
model.fit(
    x=x_t,
    y=y_t,
    batch_size=batch_size,
    epochs=epochs,
    validation_data=(x_v, y_v),
    callbacks=[WandbCallback(log_weights=True, log_evaluation=True)],
)

# 모델을 로컬에 저장
path = "model.h5"
model.save(path)

모델을 Model Registry에 로깅하고 연결

link_model API를 사용하여 하나 이상의 모델 파일을 W&B run에 로깅하고 W&B Model Registry에 연결합니다.

path = "./model.h5"
registered_model_name = "MNIST-dev"

run.link_model(path=path, registered_model_name=registered_model_name)
run.finish()

registered-model-name에 대해 지정한 이름이 아직 존재하지 않으면 W&B가 registered model을 생성합니다.

선택적 파라미터에 대한 자세한 내용은 API Reference 가이드의 link_model을 참조하세요.

모델 성능 평가

하나 이상의 모델의 성능을 평가하는 것이 일반적인 방법입니다.

먼저 이전 단계에서 W&B에 저장된 평가 데이터셋 아티팩트를 가져옵니다.

job_type = "evaluate_model"

# run 초기화
run = wandb.init(project=project, entity=entity, job_type=job_type)

model_use_case_id = "mnist"
version = "latest"

# 데이터셋 아티팩트를 가져오고 종속성으로 표시합니다.
artifact = run.use_artifact(
    "{}:{}".format("{}_dataset".format(model_use_case_id), version)
)

# 원하는 데이터프레임 가져오기
eval_table = artifact.get("eval_table")
x_eval = eval_table.get_column("x_eval", convert_to="numpy")
y_eval = eval_table.get_column("y_eval", convert_to="numpy")

평가할 W&B의 model version을 다운로드합니다. use_model API를 사용하여 모델에 엑세스하고 다운로드합니다.

alias = "latest"  # 에일리어스
name = "mnist_model"  # 모델 아티팩트 이름

# 모델에 엑세스하고 다운로드합니다. 다운로드한 아티팩트의 경로를 반환합니다.
downloaded_model_path = run.use_model(name=f"{name}:{alias}")

Keras 모델을 로드하고 손실을 계산합니다.

model = keras.models.load_model(downloaded_model_path)

y_eval = keras.utils.to_categorical(y_eval, 10)
(loss, _) = model.evaluate(x_eval, y_eval)
score = (loss, _)

마지막으로 손실 메트릭을 W&B run에 기록합니다.

# # 메트릭, 이미지, 테이블 또는 평가에 유용한 모든 데이터를 기록합니다.
run.log(data={"loss": (loss, _)})

모델 버전 승격

model alias를 사용하여 기계 학습 워크플로우의 다음 단계를 위해 모델 버전을 준비 완료로 표시합니다. 각 registered model에는 하나 이상의 model alias가 있을 수 있습니다. model alias는 한 번에 하나의 model version에만 속할 수 있습니다.

예를 들어, 모델의 성능을 평가한 후 모델이 프로덕션 준비가 되었다고 확신한다고 가정합니다. 해당 모델 버전을 승격하려면 해당 특정 model version에 production 에일리어스를 추가합니다.

W&B App UI를 사용하여 대화형으로 또는 Python SDK를 사용하여 프로그래밍 방식으로 model version에 에일리어스를 추가할 수 있습니다. 다음 단계에서는 W&B Model Registry App을 사용하여 에일리어스를 추가하는 방법을 보여줍니다.

1. https://wandb.ai/registry/model에서 Model Registry App으로 이동합니다.
2. registered model 이름 옆에 있는 View details를 클릭합니다.
3. Versions 섹션 내에서 승격하려는 model version 이름 옆에 있는 View 버튼을 클릭합니다.
4. Aliases 필드 옆에 있는 더하기 아이콘(+)을 클릭합니다.
5. 나타나는 필드에 production을 입력합니다.
6. 키보드에서 Enter 키를 누릅니다.

2 - Model Registry Terms and Concepts

다음 용어는 W&B Model Registry의 주요 구성 요소를 설명합니다. 모델 버전, 모델 아티팩트 및 등록된 모델.

Model version

모델 버전은 단일 모델 체크포인트를 나타냅니다. 모델 버전은 실험 내에서 특정 시점의 모델과 해당 파일의 스냅샷입니다.

모델 버전은 학습된 모델을 설명하는 데이터 및 메타데이터의 변경 불가능한 디렉토리입니다. W&B는 모델 아키텍처와 학습된 파라미터를 나중에 저장하고 복원할 수 있도록 모델 버전에 파일을 추가할 것을 제안합니다.

모델 버전은 하나의 model artifact에만 속합니다. 모델 버전은 0개 이상의 registered models에 속할 수 있습니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다. W&B는 (동일한 model artifact에) 기록하는 모델이 이전 모델 버전과 다른 콘텐츠를 가지고 있음을 감지하면 자동으로 새 모델 버전을 생성합니다.

모델링 라이브러리에서 제공하는 직렬화 프로세스에서 생성된 파일을 모델 버전 내에 저장합니다(예: PyTorch 및 Keras).

Model alias

모델 에일리어스는 등록된 모델에서 모델 버전을 의미적으로 관련된 식별자로 고유하게 식별하거나 참조할 수 있도록 하는 변경 가능한 문자열입니다. 에일리어스는 등록된 모델의 한 버전에만 할당할 수 있습니다. 이는 에일리어스가 프로그래밍 방식으로 사용될 때 고유한 버전을 참조해야 하기 때문입니다. 또한 에일리어스를 사용하여 모델의 상태(챔피언, 후보, production)를 캡처할 수 있습니다.

"best", "latest", "production" 또는 "staging"과 같은 에일리어스를 사용하여 특수 목적을 가진 모델 버전을 표시하는 것이 일반적입니다.

예를 들어 모델을 만들고 "best" 에일리어스를 할당한다고 가정합니다. run.use_model로 특정 모델을 참조할 수 있습니다.

import wandb
run = wandb.init()
name = f"{entity/project/model_artifact_name}:{alias}"
run.use_model(name=name)

Model tags

모델 태그는 하나 이상의 registered models에 속하는 키워드 또는 레이블입니다.

모델 태그를 사용하여 registered models를 카테고리로 구성하고 Model Registry의 검색 창에서 해당 카테고리를 검색합니다. 모델 태그는 Registered Model Card 상단에 나타납니다. ML 작업, 소유 팀 또는 우선 순위별로 registered models를 그룹화하는 데 사용할 수 있습니다. 그룹화를 위해 동일한 모델 태그를 여러 registered models에 추가할 수 있습니다.

Model artifact

Model artifact는 기록된 model versions의 모음입니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다.

Model artifact는 하나 이상의 모델 버전을 포함할 수 있습니다. 모델 버전을 기록하지 않으면 Model artifact는 비어 있을 수 있습니다.

예를 들어, Model artifact를 만든다고 가정합니다. 모델 트레이닝 중에 체크포인트 중에 모델을 주기적으로 저장합니다. 각 체크포인트는 자체 model version에 해당합니다. 모델 트레이닝 및 체크포인트 저장 중에 생성된 모든 모델 버전은 트레이닝 스크립트 시작 시 생성한 동일한 Model artifact에 저장됩니다.

다음 이미지는 v0, v1 및 v2의 세 가지 모델 버전을 포함하는 Model artifact를 보여줍니다.

예제 Model artifact here를 봅니다.

Registered model

Registered model은 모델 버전에 대한 포인터(링크) 모음입니다. Registered model을 동일한 ML 작업에 대한 후보 모델의 “북마크” 폴더라고 생각할 수 있습니다. Registered model의 각 “북마크"는 model artifact에 속한 model version에 대한 포인터입니다. Model tags를 사용하여 Registered models를 그룹화할 수 있습니다.

Registered models는 종종 단일 모델링 유스 케이스 또는 작업에 대한 후보 모델을 나타냅니다. 예를 들어 사용하는 모델을 기반으로 다양한 이미지 분류 작업에 대해 Registered model을 만들 수 있습니다. ImageClassifier-ResNet50, ImageClassifier-VGG16, DogBreedClassifier-MobileNetV2 등. 모델 버전은 Registered model에 연결된 순서대로 버전 번호가 할당됩니다.

예제 Registered Model here를 봅니다.

3 - Track a model

W&B Python SDK를 사용하여 모델, 모델의 종속성 및 해당 모델과 관련된 기타 정보를 추적합니다.

W&B는 내부적으로 모델 아티팩트의 계보를 생성하며, 이 계보는 W&B App UI 또는 W&B Python SDK를 통해 프로그래밍 방식으로 볼 수 있습니다. 자세한 내용은 모델 계보 맵 생성을 참조하세요.

모델을 기록하는 방법

run.log_model API를 사용하여 모델을 기록합니다. 모델 파일이 저장된 경로를 path 파라미터에 제공합니다. 경로는 로컬 파일, 디렉토리 또는 s3://bucket/path와 같은 외부 버킷에 대한 참조 URI일 수 있습니다.

선택적으로 name 파라미터에 대한 모델 아티팩트의 이름을 제공합니다. name이 지정되지 않은 경우 W&B는 run ID가 앞에 붙은 입력 경로의 기본 이름을 사용합니다.

다음 코드 조각을 복사하여 붙여넣습니다. <>로 묶인 값을 사용자 고유의 값으로 바꾸십시오.

import wandb

# W&B run 초기화
run = wandb.init(project="<project>", entity="<entity>")

# 모델 기록
run.log_model(path="<path-to-model>", name="<name>")

import os
import wandb
from tensorflow import keras
from tensorflow.keras import layers

config = {"optimizer": "adam", "loss": "categorical_crossentropy"}

# W&B run 초기화
run = wandb.init(entity="charlie", project="mnist-project", config=config)

# 트레이닝 알고리즘
loss = run.config["loss"]
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
num_classes = 10
input_shape = (28, 28, 1)

model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)

model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# 모델 저장
model_filename = "model.h5"
local_filepath = "./"
full_path = os.path.join(local_filepath, model_filename)
model.save(filepath=full_path)

# 모델 기록
run.log_model(path=full_path, name="MNIST")

# W&B에 run 종료를 명시적으로 알립니다.
run.finish()

4 - Create a registered model

등록된 모델을 생성하여 모델링 작업을 위한 모든 후보 모델을 보관하세요. Model Registry 내에서 대화식으로 또는 Python SDK를 사용하여 프로그래밍 방식으로 등록된 모델을 생성할 수 있습니다.

프로그래밍 방식으로 등록된 모델 생성

W&B Python SDK로 모델을 프로그래밍 방식으로 등록하세요. 등록된 모델이 존재하지 않으면 W&B가 자동으로 등록된 모델을 생성합니다.

<>로 묶인 다른 값들을 사용자의 값으로 바꾸세요:

import wandb

run = wandb.init(entity="<entity>", project="<project>")
run.link_model(path="<path-to-model>", registered_model_name="<registered-model-name>")
run.finish()

registered_model_name에 제공하는 이름은 Model Registry App에 나타나는 이름입니다.

대화식으로 등록된 모델 생성

Model Registry App 내에서 대화식으로 등록된 모델을 생성하세요.

1. https://wandb.ai/registry/model에서 Model Registry App으로 이동합니다.
2. Model Registry 페이지의 오른쪽 상단에 있는 New registered model 버튼을 클릭합니다.
3. 나타나는 패널에서 등록된 모델이 속할 엔터티를 Owning Entity 드롭다운에서 선택합니다.
4. Name 필드에 모델 이름을 입력합니다.
5. Type 드롭다운에서 등록된 모델에 연결할 아티팩트의 유형을 선택합니다.
6. (선택 사항) Description 필드에 모델에 대한 설명을 추가합니다.
7. (선택 사항) Tags 필드 내에서 하나 이상의 태그를 추가합니다.
8. Register model을 클릭합니다.

5 - Link a model version

W&B 앱 또는 Python SDK를 사용하여 모델 버전을 등록된 모델에 연결합니다.

프로그램으로 모델 연결하기

link_model 메소드를 사용하여 프로그램 방식으로 모델 파일을 W&B run에 로그하고 W&B Model Registry에 연결합니다.

<>로 묶인 다른 값들을 사용자 정의 값으로 바꾸십시오:

import wandb

run = wandb.init(entity="<entity>", project="<project>")
run.link_model(path="<path-to-model>", registered_model_name="<registered-model-name>")
run.finish()

registered-model-name 파라미터에 지정한 이름이 아직 존재하지 않는 경우, W&B가 등록된 모델을 생성합니다.

예를 들어, Model Registry에 “Fine-Tuned-Review-Autocompletion”(registered-model-name="Fine-Tuned-Review-Autocompletion")이라는 등록된 모델이 이미 있다고 가정합니다. 그리고 몇몇 모델 버전이 연결되어 있다고 가정합니다: v0, v1, v2. 새로운 모델을 프로그램 방식으로 연결하고 동일한 등록된 모델 이름(registered-model-name="Fine-Tuned-Review-Autocompletion")을 사용하면, W&B는 이 모델을 기존 등록된 모델에 연결하고 모델 버전 v3을 할당합니다. 이 이름으로 등록된 모델이 없으면 새로운 등록된 모델이 생성되고 모델 버전 v0을 갖게 됩니다.

“Fine-Tuned-Review-Autocompletion” 등록된 모델 예시를 참조하십시오.

대화형으로 모델 연결하기

Model Registry 또는 Artifact browser를 사용하여 대화형으로 모델을 연결합니다.

• Model Registry
• Artifact browser

1. Model Registry 앱(https://wandb.ai/registry/model)으로 이동합니다.
2. 새 모델을 연결하려는 등록된 모델 이름 옆에 마우스를 올려 놓습니다.
3. View details 옆에 있는 미트볼 메뉴 아이콘(가로 점 3개)을 선택합니다.
4. 드롭다운에서 Link new version을 선택합니다.
5. Project 드롭다운에서 모델이 포함된 프로젝트 이름을 선택합니다.
6. Model Artifact 드롭다운에서 모델 아티팩트 이름을 선택합니다.
7. Version 드롭다운에서 등록된 모델에 연결하려는 모델 버전을 선택합니다.

1. W&B 앱의 프로젝트 아티팩트 브라우저(https://wandb.ai/<entity>/<project>/artifacts)로 이동합니다.
2. 왼쪽 사이드바에서 Artifacts 아이콘을 선택합니다.
3. 레지스트리에 연결하려는 모델 버전을 클릭합니다.
4. Version overview 섹션 내에서 Link to registry 버튼을 클릭합니다.
5. 화면 오른쪽에 나타나는 모달에서 Select a register model 메뉴 드롭다운에서 등록된 모델을 선택합니다.
6. Next step을 클릭합니다.
7. (선택 사항) Aliases 드롭다운에서 에일리어스를 선택합니다.
8. Link to registry를 클릭합니다.

연결된 모델의 소스 보기

연결된 모델의 소스를 보는 방법은 두 가지가 있습니다: 모델이 로그된 프로젝트 내의 아티팩트 브라우저와 W&B Model Registry.

포인터는 모델 레지스트리의 특정 모델 버전을 소스 모델 아티팩트(모델이 로그된 프로젝트 내에 있음)에 연결합니다. 소스 모델 아티팩트에는 모델 레지스트리에 대한 포인터도 있습니다.

• Model Registry
• Artifact browser

1. 모델 레지스트리(https://wandb.ai/registry/model)로 이동합니다.
2. 등록된 모델 이름 옆에 있는 View details를 선택합니다.
3. Versions 섹션 내에서 조사하려는 모델 버전 옆에 있는 View를 선택합니다.
4. 오른쪽 패널 내에서 Version 탭을 클릭합니다.
5. Version overview 섹션 내에 Source Version 필드가 포함된 행이 있습니다. Source Version 필드는 모델 이름과 모델 버전을 모두 보여줍니다.

예를 들어, 다음 이미지는 MNIST-dev라는 등록된 모델에 연결된 v0 모델 버전 mnist_model을 보여줍니다( Source version 필드 mnist_model:v0 참조).

1. W&B 앱의 프로젝트 아티팩트 브라우저(https://wandb.ai/<entity>/<project>/artifacts)로 이동합니다.
2. 왼쪽 사이드바에서 Artifacts 아이콘을 선택합니다.
3. Artifacts 패널에서 model 드롭다운 메뉴를 확장합니다.
4. 모델 레지스트리에 연결된 모델의 이름과 버전을 선택합니다.
5. 오른쪽 패널 내에서 Version 탭을 클릭합니다.
6. Version overview 섹션 내에 Linked To 필드가 포함된 행이 있습니다. Linked To 필드는 등록된 모델 이름과 해당 버전(registered-model-name:version)을 모두 보여줍니다.

예를 들어, 다음 이미지에는 MNIST-dev라는 등록된 모델이 있습니다( Linked To 필드 참조). 버전 v0(mnist_model:v0)이 있는 mnist_model이라는 모델 버전은 MNIST-dev 등록된 모델을 가리킵니다.

6 - Organize models

모델 태그를 사용하여 등록된 모델을 범주로 정리하고 해당 범주를 검색합니다.

1. https://wandb.ai/registry/model 의 W&B Model Registry 앱으로 이동합니다.

2. 모델 태그를 추가할 등록된 모델 이름 옆에 있는 View details 를 선택합니다.

3. Model card 섹션으로 스크롤합니다.

4. Tags 필드 옆에 있는 더하기 버튼 (**) 를 클릭합니다.

5. 태그 이름을 입력하거나 기존 모델 태그를 검색합니다. 예를 들어 다음 이미지는 FineTuned-Review-Autocompletion 이라는 등록된 모델에 추가된 여러 모델 태그를 보여줍니다.

   

7 - Create model lineage map

이 페이지에서는 기존 W&B Model Registry에서 계보 그래프를 생성하는 방법을 설명합니다. W&B Registry의 계보 그래프에 대해 자세히 알아보려면 계보 맵 생성 및 보기를 참조하세요.

W&B에 모델 아티팩트를 로깅하는 유용한 기능은 계보 그래프입니다. 계보 그래프는 run에서 로깅한 아티팩트와 특정 run에서 사용한 아티팩트를 보여줍니다.

즉, 모델 아티팩트를 로깅할 때 최소한 모델 아티팩트를 사용하거나 생성한 W&B run을 볼 수 있습니다. 아티팩트 종속성 추적을 통해 모델 아티팩트에서 사용한 입력도 볼 수 있습니다.

예를 들어, 다음 이미지는 ML 실험 전반에 걸쳐 생성 및 사용된 아티팩트를 보여줍니다.

왼쪽에서 오른쪽으로 이미지는 다음을 보여줍니다.

1. jumping-monkey-1 W&B run은 mnist_dataset:v0 데이터셋 아티팩트를 생성했습니다.
2. vague-morning-5 W&B run은 mnist_dataset:v0 데이터셋 아티팩트를 사용하여 모델을 트레이닝했습니다. 이 W&B run의 출력은 mnist_model:v0라는 모델 아티팩트였습니다.
3. serene-haze-6이라는 run은 모델 아티팩트(mnist_model:v0)를 사용하여 모델을 평가했습니다.

아티팩트 종속성 추적

use_artifact API를 사용하여 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언하여 종속성을 추적합니다.

다음 코드 조각은 use_artifact API를 사용하는 방법을 보여줍니다.

# Initialize a run
run = wandb.init(project=project, entity=entity)

# Get artifact, mark it as a dependency
artifact = run.use_artifact(artifact_or_name="name", aliases="<alias>")

아티팩트를 검색한 후에는 해당 아티팩트를 사용하여 (예를 들어) 모델의 성능을 평가할 수 있습니다.

job_type = "train_model"

config = {
    "optimizer": "adam",
    "batch_size": 128,
    "epochs": 5,
    "validation_split": 0.1,
}

run = wandb.init(project=project, job_type=job_type, config=config)

version = "latest"
name = "{}:{}".format("{}_dataset".format(model_use_case_id), version)

artifact = run.use_artifact(name)

train_table = artifact.get("train_table")
x_train = train_table.get_column("x_train", convert_to="numpy")
y_train = train_table.get_column("y_train", convert_to="numpy")

# Store values from our config dictionary into variables for easy accessing
num_classes = 10
input_shape = (28, 28, 1)
loss = "categorical_crossentropy"
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
batch_size = run.config["batch_size"]
epochs = run.config["epochs"]
validation_split = run.config["validation_split"]

# Create model architecture
model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)
model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# Generate labels for training data
y_train = keras.utils.to_categorical(y_train, num_classes)

# Create training and test set
x_t, x_v, y_t, y_v = train_test_split(x_train, y_train, test_size=0.33)

# Train the model
model.fit(
    x=x_t,
    y=y_t,
    batch_size=batch_size,
    epochs=epochs,
    validation_data=(x_v, y_v),
    callbacks=[WandbCallback(log_weights=True, log_evaluation=True)],
)

# Save model locally
path = "model.h5"
model.save(path)

path = "./model.h5"
registered_model_name = "MNIST-dev"
name = "mnist_model"

run.link_model(path=path, registered_model_name=registered_model_name, name=name)
run.finish()

8 - Document machine learning model

등록된 모델의 모델 카드에 설명을 추가하여 머신러닝 모델의 여러 측면을 문서화하세요. 문서화할 가치가 있는 몇 가지 주제는 다음과 같습니다.

• 요약: 모델에 대한 요약입니다. 모델의 목적, 모델이 사용하는 머신러닝 프레임워크 등입니다.
• 트레이닝 데이터: 사용된 트레이닝 데이터, 트레이닝 데이터 세트에 대해 수행된 처리, 해당 데이터가 저장된 위치 등을 설명합니다.
• 아키텍처: 모델 아키텍처, 레이어 및 특정 설계 선택에 대한 정보입니다.
• 모델 역직렬화: 팀 구성원이 모델을 메모리에 로드하는 방법에 대한 정보를 제공합니다.
• Task: 머신러닝 모델이 수행하도록 설계된 특정 유형의 Task 또는 문제입니다. 모델의 의도된 기능을 분류한 것입니다.
• 라이선스: 머신러닝 모델 사용과 관련된 법적 조건 및 권한입니다. 이를 통해 모델 사용자는 모델을 활용할 수 있는 법적 프레임워크를 이해할 수 있습니다.
• 참조: 관련 연구 논문, 데이터셋 또는 외부 리소스에 대한 인용 또는 참조입니다.
• 배포: 모델이 배포되는 방식 및 위치에 대한 세부 정보와 워크플로우 오케스트레이션 플랫폼과 같은 다른 엔터프라이즈 시스템에 모델을 통합하는 방법에 대한 지침입니다.

모델 카드에 설명 추가

1. https://wandb.ai/registry/model의 W&B Model Registry 앱으로 이동합니다.
2. 모델 카드를 생성하려는 등록된 모델 이름 옆에 있는 세부 정보 보기를 선택합니다.
3. Model card 섹션으로 이동합니다.

3. Description 필드 내에 머신러닝 모델에 대한 정보를 제공합니다. Markdown 마크업 언어를 사용하여 모델 카드 내에서 텍스트 서식을 지정합니다.

예를 들어 다음 이미지는 신용카드 채무 불이행 예측 등록 모델의 모델 카드를 보여줍니다.

9 - Download a model version

W&B Python SDK를 사용하여 Model Registry에 연결한 모델 아티팩트를 다운로드합니다.

<> 안의 값을 직접 변경하세요:

import wandb

# run 초기화
run = wandb.init(project="<project>", entity="<entity>")

# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.
downloaded_model_path = run.use_model(name="<your-model-name>")

다음 형식 중 하나를 사용하여 모델 버전을 참조하세요:

• latest - 가장 최근에 연결된 모델 버전을 지정하려면 latest 에일리어스를 사용합니다.
• v# - Registered Model에서 특정 버전을 가져오려면 v0, v1, v2 등을 사용합니다.
• alias - 팀에서 모델 버전에 할당한 사용자 지정 에일리어스를 지정합니다.

가능한 파라미터 및 반환 유형에 대한 자세한 내용은 API Reference 가이드의 use_model을 참조하세요.

import wandb

entity = "luka"
project = "NLP_Experiments"
alias = "latest"  # 모델 버전에 대한 시맨틱 닉네임 또는 식별자
model_artifact_name = "fine-tuned-model"

# run 초기화
run = wandb.init()
# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.

downloaded_model_path = run.use_model(name=f"{entity/project/model_artifact_name}:{alias}")

• CLI
• W&B App

import wandb
# run 초기화
run = wandb.init(project="<project>", entity="<entity>")
# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.
downloaded_model_path = run.use_model(name="<your-model-name>")

10 - Create alerts and notifications

새로운 모델 버전이 모델 레지스트리에 연결될 때 Slack 알림을 받으세요.

1. https://wandb.ai/registry/model의 W&B Model Registry 앱으로 이동합니다.
2. 알림을 받을 Registered Model을 선택합니다.
3. Connect Slack 버튼을 클릭합니다.
4. OAuth 페이지에 나타나는 지침에 따라 Slack workspace에서 W&B를 활성화합니다.

팀에 대한 Slack 알림을 구성했으면 알림을 받을 Registered Model을 선택할 수 있습니다.

아래 스크린샷은 Slack 알림이 있는 FMNIST 분류기 Registered Model을 보여줍니다.

새로운 모델 버전이 FMNIST 분류기 Registered Model에 연결될 때마다 연결된 Slack 채널에 메시지가 자동으로 게시됩니다.

11 - Manage data governance and access control

보호된 에일리어스를 사용하여 모델 개발 파이프라인의 주요 단계를 나타냅니다. 모델 레지스트리 관리자 만이 보호된 에일리어스를 추가, 수정 또는 제거할 수 있습니다. 모델 레지스트리 관리자는 보호된 에일리어스를 정의하고 사용할 수 있습니다. W&B는 관리자가 아닌 사용자가 모델 버전에서 보호된 에일리어스를 추가하거나 제거하는 것을 차단합니다.

예를 들어, staging 및 production을 보호된 에일리어스로 설정했다고 가정합니다. 팀의 모든 구성원은 새로운 모델 버전을 추가할 수 있습니다. 그러나 관리자만이 staging 또는 production 에일리어스를 추가할 수 있습니다.

엑세스 제어 설정

다음 단계에서는 팀의 모델 레지스트리에 대한 엑세스 제어를 설정하는 방법을 설명합니다.

1. https://wandb.ai/registry/model의 W&B Model Registry 앱으로 이동합니다.
2. 페이지 오른쪽 상단의 톱니바퀴 버튼을 선택합니다.
3. 레지스트리 관리자 관리 버튼을 선택합니다.
4. 멤버 탭에서 모델 버전에서 보호된 에일리어스를 추가하고 제거할 수 있는 엑세스 권한을 부여할 사용자를 선택합니다.

보호된 에일리어스 추가

1. https://wandb.ai/registry/model의 W&B Model Registry 앱으로 이동합니다.
2. 페이지 오른쪽 상단의 톱니바퀴 버튼을 선택합니다.
3. 보호된 에일리어스 섹션으로 스크롤합니다.
4. 더하기 아이콘(+) 아이콘을 클릭하여 새 에일리어스를 추가합니다.