W&B Core

• 1: Artifacts
• 1.1: Create an artifact
• 1.2: Download and use artifacts
• 1.3: Update an artifact
• 1.4: Create an artifact alias
• 1.5: Create an artifact version
• 1.6: Track external files
• 1.7: Manage data
• 1.7.1: Delete an artifact
• 1.7.2: Manage artifact data retention
• 1.7.3: Manage artifact storage and memory allocation
• 1.8: Explore artifact graphs
• 1.9: Artifact data privacy and compliance
• 1.10: Tutorial: Create, track, and use a dataset artifact
• 2: Secrets
• 3: Registry
• 3.1: Registry types
• 3.2: Create a custom registry
• 3.3: Configure registry access
• 3.4: Create a collection
• 3.5: Link an artifact version to a registry
• 3.6: Download an artifact from a registry
• 3.7: Find registry items
• 3.8: Organize versions with tags
• 3.9: Annotate collections
• 3.10: Create and view lineage maps
• 3.11: Migrate from legacy Model Registry
• 3.12: Model registry
• 3.12.1: Tutorial: Use W&B for model management
• 3.12.2: Model Registry Terms and Concepts
• 3.12.3: Track a model
• 3.12.4: Create a registered model
• 3.12.5: Link a model version
• 3.12.6: Organize models
• 3.12.7: Create model lineage map
• 3.12.8: Document machine learning model
• 3.12.9: Download a model version
• 3.12.10: Create alerts and notifications
• 3.12.11: Manage data governance and access control
• 4: Reports
• 4.1: Create a report
• 4.2: Edit a report
• 4.3: Collaborate on reports
• 4.4: Clone and export reports
• 4.5: Embed a report
• 4.6: Compare runs across projects
• 4.7: Example reports
• 5: Automations
• 5.1: Create an automation
• 5.1.1: Create a Slack automation
• 5.1.2: Create a webhook automation
• 5.2: Automation events and scopes

W&B Core는 W&B Models 와 W&B Weave 를 지원하는 기본 프레임워크이며, W&B Platform 에 의해 자체적으로 지원됩니다.

W&B Core는 전체 ML 라이프사이클에 걸쳐 기능을 제공합니다. W&B Core를 통해 다음을 수행할 수 있습니다.

• 쉬운 감사 및 재현성을 위해 전체 계보 추적과 함께 ML 파이프라인을 버전 관리하고 관리 할 수 있습니다.
• 대화형의 구성 가능한 시각화 를 사용하여 데이터 와 메트릭 을 탐색하고 평가합니다.
• 비기술적 이해 관계자가 쉽게 이해할 수 있는 소화하기 쉽고 시각적인 형식으로 라이브 리포트 를 생성하여 조직 전체에서 인사이트를 문서화하고 공유 할 수 있습니다.
• 사용자 정의 요구 사항을 충족하는 데이터 시각화를 쿼리하고 생성 합니다.
• secret 을 사용하여 중요한 문자열을 보호 합니다.
• 모델 CI/CD 를 위한 주요 워크플로우 를 트리거하는 자동화를 구성합니다.

1 - Artifacts

W&B Artifacts를 사용하여 데이터를 W&B Runs의 입력 및 출력으로 추적하고 버전을 관리하세요. 예를 들어, 모델 트레이닝 run은 데이터셋을 입력으로 사용하고 트레이닝된 모델을 출력으로 생성할 수 있습니다. 하이퍼파라미터, 메타데이터, 메트릭을 run에 기록하고, 아티팩트를 사용하여 모델 트레이닝에 사용된 데이터셋을 입력으로, 결과 모델 체크포인트를 출력으로 기록, 추적 및 버전 관리할 수 있습니다.

유스 케이스

runs의 입력 및 출력으로 전체 ML 워크플로우에서 아티팩트를 사용할 수 있습니다. 데이터셋, 모델 또는 기타 아티팩트를 처리 입력으로 사용할 수 있습니다.

아티팩트 만들기

다음 네 줄의 코드로 아티팩트를 만드세요:

1. W&B run을 만듭니다.
2. wandb.Artifact API로 아티팩트 오브젝트를 만듭니다.
3. 모델 파일 또는 데이터셋과 같은 파일을 아티팩트 오브젝트에 하나 이상 추가합니다.
4. 아티팩트를 W&B에 기록합니다.

예를 들어, 다음 코드 조각은 dataset.h5 파일을 example_artifact라는 아티팩트에 기록하는 방법을 보여줍니다:

import wandb

run = wandb.init(project="artifacts-example", job_type="add-dataset")
artifact = wandb.Artifact(name="example_artifact", type="dataset")
artifact.add_file(local_path="./dataset.h5", name="training_dataset")
artifact.save()

# "my_data" 아티팩트 버전을 dataset.h5의 데이터와 함께 데이터셋으로 기록합니다.

아티팩트 다운로드

use_artifact 메소드를 사용하여 run에 대한 입력으로 표시할 아티팩트를 지정합니다.

이전 코드 조각에 따라 다음 코드 블록은 training_dataset 아티팩트를 사용하는 방법을 보여줍니다.

artifact = run.use_artifact(
    "training_dataset:latest"
)  # "my_data" 아티팩트를 사용하여 run 오브젝트를 반환합니다.

이것은 아티팩트 오브젝트를 반환합니다.

다음으로, 반환된 오브젝트를 사용하여 아티팩트의 모든 내용을 다운로드합니다.

datadir = (
    artifact.download()
)  # `my_data` 아티팩트 전체를 기본 디렉토리에 다운로드합니다.

다음 단계

• 아티팩트 버전 관리 및 업데이트 방법에 대해 알아보세요.
• 자동화를 통해 아티팩트 변경에 대한 응답으로 다운스트림 워크플로우를 트리거하거나 Slack 채널에 알리는 방법에 대해 알아보세요.
• 트레이닝된 모델을 보관하는 공간인 레지스트리에 대해 알아보세요.
• Python SDK 및 CLI 참조 가이드를 살펴보세요.

1.1 - Create an artifact

W&B Python SDK를 사용하여 W&B Runs에서 Artifacts를 구성합니다. 파일, 디렉토리, URI 및 병렬 Runs의 파일을 Artifacts에 추가할 수 있습니다. Artifact에 파일을 추가한 후 Artifact를 W&B 서버 또는 자체 개인 서버에 저장합니다.

Amazon S3에 저장된 파일과 같은 외부 파일을 추적하는 방법에 대한 자세한 내용은 외부 파일 추적 페이지를 참조하세요.

Artifact를 구성하는 방법

다음 세 단계로 W&B Artifact를 구성합니다.

1. wandb.Artifact()로 아티팩트 Python 오브젝트를 생성합니다.

wandb.Artifact() 클래스를 초기화하여 아티팩트 오브젝트를 생성합니다. 다음 파라미터를 지정합니다.

• 이름: Artifact 이름을 지정합니다. 이름은 고유하고, 설명적이며, 기억하기 쉬워야 합니다. Artifact 이름을 사용하여 W&B App UI에서 Artifact를 식별하고, 해당 Artifact를 사용하려는 경우에도 Artifact 이름을 사용합니다.
• 유형: 유형을 제공합니다. 유형은 간단하고 설명적이어야 하며, 기계 학습 파이프라인의 단일 단계를 나타내야 합니다. 일반적인 Artifact 유형에는 'dataset' 또는 'model'이 있습니다.

Artifact 오브젝트를 초기화할 때 선택적으로 설명과 메타데이터를 제공할 수 있습니다. 사용 가능한 속성 및 파라미터에 대한 자세한 내용은 Python SDK 참조 가이드에서 wandb.Artifact 클래스 정의를 참조하세요.

다음 예제는 데이터셋 Artifact를 만드는 방법을 보여줍니다.

import wandb

artifact = wandb.Artifact(name="<replace>", type="<replace>")

이전 코드 조각에서 문자열 인수를 자신의 이름과 유형으로 바꿉니다.

2. Artifact에 파일을 하나 이상 추가합니다.

Artifact 메소드를 사용하여 파일, 디렉토리, 외부 URI 참조 (예: Amazon S3) 등을 추가합니다. 예를 들어, 단일 텍스트 파일을 추가하려면 add_file 메소드를 사용합니다.

artifact.add_file(local_path="hello_world.txt", name="optional-name")

add_dir 메소드를 사용하여 여러 파일을 추가할 수도 있습니다. 파일을 추가하는 방법에 대한 자세한 내용은 Artifact 업데이트를 참조하세요.

3. Artifact를 W&B 서버에 저장합니다.

마지막으로, Artifact를 W&B 서버에 저장합니다. Artifacts는 Run과 연결되어 있습니다. 따라서 Run 오브젝트의 log_artifact() 메소드를 사용하여 Artifact를 저장합니다.

# W&B Run을 생성합니다. 'job-type'을 바꿉니다.
run = wandb.init(project="artifacts-example", job_type="job-type")

run.log_artifact(artifact)

선택적으로 W&B Run 외부에서 Artifact를 구성할 수 있습니다. 자세한 내용은 외부 파일 추적을 참조하세요.

for i in range(10):
    a = wandb.Artifact(
        "race",
        type="dataset",
        metadata={
            "index": i,
        },
    )
    # ... artifact a에 파일 추가 ...
    run.log_artifact(a)

Artifact에 파일 추가

다음 섹션에서는 다양한 파일 형식과 병렬 Runs에서 Artifacts를 구성하는 방법을 보여줍니다.

다음 예제에서는 여러 파일과 디렉토리 구조가 있는 프로젝트 디렉토리가 있다고 가정합니다.

project-directory
|-- images
|   |-- cat.png
|   +-- dog.png
|-- checkpoints
|   +-- model.h5
+-- model.h5

단일 파일 추가

다음 코드 조각은 단일 로컬 파일을 Artifact에 추가하는 방법을 보여줍니다.

# 단일 파일 추가
artifact.add_file(local_path="path/file.format")

예를 들어, 작업 로컬 디렉토리에 'file.txt'라는 파일이 있다고 가정합니다.

artifact.add_file("path/file.txt")  # `file.txt`로 추가됨

이제 Artifact에 다음 콘텐츠가 있습니다.

file.txt

선택적으로 name 파라미터에 대해 Artifact 내에서 원하는 경로를 전달합니다.

artifact.add_file(local_path="path/file.format", name="new/path/file.format")

Artifact는 다음과 같이 저장됩니다.

new/path/file.txt

여러 파일 추가

다음 코드 조각은 전체 로컬 디렉토리를 Artifact에 추가하는 방법을 보여줍니다.

# 디렉토리를 재귀적으로 추가합니다.
artifact.add_dir(local_path="path/file.format", name="optional-prefix")

다음 API 호출은 다음 Artifact 콘텐츠를 생성합니다.

URI 참조 추가

Artifacts는 W&B 라이브러리가 처리 방법을 알고 있는 스키마가 URI에 있는 경우 재현성을 위해 체크섬 및 기타 정보를 추적합니다.

add_reference 메소드를 사용하여 외부 URI 참조를 Artifact에 추가합니다. 'uri' 문자열을 자신의 URI로 바꿉니다. 선택적으로 name 파라미터에 대해 Artifact 내에서 원하는 경로를 전달합니다.

# URI 참조 추가
artifact.add_reference(uri="uri", name="optional-name")

Artifacts는 현재 다음 URI 스키마를 지원합니다.

• http(s)://: HTTP를 통해 액세스할 수 있는 파일의 경로입니다. Artifact는 HTTP 서버가 ETag 및 Content-Length 응답 헤더를 지원하는 경우 etag 형식의 체크섬과 크기 메타데이터를 추적합니다.
• s3://: S3의 오브젝트 또는 오브젝트 접두사의 경로입니다. Artifact는 참조된 오브젝트에 대해 체크섬 및 버전 관리 정보(버킷에 오브젝트 버전 관리가 활성화된 경우)를 추적합니다. 오브젝트 접두사는 최대 10,000개의 오브젝트까지 접두사 아래의 오브젝트를 포함하도록 확장됩니다.
• gs://: GCS의 오브젝트 또는 오브젝트 접두사의 경로입니다. Artifact는 참조된 오브젝트에 대해 체크섬 및 버전 관리 정보(버킷에 오브젝트 버전 관리가 활성화된 경우)를 추적합니다. 오브젝트 접두사는 최대 10,000개의 오브젝트까지 접두사 아래의 오브젝트를 포함하도록 확장됩니다.

다음 API 호출은 다음 Artifacts를 생성합니다.

병렬 Runs에서 Artifacts에 파일 추가

대규모 데이터셋 또는 분산 트레이닝의 경우 여러 병렬 Runs가 단일 Artifact에 기여해야 할 수 있습니다.

import wandb
import time

# 데모 목적으로 ray를 사용하여 Runs를 병렬로 시작합니다.
# 원하는 방식으로 병렬 Runs를 오케스트레이션할 수 있습니다.
import ray

ray.init()

artifact_type = "dataset"
artifact_name = "parallel-artifact"
table_name = "distributed_table"
parts_path = "parts"
num_parallel = 5

# 병렬 작성기의 각 배치는 자체 고유한 그룹 이름을 가져야 합니다.
group_name = "writer-group-{}".format(round(time.time()))


@ray.remote
def train(i):
    """
    작성기 작업입니다. 각 작성기는 Artifact에 이미지를 하나 추가합니다.
    """
    with wandb.init(group=group_name) as run:
        artifact = wandb.Artifact(name=artifact_name, type=artifact_type)

        # 데이터를 wandb 테이블에 추가합니다. 이 경우 예제 데이터를 사용합니다.
        table = wandb.Table(columns=["a", "b", "c"], data=[[i, i * 2, 2**i]])

        # Artifact의 폴더에 테이블을 추가합니다.
        artifact.add(table, "{}/table_{}".format(parts_path, i))

        # Artifact를 업서트하면 Artifact에 데이터를 만들거나 추가합니다.
        run.upsert_artifact(artifact)


# 병렬로 Runs를 시작합니다.
result_ids = [train.remote(i) for i in range(num_parallel)]

# 모든 작성기가 완료되었는지 확인하기 위해 모든 작성기에 조인합니다.
# Artifact를 완료하기 전에 파일이 추가되었습니다.
ray.get(result_ids)

# 모든 작성기가 완료되면 Artifact를 완료합니다.
# 준비되었음을 표시합니다.
with wandb.init(group=group_name) as run:
    artifact = wandb.Artifact(artifact_name, type=artifact_type)

    # 테이블 폴더를 가리키는 "PartitionTable"을 만듭니다.
    # Artifact에 추가합니다.
    artifact.add(wandb.data_types.PartitionedTable(parts_path), table_name)

    # Finish artifact는 Artifact를 완료하고 향후 "upserts"를 허용하지 않습니다.
    # 이 버전으로.
    run.finish_artifact(artifact)

1.2 - Download and use artifacts

W&B 서버에 이미 저장된 Artifacts를 다운로드하여 사용하거나, 필요에 따라 중복 제거를 위해 Artifact 오브젝트를 생성하여 전달합니다.

W&B에 저장된 Artifacts 다운로드 및 사용

W&B Run 내부 또는 외부에서 W&B에 저장된 Artifacts를 다운로드하여 사용합니다. W&B에 이미 저장된 데이터를 내보내거나 업데이트하려면 퍼블릭 API (wandb.Api)를 사용하세요. 자세한 내용은 W&B 퍼블릭 API 레퍼런스 가이드를 참조하세요.

• Run 중
• Run 외부
• W&B CLI

import wandb

run = wandb.init(project="<example>", job_type="<job-type>")

artifact = run.use_artifact("bike-dataset:latest")

datadir = artifact.download()

path = artifact.get_path(name)

import wandb

api = wandb.Api()
artifact = api.artifact("entity/project/artifact:alias")

artifact.download()

$ wandb artifact get project/artifact:alias --root mnist/

Artifact 부분 다운로드

선택적으로 접두사를 기반으로 Artifact의 일부를 다운로드할 수 있습니다. path_prefix 파라미터를 사용하면 단일 파일 또는 하위 폴더의 콘텐츠를 다운로드할 수 있습니다.

artifact = run.use_artifact("bike-dataset:latest")

artifact.download(path_prefix="bike.png") # bike.png만 다운로드

또는 특정 디렉토리에서 파일을 다운로드할 수 있습니다.

artifact.download(path_prefix="images/bikes/") # images/bikes 디렉토리의 파일 다운로드

다른 프로젝트의 Artifact 사용

Artifact 이름과 함께 프로젝트 이름을 지정하여 Artifact를 참조합니다. Artifact 이름과 함께 엔티티 이름을 지정하여 엔티티 간에 Artifacts를 참조할 수도 있습니다.

다음 코드 예제는 다른 프로젝트의 Artifact를 현재 W&B run에 대한 입력으로 쿼리하는 방법을 보여줍니다.

import wandb

run = wandb.init(project="<example>", job_type="<job-type>")
# 다른 프로젝트의 Artifact에 대해 W&B를 쿼리하고 다음으로 표시합니다.
# 이 run에 대한 입력입니다.
artifact = run.use_artifact("my-project/artifact:alias")

# 다른 엔티티의 Artifact를 사용하고 이를 입력으로 표시합니다.
# 이 run에.
artifact = run.use_artifact("my-entity/my-project/artifact:alias")

Artifact를 동시에 구성하고 사용

Artifact를 동시에 구성하고 사용합니다. Artifact 오브젝트를 생성하고 use_artifact에 전달합니다. 이렇게 하면 아직 존재하지 않는 경우 W&B에 Artifact가 생성됩니다. use_artifact API는 idempotent이므로 원하는 만큼 여러 번 호출할 수 있습니다.

import wandb

artifact = wandb.Artifact("reference model")
artifact.add_file("model.h5")
run.use_artifact(artifact)

Artifact 구성에 대한 자세한 내용은 Artifact 구성을 참조하세요.

1.3 - Update an artifact

원하는 값을 전달하여 아티팩트의 description, metadata, 그리고 alias를 업데이트하세요. W&B 서버에서 아티팩트를 업데이트하려면 save() 메서드를 호출하세요. W&B Run 도중 또는 Run 외부에서 아티팩트를 업데이트할 수 있습니다.

Run 외부에서 아티팩트를 업데이트하려면 W&B Public API(wandb.Api)를 사용하세요. Run 도중에 아티팩트를 업데이트하려면 Artifact API(wandb.Artifact)를 사용하세요.

• Run 도중
• Run 외부
• 컬렉션 사용

import wandb

run = wandb.init(project="<example>")
artifact = run.use_artifact("<artifact-name>:<alias>")
artifact.description = "<description>"
artifact.save()

import wandb

api = wandb.Api()

artifact = api.artifact("entity/project/artifact:alias")

# Update the description
artifact.description = "My new description"

# Selectively update metadata keys
artifact.metadata["oldKey"] = "new value"

# Replace the metadata entirely
artifact.metadata = {"newKey": "new value"}

# Add an alias
artifact.aliases.append("best")

# Remove an alias
artifact.aliases.remove("latest")

# Completely replace the aliases
artifact.aliases = ["replaced"]

# Persist all artifact modifications
artifact.save()

import wandb
run = wandb.init(project="<example>")
api = wandb.Api()
artifact = api.artifact_collection(type="<type-name>", collection="<collection-name>")
artifact.name = "<new-collection-name>"
artifact.description = "<This is where you'd describe the purpose of your collection.>"
artifact.save()

1.4 - Create an artifact alias

에일리어스를 특정 버전의 포인터로 사용하세요. 기본적으로 Run.log_artifact는 기록된 버전에 latest 에일리어스를 추가합니다.

아티팩트를 처음 기록할 때 아티팩트 버전 v0가 생성되어 아티팩트에 연결됩니다. W&B는 동일한 아티팩트에 다시 기록할 때 콘텐츠의 체크섬을 계산합니다. 아티팩트가 변경되면 W&B는 새 버전 v1을 저장합니다.

예를 들어, 트레이닝 스크립트가 데이터셋의 최신 버전을 가져오도록 하려면 해당 아티팩트를 사용할 때 latest를 지정하세요. 다음 코드 예제는 latest라는 에일리어스가 있는 bike-dataset이라는 최신 데이터셋 아티팩트를 다운로드하는 방법을 보여줍니다.

import wandb

run = wandb.init(project="<example-project>")

artifact = run.use_artifact("bike-dataset:latest")

artifact.download()

사용자 지정 에일리어스를 아티팩트 버전에 적용할 수도 있습니다. 예를 들어, 해당 모델 체크포인트가 AP-50 메트릭에서 가장 좋다고 표시하려면 모델 아티팩트를 기록할 때 문자열 'best-ap50'을 에일리어스로 추가하면 됩니다.

artifact = wandb.Artifact("run-3nq3ctyy-bike-model", type="model")
artifact.add_file("model.h5")
run.log_artifact(artifact, aliases=["latest", "best-ap50"])

1.5 - Create an artifact version

단일 run에서 또는 분산된 run과 협업하여 새로운 아티팩트 버전을 만드세요. 선택적으로 증분 아티팩트라고 알려진 이전 버전에서 새로운 아티팩트 버전을 만들 수 있습니다.

처음부터 새로운 아티팩트 버전 만들기

새로운 아티팩트 버전을 만드는 방법에는 단일 run에서 만드는 방법과 분산된 run에서 만드는 두 가지 방법이 있습니다. 이들은 다음과 같이 정의됩니다.

• 단일 run: 단일 run은 새로운 버전에 대한 모든 데이터를 제공합니다. 이것은 가장 일반적인 경우이며, run이 필요한 데이터를 완전히 재 생성할 때 가장 적합합니다. 예를 들어, 분석을 위해 테이블에 저장된 모델 또는 모델 예측값을 출력합니다.
• 분산된 run: run 집합이 공동으로 새로운 버전에 대한 모든 데이터를 제공합니다. 이것은 여러 run이 데이터를 생성하는 분산 작업에 가장 적합하며, 종종 병렬로 수행됩니다. 예를 들어, 분산 방식으로 모델을 평가하고 예측값을 출력합니다.

W&B는 프로젝트에 존재하지 않는 이름을 wandb.Artifact API에 전달하면 새로운 아티팩트를 생성하고 v0 에일리어스를 할당합니다. 동일한 아티팩트에 다시 로그할 때 W&B는 콘텐츠의 체크섬을 계산합니다. 아티팩트가 변경되면 W&B는 새 버전 v1을 저장합니다.

W&B는 프로젝트에 있는 기존 아티팩트와 일치하는 이름과 아티팩트 유형을 wandb.Artifact API에 전달하면 기존 아티팩트를 검색합니다. 검색된 아티팩트의 버전은 1보다 큽니다.

단일 run

아티팩트의 모든 파일을 생성하는 단일 run으로 Artifact의 새 버전을 기록합니다. 이 경우는 단일 run이 아티팩트의 모든 파일을 생성할 때 발생합니다.

유스 케이스에 따라 아래 탭 중 하나를 선택하여 run 내부 또는 외부에서 새로운 아티팩트 버전을 만드세요.

• Run 내부
• Run 외부

with wandb.init() as run:
    artifact = wandb.Artifact("artifact_name", "artifact_type")

    # `.add`, `.add_file`, `.add_dir`, and `.add_reference`를 사용하여
    # 아티팩트에 파일 및 에셋을 추가합니다.
    artifact.add_file("image1.png")
    run.log_artifact(artifact)

artifact = wandb.Artifact("artifact_name", "artifact_type")
# `.add`, `.add_file`, `.add_dir`, and `.add_reference`를 사용하여
# 아티팩트에 파일 및 에셋을 추가합니다.
artifact.add_file("image1.png")
artifact.save()

분산된 run

커밋하기 전에 run 컬렉션이 버전에서 공동 작업할 수 있도록 합니다. 이는 하나의 run이 새 버전에 대한 모든 데이터를 제공하는 위에서 설명한 단일 run 모드와 대조됩니다.

다음 예제를 고려하십시오. 서로 다른 run (아래에 Run 1, Run 2 및 Run 3으로 표시됨)은 upsert_artifact를 사용하여 동일한 아티팩트에 다른 이미지 파일을 추가합니다.

Run 1:

with wandb.init() as run:
    artifact = wandb.Artifact("artifact_name", "artifact_type")
    # `.add`, `.add_file`, `.add_dir`, and `.add_reference`를 사용하여
    # 아티팩트에 파일 및 에셋을 추가합니다.
    artifact.add_file("image1.png")
    run.upsert_artifact(artifact, distributed_id="my_dist_artifact")

Run 2:

with wandb.init() as run:
    artifact = wandb.Artifact("artifact_name", "artifact_type")
    # `.add`, `.add_file`, `.add_dir`, and `.add_reference`를 사용하여
    # 아티팩트에 파일 및 에셋을 추가합니다.
    artifact.add_file("image2.png")
    run.upsert_artifact(artifact, distributed_id="my_dist_artifact")

Run 3

Run 1과 Run 2가 완료된 후 실행해야 합니다. finish_artifact를 호출하는 Run은 아티팩트에 파일을 포함할 수 있지만 필요하지는 않습니다.

with wandb.init() as run:
    artifact = wandb.Artifact("artifact_name", "artifact_type")
    # 아티팩트에 파일 및 에셋을 추가합니다.
    # `.add`, `.add_file`, `.add_dir`, and `.add_reference`
    artifact.add_file("image3.png")
    run.finish_artifact(artifact, distributed_id="my_dist_artifact")

기존 버전에서 새로운 아티팩트 버전 만들기

변경되지 않은 파일을 다시 인덱싱할 필요 없이 이전 아티팩트 버전에서 파일의 서브셋을 추가, 수정 또는 제거합니다. 이전 아티팩트 버전에서 파일의 서브셋을 추가, 수정 또는 제거하면 증분 아티팩트라고 하는 새로운 아티팩트 버전이 생성됩니다.

다음은 발생할 수 있는 각 유형의 증분 변경에 대한 몇 가지 시나리오입니다.

• add: 새로운 배치를 수집한 후 데이터셋에 새로운 파일 서브셋을 주기적으로 추가합니다.
• remove: 여러 중복 파일을 발견했고 아티팩트에서 제거하고 싶습니다.
• update: 파일 서브셋에 대한 주석을 수정했고 이전 파일을 올바른 파일로 바꾸고 싶습니다.

처음부터 아티팩트를 만들어 증분 아티팩트와 동일한 기능을 수행할 수 있습니다. 그러나 처음부터 아티팩트를 만들면 로컬 디스크에 아티팩트의 모든 콘텐츠가 있어야 합니다. 증분 변경을 수행할 때 이전 아티팩트 버전의 파일을 변경하지 않고도 단일 파일을 추가, 제거 또는 수정할 수 있습니다.

아래 절차에 따라 아티팩트를 증분 방식으로 변경합니다.

1. 증분 변경을 수행할 아티팩트 버전을 가져옵니다.

• Run 내부
• Run 외부

saved_artifact = run.use_artifact("my_artifact:latest")

client = wandb.Api()
saved_artifact = client.artifact("my_artifact:latest")

2. 다음으로 초안을 만듭니다.

draft_artifact = saved_artifact.new_draft()

3. 다음 버전에서 보고 싶은 증분 변경 사항을 수행합니다. 기존 항목을 추가, 제거 또는 수정할 수 있습니다.

각 변경을 수행하는 방법에 대한 예제는 다음 탭 중 하나를 선택하십시오.

• 추가
• 제거
• 수정

draft_artifact.add_file("file_to_add.txt")

draft_artifact.remove("file_to_remove.txt")

draft_artifact.remove("modified_file.txt")
draft_artifact.add_file("modified_file.txt")

4. 마지막으로 변경 사항을 기록하거나 저장합니다. 다음 탭에서는 W&B run 내부 및 외부에서 변경 사항을 저장하는 방법을 보여줍니다. 유스 케이스에 적합한 탭을 선택하세요.

• Run 내부
• Run 외부

run.log_artifact(draft_artifact)

draft_artifact.save()

모두 합치면 위의 코드 예제는 다음과 같습니다.

• Run 내부
• Run 외부

with wandb.init(job_type="modify dataset") as run:
    saved_artifact = run.use_artifact(
        "my_artifact:latest"
    )  # 아티팩트를 가져와서 run에 입력합니다.
    draft_artifact = saved_artifact.new_draft()  # 초안 버전을 만듭니다.

    # 초안 버전에서 파일의 서브셋을 수정합니다.
    draft_artifact.add_file("file_to_add.txt")
    draft_artifact.remove("dir_to_remove/")
    run.log_artifact(
        artifact
    )  # 변경 사항을 기록하여 새 버전을 만들고 run에 대한 출력으로 표시합니다.

client = wandb.Api()
saved_artifact = client.artifact("my_artifact:latest")  # 아티팩트를 로드합니다.
draft_artifact = saved_artifact.new_draft()  # 초안 버전을 만듭니다.

# 초안 버전에서 파일의 서브셋을 수정합니다.
draft_artifact.remove("deleted_file.txt")
draft_artifact.add_file("modified_file.txt")
draft_artifact.save()  # 초안에 변경 사항을 커밋합니다.

1.6 - Track external files

reference artifacts 를 사용하여 W&B 시스템 외부 (예: Amazon S3 버킷, GCS 버킷, Azure Blob, HTTP 파일 서버 또는 NFS 공유)에 저장된 파일을 추적합니다. W&B CLI를 사용하여 W&B Run 외부에서 아티팩트를 기록합니다.

Run 외부에서 아티팩트 기록

W&B는 run 외부에서 아티팩트를 기록할 때 run을 생성합니다. 각 아티팩트는 run에 속하며, run은 프로젝트에 속합니다. 아티팩트 (버전)는 컬렉션에도 속하며, 유형이 있습니다.

wandb artifact put 코맨드를 사용하여 W&B run 외부의 W&B 서버에 아티팩트를 업로드합니다. 아티팩트가 속할 프로젝트 이름과 아티팩트 이름 (project/artifact_name)을 제공합니다. 선택적으로 유형 (TYPE)을 제공합니다. 아래 코드 조각에서 PATH를 업로드할 아티팩트의 파일 경로로 바꿉니다.

$ wandb artifact put --name project/artifact_name --type TYPE PATH

지정한 프로젝트가 존재하지 않으면 W&B가 새 프로젝트를 생성합니다. 아티팩트 다운로드 방법에 대한 자세한 내용은 아티팩트 다운로드 및 사용을 참조하세요.

W&B 외부에서 아티팩트 추적

데이터셋 버전 관리 및 모델 이력에 W&B Artifacts를 사용하고, reference artifacts 를 사용하여 W&B 서버 외부에서 저장된 파일을 추적합니다. 이 모드에서 아티팩트는 URL, 크기 및 체크섬과 같은 파일에 대한 메타데이터만 저장합니다. 기본 데이터는 시스템을 벗어나지 않습니다. 파일을 W&B 서버에 저장하는 방법에 대한 자세한 내용은 빠른 시작을 참조하세요.

다음은 reference artifacts 를 구성하는 방법과 이를 워크플로우에 통합하는 가장 좋은 방법을 설명합니다.

Amazon S3 / GCS / Azure Blob Storage 참조

클라우드 스토리지 버킷에서 참조를 추적하기 위해 데이터셋 및 모델 버전 관리에 W&B Artifacts를 사용합니다. 아티팩트 참조를 사용하면 기존 스토리지 레이아웃을 수정하지 않고도 버킷 위에 원활하게 추적 기능을 레이어링할 수 있습니다.

Artifacts는 기본 클라우드 스토리지 공급 업체 (예: AWS, GCP 또는 Azure)를 추상화합니다. 다음 섹션에 설명된 정보는 Amazon S3, Google Cloud Storage 및 Azure Blob Storage에 균일하게 적용됩니다.

다음과 같은 구조의 버킷이 있다고 가정합니다.

s3://my-bucket
+-- datasets/
|		+-- mnist/
+-- models/
		+-- cnn/

mnist/ 아래에 이미지 모음인 데이터셋이 있습니다. 아티팩트로 추적해 보겠습니다.

import wandb

run = wandb.init()
artifact = wandb.Artifact("mnist", type="dataset")
artifact.add_reference("s3://my-bucket/datasets/mnist")
run.log_artifact(artifact)

새 reference artifact 인 mnist:latest는 일반 아티팩트와 유사하게 보이고 작동합니다. 유일한 차이점은 아티팩트가 ETag, 크기 및 버전 ID (오브젝트 버전 관리가 버킷에서 활성화된 경우)와 같은 S3/GCS/Azure 오브젝트에 대한 메타데이터로만 구성된다는 것입니다.

W&B는 기본 메커니즘을 사용하여 사용하는 클라우드 공급자를 기반으로 자격 증명을 찾습니다. 사용된 자격 증명에 대한 자세한 내용은 클라우드 공급자의 문서를 참조하십시오.

AWS의 경우 버킷이 구성된 사용자의 기본 리전에 있지 않으면 AWS_REGION 환경 변수를 버킷 리전과 일치하도록 설정해야 합니다.

일반 아티팩트와 유사하게 이 아티팩트와 상호 작용합니다. App UI에서 파일 브라우저를 사용하여 reference artifact 의 내용을 살펴보고 전체 종속성 그래프를 탐색하고 아티팩트의 버전 관리된 기록을 스캔할 수 있습니다.

reference artifact 다운로드

import wandb

run = wandb.init()
artifact = run.use_artifact("mnist:latest", type="dataset")
artifact_dir = artifact.download()

W&B는 아티팩트가 기록될 때 기록된 메타데이터를 사용하여 reference artifact 를 다운로드할 때 기본 버킷에서 파일을 검색합니다. 버킷에서 오브젝트 버전 관리를 활성화한 경우 W&B는 아티팩트가 기록될 당시의 파일 상태에 해당하는 오브젝트 버전을 검색합니다. 즉, 버킷 내용을 발전시키더라도 아티팩트가 트레이닝 당시 버킷의 스냅샷 역할을 하므로 지정된 모델이 트레이닝된 데이터의 정확한 반복을 계속 가리킬 수 있습니다.

함께 묶기

다음 코드 예제는 Amazon S3, GCS 또는 Azure에서 트레이닝 작업에 제공되는 데이터셋을 추적하는 데 사용할 수 있는 간단한 워크플로우를 보여줍니다.

import wandb

run = wandb.init()

artifact = wandb.Artifact("mnist", type="dataset")
artifact.add_reference("s3://my-bucket/datasets/mnist")

# 아티팩트를 추적하고
# 이 run에 대한 입력으로 표시합니다. 새 아티팩트 버전은
# 버킷의 파일이 변경된 경우에만 기록됩니다.
run.use_artifact(artifact)

artifact_dir = artifact.download()

# 여기서 트레이닝을 수행합니다...

모델을 추적하기 위해 트레이닝 스크립트가 모델 파일을 버킷에 업로드한 후 모델 아티팩트를 기록할 수 있습니다.

import boto3
import wandb

run = wandb.init()

# 여기서 트레이닝을 수행합니다...

s3_client = boto3.client("s3")
s3_client.upload_file("my_model.h5", "my-bucket", "models/cnn/my_model.h5")

model_artifact = wandb.Artifact("cnn", type="model")
model_artifact.add_reference("s3://my-bucket/models/cnn/")
run.log_artifact(model_artifact)

파일 시스템 참조

데이터셋에 빠르게 엑세스하기 위한 또 다른 일반적인 패턴은 트레이닝 작업을 실행하는 모든 머신에서 원격 파일 시스템에 대한 NFS 마운트 지점을 노출하는 것입니다. 트레이닝 스크립트의 관점에서 파일이 로컬 파일 시스템에 있는 것처럼 보이기 때문에 클라우드 스토리지 버킷보다 훨씬 더 간단한 솔루션이 될 수 있습니다. 다행히 이러한 사용 편의성은 파일 시스템에 대한 참조를 추적하기 위해 Artifacts를 사용하는 데까지 확장됩니다 (마운트 여부와 관계없이).

다음과 같은 구조로 /mount에 파일 시스템이 마운트되어 있다고 가정합니다.

mount
+-- datasets/
|		+-- mnist/
+-- models/
		+-- cnn/

mnist/ 아래에 이미지 모음인 데이터셋이 있습니다. 아티팩트로 추적해 보겠습니다.

import wandb

run = wandb.init()
artifact = wandb.Artifact("mnist", type="dataset")
artifact.add_reference("file:///mount/datasets/mnist/")
run.log_artifact(artifact)

기본적으로 W&B는 디렉토리에 대한 참조를 추가할 때 10,000개의 파일 제한을 적용합니다. add_reference 호출에서 max_objects=를 지정하여 이 제한을 조정할 수 있습니다.

URL에서 슬래시가 세 개 있다는 점에 유의하십시오. 첫 번째 구성 요소는 파일 시스템 참조 사용을 나타내는 file:// 접두사입니다. 두 번째는 데이터셋 경로인 /mount/datasets/mnist/입니다.

결과 아티팩트인 mnist:latest는 일반 아티팩트와 마찬가지로 보이고 작동합니다. 유일한 차이점은 아티팩트가 크기 및 MD5 체크섬과 같은 파일에 대한 메타데이터로만 구성된다는 것입니다. 파일 자체는 시스템을 벗어나지 않습니다.

일반 아티팩트와 마찬가지로 이 아티팩트와 상호 작용할 수 있습니다. UI에서 파일 브라우저를 사용하여 reference artifact 의 내용을 찾아보고 전체 종속성 그래프를 탐색하고 아티팩트의 버전 관리된 기록을 스캔할 수 있습니다. 그러나 데이터 자체가 아티팩트에 포함되어 있지 않으므로 UI는 이미지, 오디오 등과 같은 풍부한 미디어를 렌더링할 수 없습니다.

reference artifact 를 다운로드하는 것은 간단합니다.

import wandb

run = wandb.init()
artifact = run.use_artifact("entity/project/mnist:latest", type="dataset")
artifact_dir = artifact.download()

파일 시스템 참조의 경우 download() 작업은 참조된 경로에서 파일을 복사하여 아티팩트 디렉토리를 구성합니다. 위의 예에서 /mount/datasets/mnist의 내용은 artifacts/mnist:v0/ 디렉토리에 복사됩니다. 아티팩트에 덮어쓴 파일에 대한 참조가 포함되어 있는 경우 아티팩트를 더 이상 재구성할 수 없으므로 download()에서 오류가 발생합니다.

모든 것을 함께 놓으면 다음은 마운트된 파일 시스템에서 트레이닝 작업에 제공되는 데이터셋을 추적하는 데 사용할 수 있는 간단한 워크플로우입니다.

import wandb

run = wandb.init()

artifact = wandb.Artifact("mnist", type="dataset")
artifact.add_reference("file:///mount/datasets/mnist/")

# 아티팩트를 추적하고
# 이 run에 대한 입력으로 표시합니다. 새 아티팩트 버전은
# 디렉토리 아래의 파일이
# 변경되었습니다.
run.use_artifact(artifact)

artifact_dir = artifact.download()

# 여기서 트레이닝을 수행합니다...

모델을 추적하기 위해 트레이닝 스크립트가 모델 파일을 마운트 지점에 쓴 후 모델 아티팩트를 기록할 수 있습니다.

import wandb

run = wandb.init()

# 여기서 트레이닝을 수행합니다...

# 디스크에 모델 쓰기

model_artifact = wandb.Artifact("cnn", type="model")
model_artifact.add_reference("file:///mount/cnn/my_model.h5")
run.log_artifact(model_artifact)

1.7 - Manage data

1.7.1 - Delete an artifact

App UI 또는 W&B SDK를 사용하여 아티팩트를 대화형으로 삭제할 수 있습니다. 아티팩트를 삭제하면 W&B는 해당 아티팩트를 소프트 삭제로 표시합니다. 즉, 아티팩트는 삭제 대상으로 표시되지만 파일은 즉시 스토리지에서 삭제되지 않습니다.

아티팩트의 내용은 정기적으로 실행되는 가비지 수집 프로세스가 삭제 대상으로 표시된 모든 아티팩트를 검토할 때까지 소프트 삭제 또는 삭제 대기 상태로 유지됩니다. 가비지 수집 프로세스는 아티팩트 및 관련 파일이 이전 또는 이후 아티팩트 버전에서 사용되지 않는 경우 스토리지에서 관련 파일을 삭제합니다.

이 페이지의 섹션에서는 특정 아티팩트 버전을 삭제하는 방법, 아티팩트 컬렉션을 삭제하는 방법, 에일리어스가 있거나 없는 아티팩트를 삭제하는 방법 등을 설명합니다. TTL 정책을 사용하여 W&B에서 아티팩트가 삭제되는 시점을 예약할 수 있습니다. 자세한 내용은 아티팩트 TTL 정책으로 데이터 보존 관리을 참조하세요.

아티팩트 버전 삭제

아티팩트 버전을 삭제하려면 다음을 수행하세요.

1. 아티팩트 이름을 선택합니다. 그러면 아티팩트 보기가 확장되고 해당 아티팩트와 연결된 모든 아티팩트 버전이 나열됩니다.
2. 아티팩트 목록에서 삭제할 아티팩트 버전을 선택합니다.
3. 워크스페이스 오른쪽에 있는 케밥 드롭다운을 선택합니다.
4. 삭제를 선택합니다.

아티팩트 버전은 delete() 메소드를 통해 프로그래밍 방식으로 삭제할 수도 있습니다. 아래 예시를 참조하세요.

에일리어스가 있는 여러 아티팩트 버전 삭제

다음 코드 예제는 에일리어스가 연결된 아티팩트를 삭제하는 방법을 보여줍니다. 아티팩트를 만든 엔터티, 프로젝트 이름 및 run ID를 제공합니다.

import wandb

run = api.run("entity/project/run_id")

for artifact in run.logged_artifacts():
    artifact.delete()

아티팩트에 에일리어스가 하나 이상 있는 경우 delete_aliases 파라미터를 부울 값 True로 설정하여 에일리어스를 삭제합니다.

import wandb

run = api.run("entity/project/run_id")

for artifact in run.logged_artifacts():
    # Set delete_aliases=True in order to delete
    # artifacts with one more aliases
    artifact.delete(delete_aliases=True)

특정 에일리어스가 있는 여러 아티팩트 버전 삭제

다음 코드는 특정 에일리어스가 있는 여러 아티팩트 버전을 삭제하는 방법을 보여줍니다. 아티팩트를 만든 엔터티, 프로젝트 이름 및 run ID를 제공합니다. 삭제 로직을 직접 작성하세요.

import wandb

runs = api.run("entity/project_name/run_id")

# Delete artifact ith alias 'v3' and 'v4
for artifact_version in runs.logged_artifacts():
    # Replace with your own deletion logic.
    if artifact_version.name[-2:] == "v3" or artifact_version.name[-2:] == "v4":
        artifact.delete(delete_aliases=True)

에일리어스가 없는 아티팩트의 모든 버전 삭제

다음 코드 조각은 에일리어스가 없는 아티팩트의 모든 버전을 삭제하는 방법을 보여줍니다. wandb.Api의 project 및 entity 키에 대한 프로젝트 및 엔터티 이름을 각각 제공합니다. <>를 아티팩트 이름으로 바꿉니다.

import wandb

# Provide your entity and a project name when you
# use wandb.Api methods.
api = wandb.Api(overrides={"project": "project", "entity": "entity"})

artifact_type, artifact_name = "<>"  # provide type and name
for v in api.artifact_versions(artifact_type, artifact_name):
    # Clean up versions that don't have an alias such as 'latest'.
    # NOTE: You can put whatever deletion logic you want here.
    if len(v.aliases) == 0:
        v.delete()

아티팩트 컬렉션 삭제

아티팩트 컬렉션을 삭제하려면 다음을 수행하세요.

1. 삭제할 아티팩트 컬렉션으로 이동하여 마우스를 올려 놓습니다.
2. 아티팩트 컬렉션 이름 옆에 있는 케밥 드롭다운을 선택합니다.
3. 삭제를 선택합니다.

delete() 메소드를 사용하여 프로그래밍 방식으로 아티팩트 컬렉션을 삭제할 수도 있습니다. wandb.Api의 project 및 entity 키에 대한 프로젝트 및 엔터티 이름을 각각 제공합니다.

import wandb

# Provide your entity and a project name when you
# use wandb.Api methods.
api = wandb.Api(overrides={"project": "project", "entity": "entity"})
collection = api.artifact_collection(
    "<artifact_type>", "entity/project/artifact_collection_name"
)
collection.delete()

W&B 호스팅 방식에 따라 가비지 수집을 활성화하는 방법

W&B의 공유 클라우드를 사용하는 경우 가비지 수집은 기본적으로 활성화됩니다. W&B를 호스팅하는 방식에 따라 가비지 수집을 활성화하기 위해 추가 단계를 수행해야 할 수 있습니다.

• GORILLA_ARTIFACT_GC_ENABLED 환경 변수를 true로 설정합니다. GORILLA_ARTIFACT_GC_ENABLED=true
• AWS, GCP 또는 Minio와 같은 다른 스토리지 공급자를 사용하는 경우 버킷 버전 관리를 활성화합니다. Azure를 사용하는 경우 소프트 삭제를 활성화합니다.
  Azure의 소프트 삭제는 다른 스토리지 공급자의 버킷 버전 관리와 동일합니다.

다음 표는 배포 유형에 따라 가비지 수집을 활성화하기 위한 요구 사항을 충족하는 방법을 설명합니다.

X는 요구 사항을 충족해야 함을 나타냅니다.

1.7.2 - Manage artifact data retention

W&B Artifact time-to-live (TTL) 정책을 사용하여 Artifacts가 W&B에서 삭제되는 시점을 예약하세요. 아티팩트를 삭제하면 W&B는 해당 아티팩트를 soft-delete 로 표시합니다. 즉, 아티팩트는 삭제 대상으로 표시되지만 파일은 즉시 스토리지에서 삭제되지 않습니다. W&B에서 아티팩트를 삭제하는 방법에 대한 자세한 내용은 아티팩트 삭제 페이지를 참조하세요.

이 비디오 튜토리얼에서 W&B 앱에서 Artifacts TTL로 데이터 보존을 관리하는 방법을 알아보세요.

자동 생성된 Artifacts

사용자가 생성한 아티팩트만 TTL 정책을 사용할 수 있습니다. W&B에서 자동으로 생성된 아티팩트에는 TTL 정책을 설정할 수 없습니다.

다음 아티팩트 유형은 자동 생성된 Artifacts를 나타냅니다.

• run_table
• code
• job
• wandb-* 로 시작하는 모든 아티팩트 유형

W&B 플랫폼 또는 프로그래밍 방식으로 아티팩트의 유형을 확인할 수 있습니다.

import wandb

run = wandb.init(project="<my-project-name>")
artifact = run.use_artifact(artifact_or_name="<my-artifact-name>")
print(artifact.type)

<> 로 묶인 값을 자신의 값으로 바꿉니다.

TTL 정책을 편집하고 설정할 수 있는 사람 정의

팀 내에서 TTL 정책을 설정하고 편집할 수 있는 사람을 정의합니다. 팀 관리자에게만 TTL 권한을 부여하거나 팀 관리자와 팀 멤버 모두에게 TTL 권한을 부여할 수 있습니다.

1. 팀 프로필 페이지로 이동합니다.
2. 설정 탭을 선택합니다.
3. Artifacts time-to-live (TTL) 섹션으로 이동합니다.
4. TTL 권한 드롭다운에서 TTL 정책을 설정하고 편집할 수 있는 사람을 선택합니다.
5. 설정 검토 및 저장을 클릭합니다.
6. 변경 사항을 확인하고 설정 저장을 선택합니다.

TTL 정책 만들기

아티팩트를 생성할 때 또는 아티팩트가 생성된 후 소급하여 아티팩트에 대한 TTL 정책을 설정합니다.

아래의 모든 코드 조각에서 <> 로 묶인 콘텐츠를 자신의 정보로 바꿔 코드 조각을 사용하세요.

아티팩트를 생성할 때 TTL 정책 설정

W&B Python SDK를 사용하여 아티팩트를 생성할 때 TTL 정책을 정의합니다. TTL 정책은 일반적으로 일 단위로 정의됩니다.

단계는 다음과 같습니다.

1. 아티팩트 만들기.
2. 파일, 디렉토리 또는 참조와 같은 아티팩트에 콘텐츠 추가.
3. Python 표준 라이브러리의 일부인 datetime.timedelta 데이터 유형으로 TTL 시간 제한을 정의합니다.
4. 아티팩트 로깅.

다음 코드 조각은 아티팩트를 만들고 TTL 정책을 설정하는 방법을 보여줍니다.

import wandb
from datetime import timedelta

run = wandb.init(project="<my-project-name>", entity="<my-entity>")
artifact = wandb.Artifact(name="<artifact-name>", type="<type>")
artifact.add_file("<my_file>")

artifact.ttl = timedelta(days=30)  # TTL 정책 설정
run.log_artifact(artifact)

앞의 코드 조각은 아티팩트의 TTL 정책을 30일로 설정합니다. 즉, W&B는 30일 후에 아티팩트를 삭제합니다.

아티팩트를 만든 후 TTL 정책 설정 또는 편집

W&B App UI 또는 W&B Python SDK를 사용하여 이미 존재하는 아티팩트에 대한 TTL 정책을 정의합니다.

• Python SDK
• W&B App

1. 아티팩트 가져오기.
2. 시간 델타를 아티팩트의 ttl 속성에 전달합니다.
3. save 메소드로 아티팩트를 업데이트합니다.

다음 코드 조각은 아티팩트에 대한 TTL 정책을 설정하는 방법을 보여줍니다.

import wandb
from datetime import timedelta

artifact = run.use_artifact("<my-entity/my-project/my-artifact:alias>")
artifact.ttl = timedelta(days=365 * 2)  # 2년 후에 삭제
artifact.save()

앞의 코드 예제는 TTL 정책을 2년으로 설정합니다.

1. W&B App UI에서 W&B 프로젝트로 이동합니다.
2. 왼쪽 패널에서 아티팩트 아이콘을 선택합니다.
3. 아티팩트 목록에서 TTL 정책을 편집할 아티팩트 유형을 확장합니다.
4. TTL 정책을 편집할 아티팩트 버전을 선택합니다.
5. 버전 탭을 클릭합니다.
6. 드롭다운에서 TTL 정책 편집을 선택합니다.
7. 나타나는 모달 내에서 TTL 정책 드롭다운에서 Custom을 선택합니다.
8. TTL duration 필드 내에서 TTL 정책을 일 단위로 설정합니다.
9. TTL 업데이트 버튼을 선택하여 변경 사항을 저장합니다.

팀에 대한 기본 TTL 정책 설정

팀에 대한 기본 TTL 정책을 설정합니다. 기본 TTL 정책은 각각 생성 날짜를 기준으로 기존 및 향후 모든 아티팩트에 적용됩니다. 기존 버전 수준 TTL 정책이 있는 아티팩트는 팀의 기본 TTL의 영향을 받지 않습니다.

1. 팀 프로필 페이지로 이동합니다.
2. 설정 탭을 선택합니다.
3. Artifacts time-to-live (TTL) 섹션으로 이동합니다.
4. 팀의 기본 TTL 정책 설정을 클릭합니다.
5. Duration 필드 내에서 TTL 정책을 일 단위로 설정합니다.
6. 설정 검토 및 저장을 클릭합니다. 7/ 변경 사항을 확인한 다음 설정 저장을 선택합니다.

run 외부에서 TTL 정책 설정

공용 API를 사용하여 run을 가져오지 않고 아티팩트를 검색하고 TTL 정책을 설정합니다. TTL 정책은 일반적으로 일 단위로 정의됩니다.

다음 코드 샘플은 공용 API를 사용하여 아티팩트를 가져오고 TTL 정책을 설정하는 방법을 보여줍니다.

api = wandb.Api()

artifact = api.artifact("entity/project/artifact:alias")

artifact.ttl = timedelta(days=365)  # 1년 후에 삭제

artifact.save()

TTL 정책 비활성화

W&B Python SDK 또는 W&B App UI를 사용하여 특정 아티팩트 버전에 대한 TTL 정책을 비활성화합니다.

• Python SDK
• W&B App

1. 아티팩트 가져오기.
2. 아티팩트의 ttl 속성을 None 으로 설정합니다.
3. save 메소드로 아티팩트를 업데이트합니다.

다음 코드 조각은 아티팩트에 대한 TTL 정책을 끄는 방법을 보여줍니다.

artifact = run.use_artifact("<my-entity/my-project/my-artifact:alias>")
artifact.ttl = None
artifact.save()

1. W&B App UI에서 W&B 프로젝트로 이동합니다.
2. 왼쪽 패널에서 아티팩트 아이콘을 선택합니다.
3. 아티팩트 목록에서 TTL 정책을 편집할 아티팩트 유형을 확장합니다.
4. TTL 정책을 편집할 아티팩트 버전을 선택합니다.
5. 버전 탭을 클릭합니다.
6. 레지스트리에 연결 버튼 옆에 있는 미트볼 UI 아이콘을 클릭합니다.
7. 드롭다운에서 TTL 정책 편집을 선택합니다.
8. 나타나는 모달 내에서 TTL 정책 드롭다운에서 비활성화를 선택합니다.
9. TTL 업데이트 버튼을 선택하여 변경 사항을 저장합니다.

TTL 정책 보기

Python SDK 또는 W&B App UI를 사용하여 아티팩트에 대한 TTL 정책을 봅니다.

• Python SDK
• W&B App

인쇄 문을 사용하여 아티팩트의 TTL 정책을 봅니다. 다음 예제는 아티팩트를 검색하고 TTL 정책을 보는 방법을 보여줍니다.

artifact = run.use_artifact("<my-entity/my-project/my-artifact:alias>")
print(artifact.ttl)

W&B App UI를 사용하여 아티팩트에 대한 TTL 정책을 봅니다.

1. https://wandb.ai 에서 W&B 앱으로 이동합니다.
2. W&B 프로젝트로 이동합니다.
3. 프로젝트 내에서 왼쪽 사이드바에서 Artifacts 탭을 선택합니다.
4. 컬렉션을 클릭합니다.

컬렉션 보기 내에서 선택한 컬렉션의 모든 아티팩트를 볼 수 있습니다. Time to Live 열 내에서 해당 아티팩트에 할당된 TTL 정책이 표시됩니다.

1.7.3 - Manage artifact storage and memory allocation

W&B는 기본적으로 미국에 위치한 개인 Google Cloud Storage 버킷에 아티팩트 파일을 저장합니다. 모든 파일은 저장 및 전송 중에 암호화됩니다.

민감한 파일의 경우, Private Hosting을 설정하거나 reference artifacts를 사용하는 것이 좋습니다.

트레이닝 중에 W&B는 로그, 아티팩트 및 설정 파일을 다음 로컬 디렉토리에 로컬로 저장합니다.

환경 변수를 사용하여 W&B를 구성하는 방법에 대한 전체 가이드는 환경 변수 참조를 참조하십시오.

로컬 아티팩트 캐시 정리

W&B는 공통 파일을 공유하는 버전 간의 다운로드 속도를 높이기 위해 아티팩트 파일을 캐시합니다. 시간이 지남에 따라 이 캐시 디렉토리가 커질 수 있습니다. wandb artifact cache cleanup 명령을 실행하여 캐시를 정리하고 최근에 사용되지 않은 파일을 제거하십시오.

다음 코드 조각은 캐시 크기를 1GB로 제한하는 방법을 보여줍니다. 코드 조각을 복사하여 터미널에 붙여넣으십시오:

$ wandb artifact cache cleanup 1GB

1.8 - Explore artifact graphs

W&B는 주어진 run이 기록한 Artifacts와 주어진 run이 사용하는 Artifacts를 자동으로 추적합니다. 이러한 Artifacts에는 데이터셋, 모델, 평가 결과 등이 포함될 수 있습니다. Artifact의 계보를 탐색하여 기계 학습 라이프사이클 전반에 걸쳐 생성된 다양한 Artifacts를 추적하고 관리할 수 있습니다.

계보

Artifact의 계보를 추적하면 다음과 같은 주요 이점이 있습니다.

• 재현성: 모든 Artifacts의 계보를 추적함으로써 팀은 실험, 모델 및 결과를 재현할 수 있습니다. 이는 디버깅, 실험 및 기계 학습 모델 검증에 필수적입니다.

• 버전 관리: Artifact 계보는 Artifacts의 버전 관리와 시간 경과에 따른 변경 사항 추적을 포함합니다. 이를 통해 팀은 필요한 경우 이전 버전의 데이터 또는 모델로 롤백할 수 있습니다.

• 감사: Artifacts 및 해당 변환에 대한 자세한 기록을 통해 조직은 규제 및 거버넌스 요구 사항을 준수할 수 있습니다.

• 협업 및 지식 공유: Artifact 계보는 시도에 대한 명확한 기록과 무엇이 작동했고 무엇이 작동하지 않았는지 제공함으로써 팀 멤버 간의 더 나은 협업을 촉진합니다. 이는 노력의 중복을 피하고 개발 프로세스를 가속화하는 데 도움이 됩니다.

Artifact의 계보 찾기

Artifacts 탭에서 Artifact를 선택하면 해당 Artifact의 계보를 볼 수 있습니다. 이 그래프 보기는 파이프라인의 일반적인 개요를 보여줍니다.

Artifact 그래프를 보려면:

1. W&B App UI에서 프로젝트로 이동합니다.
2. 왼쪽 패널에서 Artifact 아이콘을 선택합니다.
3. Lineage를 선택합니다.

계보 그래프 탐색

제공하는 Artifact 또는 job 유형은 이름 앞에 표시되며, Artifacts는 파란색 아이콘으로, runs는 녹색 아이콘으로 표시됩니다. 화살표는 그래프에서 run 또는 Artifact의 입력 및 출력을 자세히 설명합니다.

더 자세한 보기를 보려면 개별 Artifact 또는 run을 클릭하여 특정 오브젝트에 대한 자세한 정보를 얻으십시오.

Artifact 클러스터

그래프 수준에 5개 이상의 runs 또는 Artifacts가 있는 경우 클러스터가 생성됩니다. 클러스터에는 특정 버전의 runs 또는 Artifacts를 찾기 위한 검색 창이 있으며 클러스터 내부의 노드 계보를 계속 조사하기 위해 클러스터에서 개별 노드를 가져옵니다.

노드를 클릭하면 노드에 대한 개요가 있는 미리보기가 열립니다. 화살표를 클릭하면 개별 run 또는 Artifact가 추출되어 추출된 노드의 계보를 검사할 수 있습니다.

API를 사용하여 계보 추적

W&B API를 사용하여 그래프를 탐색할 수도 있습니다.

Artifact를 만듭니다. 먼저 wandb.init으로 run을 만듭니다. 그런 다음 wandb.Artifact로 새 Artifact를 만들거나 기존 Artifact를 검색합니다. 다음으로 .add_file로 Artifact에 파일을 추가합니다. 마지막으로 .log_artifact로 Artifact를 run에 기록합니다. 완성된 코드는 다음과 같습니다.

with wandb.init() as run:
    artifact = wandb.Artifact("artifact_name", "artifact_type")

    # Add Files and Assets to the artifact using
    # `.add`, `.add_file`, `.add_dir`, and `.add_reference`
    artifact.add_file("image1.png")
    run.log_artifact(artifact)

Artifact 오브젝트의 logged_by 및 used_by 메서드를 사용하여 Artifact에서 그래프를 탐색합니다.

# Walk up and down the graph from an artifact:
producer_run = artifact.logged_by()
consumer_runs = artifact.used_by()

다음 단계

• Artifacts를 더 자세히 살펴보기
• Artifact 스토리지 관리
• Artifacts 프로젝트 살펴보기

1.9 - Artifact data privacy and compliance

Artifacts를 로깅할 때 파일은 W&B에서 관리하는 Google Cloud 버킷에 업로드됩니다. 버킷의 내용은 저장 시와 전송 중에 모두 암호화됩니다. 아티팩트 파일은 해당 프로젝트에 엑세스 권한이 있는 사용자에게만 표시됩니다.

아티팩트 버전을 삭제하면 데이터베이스에서 소프트 삭제로 표시되고 스토리지 비용에서 제거됩니다. 전체 아티팩트를 삭제하면 영구 삭제 대기열에 추가되고 모든 콘텐츠가 W&B 버킷에서 제거됩니다. 파일 삭제와 관련된 특정 요구 사항이 있는 경우 고객 지원에 문의하십시오.

멀티 테넌트 환경에 상주할 수 없는 중요한 데이터셋의 경우 클라우드 버킷에 연결된 프라이빗 W&B 서버 또는 _reference artifacts_를 사용할 수 있습니다. 레퍼런스 아티팩트는 파일 내용을 W&B로 보내지 않고 프라이빗 버킷에 대한 레퍼런스를 추적합니다. 레퍼런스 아티팩트는 버킷 또는 서버의 파일에 대한 링크를 유지 관리합니다. 즉, W&B는 파일 자체가 아닌 파일과 연결된 메타데이터만 추적합니다.

레퍼런스가 아닌 아티팩트를 만드는 방법과 유사하게 레퍼런스 아티팩트를 만듭니다.

import wandb

run = wandb.init()
artifact = wandb.Artifact("animals", type="dataset")
artifact.add_reference("s3://my-bucket/animals")

대안이 필요하면 contact@wandb.com으로 문의하여 프라이빗 클라우드 및 온프레미스 설치에 대해 문의하십시오.

1.10 - Tutorial: Create, track, and use a dataset artifact

이 가이드는 W&B Runs에서 데이터셋 Artifacts를 생성, 추적 및 사용하는 방법을 설명합니다.

1. W&B에 로그인

W&B 라이브러리를 가져오고 W&B에 로그인합니다. 아직 가입하지 않은 경우 무료 W&B 계정에 가입해야 합니다.

import wandb

wandb.login()

2. run 초기화

wandb.init() API를 사용하여 W&B Run으로 데이터를 동기화하고 기록하는 백그라운드 프로세스를 생성합니다. project 이름과 job 유형을 제공합니다.

# W&B Run을 만듭니다. 이 예제에서는 데이터셋 Artifact를 만드는 방법을 보여주기 때문에
# 'dataset'을 job 유형으로 지정합니다.
run = wandb.init(project="artifacts-example", job_type="upload-dataset")

3. Artifact 오브젝트 생성

wandb.Artifact() API를 사용하여 Artifact 오브젝트를 생성합니다. Artifact의 이름과 파일 형식에 대한 설명을 각각 name 및 type 파라미터에 제공합니다.

예를 들어 다음 코드 조각은 ‘bicycle-dataset’이라는 Artifact를 ‘dataset’ 레이블로 만드는 방법을 보여줍니다.

artifact = wandb.Artifact(name="bicycle-dataset", type="dataset")

Artifact를 구성하는 방법에 대한 자세한 내용은 Artifact 구성을 참조하십시오.

Artifact에 데이터셋 추가

Artifact에 파일을 추가합니다. 일반적인 파일 유형에는 모델과 데이터셋이 있습니다. 다음 예제에서는 시스템에 로컬로 저장된 dataset.h5라는 데이터셋을 Artifact에 추가합니다.

# Artifact 내용에 파일 추가
artifact.add_file(local_path="dataset.h5")

이전 코드 조각에서 파일 이름 dataset.h5를 Artifact에 추가할 파일의 경로로 바꿉니다.

4. 데이터셋 기록

W&B run 오브젝트 log_artifact() 메소드를 사용하여 Artifact 버전을 저장하고 Artifact를 run의 출력으로 선언합니다.

# Artifact 버전을 W&B에 저장하고 이 run의 출력으로 표시합니다.
run.log_artifact(artifact)

Artifact를 기록할 때 기본적으로 'latest' 에일리어스가 생성됩니다. Artifact 에일리어스 및 버전에 대한 자세한 내용은 사용자 지정 에일리어스 만들기 및 새 Artifact 버전 만들기를 참조하십시오.

5. Artifact 다운로드 및 사용

다음 코드 예제는 W&B 서버에 기록하고 저장한 Artifact를 사용하는 단계를 보여줍니다.

1. 먼저 **wandb.init()**으로 새 run 오브젝트를 초기화합니다.
2. 둘째, run 오브젝트 use_artifact() 메소드를 사용하여 사용할 Artifact를 W&B에 알립니다. 그러면 Artifact 오브젝트가 반환됩니다.
3. 셋째, Artifact download() 메소드를 사용하여 Artifact의 내용을 다운로드합니다.

# W&B Run을 만듭니다. 여기서는 'training'을 'type'으로 지정합니다.
# 이 run을 사용하여 트레이닝을 추적하기 때문입니다.
run = wandb.init(project="artifacts-example", job_type="training")

# Artifact에 대해 W&B를 쿼리하고 이 run에 대한 입력으로 표시합니다.
artifact = run.use_artifact("bicycle-dataset:latest")

# Artifact의 내용 다운로드
artifact_dir = artifact.download()

또는 Public API (wandb.Api)를 사용하여 Run 외부의 W&B에 이미 저장된 데이터를 내보내거나 (또는 업데이트)할 수 있습니다. 자세한 내용은 외부 파일 추적을 참조하십시오.

2 - Secrets

W&B Secret Manager를 사용하면 엑세스 토큰, bearer 토큰, API 키 또는 비밀번호와 같은 중요한 문자열인 _secrets_를 안전하고 중앙 집중식으로 저장, 관리 및 삽입할 수 있습니다. W&B Secret Manager는 중요한 문자열을 코드에 직접 추가하거나 웹 훅의 헤더 또는 페이로드를 구성할 때 불필요하게 만듭니다.

Secrets는 각 팀의 Secret Manager의 팀 설정의 Team secrets 섹션에 저장되고 관리됩니다.

secret 추가

secret을 추가하려면:

1. 수신 서비스가 들어오는 웹 훅을 인증하는 데 필요한 경우 필요한 토큰 또는 API 키를 생성합니다. 필요한 경우 비밀번호 관리자와 같이 중요한 문자열을 안전하게 저장합니다.
2. W&B에 로그인하여 팀의 Settings 페이지로 이동합니다.
3. Team Secrets 섹션에서 New secret을 클릭합니다.
4. 문자, 숫자 및 밑줄(_)을 사용하여 secret의 이름을 지정합니다.
5. 중요한 문자열을 Secret 필드에 붙여넣습니다.
6. Add secret을 클릭합니다.

웹 훅을 구성할 때 웹 훅 자동화에 사용할 secrets를 지정합니다. 자세한 내용은 웹 훅 구성 섹션을 참조하십시오.

secret 교체

secret을 교체하고 값을 업데이트하려면:

1. secret의 행에서 연필 아이콘을 클릭하여 secret의 세부 정보를 엽니다.
2. Secret을 새 값으로 설정합니다. 선택적으로 Reveal secret을 클릭하여 새 값을 확인합니다.
3. Add secret을 클릭합니다. secret의 값이 업데이트되고 더 이상 이전 값으로 확인되지 않습니다.

secret 삭제

secret을 삭제하려면:

1. secret의 행에서 휴지통 아이콘을 클릭합니다.
2. 확인 대화 상자를 읽은 다음 Delete를 클릭합니다. secret이 즉시 영구적으로 삭제됩니다.

secrets에 대한 엑세스 관리

팀의 자동화는 팀의 secrets를 사용할 수 있습니다. secret을 제거하기 전에 secret을 사용하는 자동화가 작동을 멈추지 않도록 업데이트하거나 제거하십시오.

3 - Registry

W&B Registry는 조직 내 artifact 버전의 선별된 중앙 저장소입니다. 조직 내에서 권한을 가진 사용자는 사용자가 속한 팀에 관계없이 모든 artifact의 라이프사이클을 다운로드, 공유 및 공동으로 관리할 수 있습니다.

Registry를 사용하여 artifact 버전 추적, artifact 사용 및 변경 내역 감사, artifact의 거버넌스 및 규정 준수 보장, 모델 CI/CD와 같은 다운스트림 프로세스 자동화를 할 수 있습니다.

요약하면 W&B Registry를 사용하여 다음을 수행할 수 있습니다.

• 기계 학습 작업에 적합한 artifact 버전을 조직의 다른 사용자에게 홍보합니다.
• 특정 artifact를 찾거나 참조할 수 있도록 태그로 artifact 구성합니다.
• artifact의 계보를 추적하고 변경 내역을 감사합니다.
• 모델 CI/CD와 같은 다운스트림 프로세스를 자동화합니다.
• 각 registry에서 artifact에 엑세스할 수 있는 조직 내 사용자 제한합니다.

위의 이미지는 “Model” 및 “Dataset” 코어 registry와 함께 사용자 지정 registry가 있는 Registry App을 보여줍니다.

기본 사항 알아보기

각 조직에는 모델 및 데이터셋 artifact를 구성하는 데 사용할 수 있는 Models 및 Datasets라는 두 개의 registry가 초기에 포함되어 있습니다. 조직의 요구 사항에 따라 다른 artifact 유형을 구성하기 위해 추가 registry를 만들 수 있습니다.

각 registry는 하나 이상의 컬렉션으로 구성됩니다. 각 컬렉션은 고유한 작업 또는 유스 케이스를 나타냅니다.

artifact를 registry에 추가하려면 먼저 특정 artifact 버전을 W&B에 기록합니다. artifact를 기록할 때마다 W&B는 해당 artifact에 버전을 자동으로 할당합니다. artifact 버전은 0부터 인덱싱되므로 첫 번째 버전은 v0, 두 번째 버전은 v1과 같습니다.

artifact를 W&B에 기록한 후에는 해당 특정 artifact 버전을 registry의 컬렉션에 연결할 수 있습니다.

예를 들어, 다음 코드 예제는 “my_model.txt"라는 모델 artifact를 코어 registry의 “first-collection"이라는 컬렉션에 기록하고 연결하는 방법을 보여줍니다.

1. W&B run을 초기화합니다.
2. artifact를 W&B에 기록합니다.
3. artifact 버전을 연결할 컬렉션 및 registry의 이름을 지정합니다.
4. artifact를 컬렉션에 연결합니다.

이 Python 코드를 스크립트에 저장하고 실행합니다. W&B Python SDK 버전 0.18.6 이상이 필요합니다.

import wandb
import random

# track the artifact를 추적하기 위해 W&B run을 초기화합니다.
run = wandb.init(project="registry_quickstart") 

# 기록할 수 있도록 시뮬레이션된 모델 파일을 만듭니다.
with open("my_model.txt", "w") as f:
   f.write("Model: " + str(random.random()))

# artifact를 W&B에 기록합니다.
logged_artifact = run.log_artifact(
    artifact_or_path="./my_model.txt", 
    name="gemma-finetuned", 
    type="model" # artifact 유형을 지정합니다.
)

# artifact를 게시할 컬렉션 및 registry 이름을 지정합니다.
COLLECTION_NAME = "first-collection"
REGISTRY_NAME = "model"

# artifact를 registry에 연결합니다.
run.link_artifact(
    artifact=logged_artifact, 
    target_path=f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}"
)

반환된 run 오브젝트의 link_artifact(target_path = "") 메소드에서 지정한 컬렉션이 지정한 registry 내에 없는 경우 W&B는 자동으로 컬렉션을 만듭니다.

Registry App으로 이동하여 사용자와 조직의 다른 구성원이 게시하는 artifact 버전을 봅니다. 이렇게 하려면 먼저 W&B로 이동합니다. 애플리케이션 아래 왼쪽 사이드바에서 Registry를 선택합니다. “Model” registry를 선택합니다. registry 내에서 연결된 artifact 버전이 있는 “first-collection” 컬렉션을 볼 수 있습니다.

artifact 버전을 registry 내의 컬렉션에 연결하면 조직 구성원은 적절한 권한이 있는 경우 artifact 버전을 보고, 다운로드하고, 관리하고, 다운스트림 자동화를 만들 수 있습니다.

W&B Registry 활성화

배포 유형에 따라 다음 조건을 충족하여 W&B Registry를 활성화합니다.

시작하기 위한 리소스

유스 케이스에 따라 다음 리소스를 탐색하여 W&B Registry를 시작하십시오.

• 튜토리얼 비디오를 확인하십시오.
  • Weights & Biases에서 Registry 시작하기
• W&B Model CI/CD 코스를 수강하고 다음 방법을 배우십시오.
  • W&B Registry를 사용하여 artifact를 관리하고 버전 관리하고, 계보를 추적하고, 다양한 라이프사이클 단계를 통해 모델을 홍보합니다.
  • 웹훅을 사용하여 모델 관리 워크플로를 자동화합니다.
  • 모델 평가, 모니터링 및 배포를 위해 registry를 외부 ML 시스템 및 툴과 통합합니다.

레거시 Model Registry에서 W&B Registry로 마이그레이션

레거시 Model Registry는 정확한 날짜가 아직 결정되지 않았지만 더 이상 사용되지 않을 예정입니다. 레거시 Model Registry를 더 이상 사용하지 않기 전에 W&B는 레거시 Model Registry의 내용을 W&B Registry로 마이그레이션합니다.

레거시 Model Registry에서 W&B Registry로의 마이그레이션 프로세스에 대한 자세한 내용은 레거시 Model Registry에서 마이그레이션을 참조하십시오.

마이그레이션이 발생할 때까지 W&B는 레거시 Model Registry와 새 Registry를 모두 지원합니다.

레거시 Model Registry를 보려면 W&B App에서 Model Registry로 이동하십시오. 페이지 상단에 배너가 나타나 레거시 Model Registry App UI를 사용할 수 있습니다.

마이그레이션에 대한 질문이 있거나 W&B Product Team에 우려 사항에 대해 이야기하려면 support@wandb.com으로 문의하십시오.

3.1 - Registry types

W&B는 두 가지 유형의 레지스트리를 지원합니다: Core registries 및 Custom registries.

Core registry

Core registry는 특정 유스 케이스를 위한 템플릿입니다: Models 및 Datasets.

기본적으로 Models 레지스트리는 "model" 아티팩트 유형을 허용하도록 구성되고 Dataset 레지스트리는 "dataset" 아티팩트 유형을 허용하도록 구성됩니다. 관리자는 추가로 허용되는 아티팩트 유형을 추가할 수 있습니다.

위의 이미지는 W&B Registry App UI에서 Models 및 Dataset core registry와 Fine_Tuned_Models라는 custom registry를 보여줍니다.

Core registry는 organization visibility를 가집니다. registry 관리자는 core registry의 visibility를 변경할 수 없습니다.

Custom registry

Custom registry는 "model" 아티팩트 유형 또는 "dataset" 아티팩트 유형으로 제한되지 않습니다.

초기 데이터 수집부터 최종 모델 배포까지 기계 학습 파이프라인의 각 단계에 대한 custom registry를 만들 수 있습니다.

예를 들어, 트레이닝된 모델의 성능을 평가하기 위해 선별된 데이터셋을 구성하기 위해 “Benchmark_Datasets"라는 레지스트리를 만들 수 있습니다. 이 레지스트리 내에서 모델이 트레이닝 중에 본 적이 없는 사용자 질문과 해당 전문가 검증 답변 세트가 포함된 “User_Query_Insurance_Answer_Test_Data"라는 컬렉션을 가질 수 있습니다.

Custom registry는 organization or restricted visibility를 가질 수 있습니다. registry 관리자는 custom registry의 visibility를 organization에서 restricted로 변경할 수 있습니다. 그러나 registry 관리자는 custom registry의 visibility를 restricted에서 organization visibility로 변경할 수 없습니다.

Custom registry를 만드는 방법에 대한 자세한 내용은 Create a custom registry를 참조하십시오.

Summary

다음 표는 core registry와 custom registry의 차이점을 요약합니다.

3.2 - Create a custom registry

사용자 정의 레지스트리는 사용할 수 있는 아티팩트 유형에 대한 유연성과 제어 기능을 제공하고 레지스트리의 가시성을 제한하는 등의 작업을 수행할 수 있도록 합니다.

사용자 정의 레지스트리 만들기

사용자 정의 레지스트리를 만들려면 다음을 수행하세요.

1. https://wandb.ai/registry/의 Registry 앱으로 이동합니다.
2. Custom registry 내에서 Create registry 버튼을 클릭합니다.
3. Name 필드에 레지스트리 이름을 입력합니다.
4. 필요에 따라 레지스트리에 대한 설명을 제공합니다.
5. Registry visibility 드롭다운에서 레지스트리를 볼 수 있는 사용자를 선택합니다. 레지스트리 가시성 옵션에 대한 자세한 내용은 레지스트리 가시성 유형을 참조하세요.
6. Accepted artifacts type 드롭다운에서 All types 또는 Specify types를 선택합니다.
7. (Specify types를 선택한 경우) 레지스트리가 허용하는 아티팩트 유형을 하나 이상 추가합니다.
8. Create registry 버튼을 클릭합니다.

예를 들어, 다음 이미지는 사용자가 생성하려는 Fine_Tuned_Models라는 사용자 정의 레지스트리를 보여줍니다. 레지스트리는 수동으로 레지스트리에 추가된 멤버만 Restricted됩니다.

가시성 유형

레지스트리의 가시성은 해당 레지스트리에 액세스할 수 있는 사용자를 결정합니다. 사용자 정의 레지스트리의 가시성을 제한하면 지정된 멤버만 해당 레지스트리에 액세스할 수 있습니다.

사용자 정의 레지스트리에 대한 두 가지 유형의 레지스트리 가시성 옵션이 있습니다.

팀 관리자 또는 레지스트리 관리자는 사용자 정의 레지스트리의 가시성을 설정할 수 있습니다.

Restricted 가시성으로 사용자 정의 레지스트리를 생성하는 사용자는 레지스트리 관리자로 레지스트리에 자동으로 추가됩니다.

사용자 정의 레지스트리의 가시성 구성

팀 관리자 또는 레지스트리 관리자는 사용자 정의 레지스트리를 생성하는 동안 또는 생성 후에 사용자 정의 레지스트리의 가시성을 할당할 수 있습니다.

기존 사용자 정의 레지스트리의 가시성을 제한하려면 다음을 수행하세요.

1. https://wandb.ai/registry/의 Registry 앱으로 이동합니다.
2. 레지스트리를 선택합니다.
3. 오른쪽 상단 모서리에 있는 톱니바퀴 아이콘을 클릭합니다.
4. Registry visibility 드롭다운에서 원하는 레지스트리 가시성을 선택합니다.
5. Restricted visibility를 선택한 경우:
   1. 이 레지스트리에 액세스할 수 있도록 하려는 조직 멤버를 추가합니다. Registry members and roles 섹션으로 스크롤하여 Add member 버튼을 클릭합니다.
   2. Member 필드 내에서 추가하려는 멤버의 이메일 또는 사용자 이름을 추가합니다.
   3. Add new member를 클릭합니다.

팀 관리자가 사용자 정의 레지스트리를 만들 때 가시성을 할당하는 방법에 대한 자세한 내용은 사용자 정의 레지스트리 만들기를 참조하세요.

3.3 - Configure registry access

Registry 관리자는 레지스트리 역할 구성, 사용자 추가, 또는 사용자 제거를 레지스트리의 설정을 구성하여 레지스트리에서 수행할 수 있습니다.

사용자 관리

사용자 또는 팀 추가

Registry 관리자는 개별 user 또는 전체 Teams를 Registry에 추가할 수 있습니다. Registry에 user 또는 Team을 추가하려면 다음을 수행하십시오.

1. Registry(https://wandb.ai/registry/)로 이동합니다.
2. user 또는 Team을 추가할 Registry를 선택합니다.
3. 오른쪽 상단 모서리에 있는 톱니바퀴 아이콘을 클릭하여 Registry settings에 엑세스합니다.
4. Registry access 섹션에서 Add access를 클릭합니다.
5. Include users and teams 필드에 하나 이상의 user 이름, 이메일 또는 Team 이름을 지정합니다.
6. Add access를 클릭합니다.

레지스트리에서 user 역할 구성 또는 Registry 역할 권한에 대해 자세히 알아보세요.

사용자 또는 팀 제거

Registry 관리자는 개별 user 또는 전체 Teams를 Registry에서 제거할 수 있습니다. Registry에서 user 또는 Team을 제거하려면 다음을 수행하십시오.

1. Registry(https://wandb.ai/registry/)로 이동합니다.
2. user를 제거할 Registry를 선택합니다.
3. 오른쪽 상단 모서리에 있는 톱니바퀴 아이콘을 클릭하여 Registry settings에 엑세스합니다.
4. Registry access 섹션으로 이동하여 제거할 user 이름, 이메일 또는 Team을 입력합니다.
5. Delete 버튼을 클릭합니다.

Registry 역할

Registry의 각 user는 해당 Registry에서 수행할 수 있는 작업을 결정하는 Registry 역할을 가집니다.

W&B는 user 또는 Team이 Registry에 추가될 때 자동으로 기본 Registry 역할을 할당합니다.

Registry 관리자는 Registry에서 user 및 Teams에 대한 역할을 할당하거나 수정할 수 있습니다. 자세한 내용은 레지스트리에서 user 역할 구성을 참조하십시오.

다음 표는 user가 가질 수 있는 다양한 역할과 해당 권한을 나열합니다.

상속된 권한

Registry에서 user의 권한은 개별적으로 또는 Team 멤버십에 의해 해당 user에게 할당된 최고 수준의 권한에 따라 달라집니다.

예를 들어, Registry 관리자가 Nico라는 user를 Registry A에 추가하고 Viewer Registry 역할을 할당한다고 가정합니다. 그런 다음 Registry 관리자가 Foundation Model Team이라는 Team을 Registry A에 추가하고 Foundation Model Team에 Member Registry 역할을 할당합니다.

Nico는 Registry의 Member인 Foundation Model Team의 멤버입니다. Member는 Viewer보다 더 많은 권한을 가지고 있기 때문에 W&B는 Nico에게 Member 역할을 부여합니다.

다음 표는 user의 개별 Registry 역할과 해당 멤버인 Team의 Registry 역할 간의 충돌이 발생할 경우 최고 수준의 권한을 보여줍니다.

충돌이 있는 경우 W&B는 user 이름 옆에 최고 수준의 권한을 표시합니다.

예를 들어, 다음 이미지에서 Alex는 smle-reg-team-1 Team의 멤버이기 때문에 Member 역할 권한을 상속받습니다.

Registry 역할 구성

1. Registry(https://wandb.ai/registry/)로 이동합니다.
2. 구성할 Registry를 선택합니다.
3. 오른쪽 상단 모서리에 있는 톱니바퀴 아이콘을 클릭합니다.
4. Registry members and roles 섹션으로 스크롤합니다.
5. Member 필드 내에서 권한을 편집할 user 또는 Team을 검색합니다.
6. Registry role 열에서 user의 역할을 클릭합니다.
7. 드롭다운에서 user에게 할당할 역할을 선택합니다.

3.4 - Create a collection

컬렉션 은 레지스트리 내에서 연결된 아티팩트 버전들의 집합입니다. 각 컬렉션은 고유한 작업 또는 유스 케이스를 나타냅니다.

예를 들어, 코어 데이터셋 레지스트리 내에 여러 개의 컬렉션을 가질 수 있습니다. 각 컬렉션은 MNIST, CIFAR-10 또는 ImageNet과 같은 서로 다른 데이터셋을 포함합니다.

또 다른 예로, “chatbot"이라는 레지스트리가 있을 수 있으며, 여기에는 모델 Artifacts에 대한 컬렉션, 데이터셋 Artifacts에 대한 또 다른 컬렉션, 그리고 파인튜닝된 모델 Artifacts에 대한 또 다른 컬렉션이 포함될 수 있습니다.

레지스트리와 컬렉션을 구성하는 방법은 사용자에게 달려 있습니다.

컬렉션 유형

각 컬렉션은 오직 하나의 아티팩트 유형 만을 허용합니다. 지정하는 유형은 사용자와 조직의 다른 구성원이 해당 컬렉션에 연결할 수 있는 Artifacts의 종류를 제한합니다.

예를 들어, “데이터셋” 아티팩트 유형을 허용하는 컬렉션을 생성한다고 가정합니다. 이는 “데이터셋” 유형을 가진 미래의 Artifacts 버전만 이 컬렉션에 연결할 수 있음을 의미합니다. 마찬가지로, “모델” 아티팩트 유형만 허용하는 컬렉션에는 “모델” 유형의 Artifacts만 연결할 수 있습니다.

import wandb

# run 초기화
run = wandb.init(
  entity = "<team_entity>",
  project = "<project>"
  )

# 아티팩트 오브젝트 생성
artifact = wandb.Artifact(
    name="<artifact_name>", 
    type="<artifact_type>"
    )

컬렉션을 생성할 때 미리 정의된 아티팩트 유형 목록에서 선택할 수 있습니다. 사용할 수 있는 아티팩트 유형은 컬렉션이 속한 레지스트리에 따라 다릅니다.

Artifacts를 컬렉션에 연결하거나 새 컬렉션을 만들기 전에 컬렉션이 허용하는 Artifacts 유형을 조사하십시오.

컬렉션이 허용하는 Artifacts 유형 확인

컬렉션에 연결하기 전에 컬렉션이 허용하는 아티팩트 유형을 검사하십시오. W&B Python SDK를 사용하여 프로그래밍 방식으로 또는 W&B App을 사용하여 대화식으로 컬렉션이 허용하는 아티팩트 유형을 검사할 수 있습니다.

• W&B App
• Python SDK (Beta)

홈페이지의 레지스트리 카드 또는 레지스트리의 설정 페이지에서 허용되는 아티팩트 유형을 찾을 수 있습니다.

두 방법 모두 먼저 W&B 레지스트리 App으로 이동합니다.

레지스트리 App의 홈페이지 내에서 해당 레지스트리의 레지스트리 카드로 스크롤하여 허용되는 아티팩트 유형을 볼 수 있습니다. 레지스트리 카드 내의 회색 가로 타원은 해당 레지스트리가 허용하는 아티팩트 유형을 나열합니다.

예를 들어, 위의 이미지는 레지스트리 App 홈페이지에 있는 여러 레지스트리 카드를 보여줍니다. 모델 레지스트리 카드 내에서 model 및 model-new의 두 가지 아티팩트 유형을 볼 수 있습니다.

레지스트리의 설정 페이지 내에서 허용되는 아티팩트 유형을 보려면:

1. 설정을 보려는 레지스트리 카드를 클릭합니다.
2. 오른쪽 상단 모서리에 있는 기어 아이콘을 클릭합니다.
3. 허용되는 아티팩트 유형 필드로 스크롤합니다.

W&B Python SDK를 사용하여 프로그래밍 방식으로 레지스트리가 허용하는 아티팩트 유형을 봅니다.

import wandb

registry_name = "<registry_name>"
artifact_types = wandb.Api().project(name=f"wandb-registry-{registry_name}").artifact_types()
print(artifact_type.name for artifact_type in artifact_types)

위의 코드 조각에서는 run을 초기화하지 않습니다. 실험, Artifacts 등을 추적하지 않고 W&B API를 쿼리하기만 하는 경우 run을 생성할 필요가 없기 때문입니다.

컬렉션이 허용하는 아티팩트 유형을 알게 되면 컬렉션을 생성할 수 있습니다.

컬렉션 생성

레지스트리 내에서 대화식으로 또는 프로그래밍 방식으로 컬렉션을 생성합니다. 컬렉션을 생성한 후에는 컬렉션이 허용하는 아티팩트 유형을 변경할 수 없습니다.

프로그래밍 방식으로 컬렉션 생성

wandb.init.link_artifact() 메서드를 사용하여 Artifacts를 컬렉션에 연결합니다. target_path 필드에 컬렉션과 레지스트리를 모두 지정합니다. 경로는 다음과 같은 형식을 취합니다.

f"wandb-registry-{registry_name}/{collection_name}"

여기서 registry_name은 레지스트리의 이름이고 collection_name은 컬렉션의 이름입니다. 레지스트리 이름에 접두사 wandb-registry-를 추가해야 합니다.

다음 코드 조각은 프로그래밍 방식으로 컬렉션을 생성하는 방법을 보여줍니다. <>로 묶인 다른 값들을 자신의 값으로 바꾸십시오.

import wandb

# run 초기화
run = wandb.init(entity = "<team_entity>", project = "<project>")

# 아티팩트 오브젝트 생성
artifact = wandb.Artifact(
  name = "<artifact_name>",
  type = "<artifact_type>"
  )

registry_name = "<registry_name>"
collection_name = "<collection_name>"
target_path = f"wandb-registry-{registry_name}/{collection_name}"

# Artifacts를 컬렉션에 연결
run.link_artifact(artifact = artifact, target_path = target_path)

run.finish()

대화식으로 컬렉션 생성

다음 단계는 W&B 레지스트리 App UI를 사용하여 레지스트리 내에서 컬렉션을 생성하는 방법을 설명합니다.

1. W&B App UI에서 레지스트리 App으로 이동합니다.
2. 레지스트리를 선택합니다.
3. 오른쪽 상단 모서리에 있는 컬렉션 생성 버튼을 클릭합니다.
4. 이름 필드에 컬렉션 이름을 입력합니다.
5. 유형 드롭다운에서 유형을 선택합니다. 또는 레지스트리에서 사용자 정의 아티팩트 유형을 활성화한 경우 이 컬렉션이 허용하는 하나 이상의 아티팩트 유형을 제공합니다.
6. 선택적으로 설명 필드에 컬렉션에 대한 설명을 제공합니다.
7. 선택적으로 태그 필드에 하나 이상의 태그를 추가합니다.
8. 버전 연결을 클릭합니다.
9. 프로젝트 드롭다운에서 Artifacts가 저장된 프로젝트를 선택합니다.
10. Artifacts 컬렉션 드롭다운에서 Artifacts를 선택합니다.
11. 버전 드롭다운에서 컬렉션에 연결하려는 Artifacts 버전을 선택합니다.
12. 컬렉션 생성 버튼을 클릭합니다.

3.5 - Link an artifact version to a registry

Artifact 버전들을 컬렉션에 연결하여 조직의 다른 구성원들이 사용할 수 있도록 합니다.

Artifact를 레지스트리에 연결하면 해당 Artifact가 레지스트리에 “게시"됩니다. 해당 레지스트리에 대한 엑세스 권한이 있는 모든 사용자는 컬렉션에서 연결된 Artifact 버전에 엑세스할 수 있습니다.

즉, Artifact를 레지스트리 컬렉션에 연결하면 해당 Artifact 버전이 개인 프로젝트 수준 범위에서 공유 조직 수준 범위로 이동합니다.

Artifact를 컬렉션에 연결

Artifact 버전을 대화식으로 또는 프로그래밍 방식으로 컬렉션에 연결합니다.

유스 케이스에 따라 아래 탭에 설명된 지침을 따르십시오.

• Python SDK
• Registry App
• Artifact browser

wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}

import wandb

# run 초기화
run = wandb.init(
  entity = "<team_entity>",
  project = "<project_name>"
)

# Artifact 오브젝트 생성
# type 파라미터는 Artifact 오브젝트의 유형과 
# 컬렉션 유형을 모두 지정합니다.
artifact = wandb.Artifact(name = "<name>", type = "<type>")

# Artifact 오브젝트에 파일 추가
# 로컬 머신에서 파일의 경로를 지정합니다.
artifact.add_file(local_path = "<local_path_to_artifact>")

# Artifact를 연결할 컬렉션 및 레지스트리 지정
REGISTRY_NAME = "<registry_name>"  
COLLECTION_NAME = "<collection_name>"
target_path=f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}"

# Artifact를 컬렉션에 연결
run.link_artifact(artifact = artifact, target_path = target_path)

레지스트리 앱에서 연결된 Artifact의 메타데이터, 버전 데이터, 사용량, 계보 정보 등을 봅니다.

레지스트리에서 연결된 Artifact 보기

레지스트리 앱에서 메타데이터, 계보 및 사용량 정보와 같은 연결된 Artifact에 대한 정보를 봅니다.

1. 레지스트리 앱으로 이동합니다.
2. Artifact를 연결한 레지스트리 이름을 선택합니다.
3. 컬렉션 이름을 선택합니다.
4. 컬렉션의 Artifact가 메트릭을 기록하는 경우 메트릭 표시를 클릭하여 버전 간의 메트릭을 비교합니다.
5. Artifact 버전 목록에서 엑세스할 버전을 선택합니다. 버전 번호는 v0부터 시작하여 각 연결된 Artifact 버전에 점진적으로 할당됩니다.
6. Artifact 버전에 대한 세부 정보를 보려면 해당 버전을 클릭합니다. 이 페이지의 탭에서 해당 버전의 메타데이터(기록된 메트릭 포함), 계보 및 사용량 정보를 볼 수 있습니다.

버전 탭 내에서 전체 이름 필드를 기록해 두십시오. 연결된 Artifact의 전체 이름은 레지스트리, 컬렉션 이름 및 Artifact 버전의 에일리어스 또는 인덱스로 구성됩니다.

wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{INTEGER}

Artifact 버전을 프로그래밍 방식으로 엑세스하려면 연결된 Artifact의 전체 이름이 필요합니다.

문제 해결

Artifact를 연결할 수 없는 경우 몇 가지 일반적인 사항을 다시 확인하십시오.

개인 계정에서 Artifact 기록

개인 엔터티로 W&B에 기록된 Artifact는 레지스트리에 연결할 수 없습니다. 조직 내에서 팀 엔터티를 사용하여 Artifact를 기록해야 합니다. 조직의 팀 내에서 기록된 Artifact만 조직의 레지스트리에 연결할 수 있습니다.

팀 엔터티 찾기

W&B는 팀 이름을 팀의 엔터티로 사용합니다. 예를 들어 팀 이름이 team-awesome인 경우 팀 엔터티는 team-awesome입니다.

다음을 통해 팀 이름을 확인할 수 있습니다.

1. 팀의 W&B 프로필 페이지로 이동합니다.
2. 사이트 URL을 복사합니다. URL은 https://wandb.ai/<team> 형식입니다. 여기서 <team>은 팀 이름과 팀 엔터티입니다.

팀 엔터티에서 기록

1. wandb.init()로 run을 초기화할 때 팀을 엔터티로 지정합니다. run을 초기화할 때 entity를 지정하지 않으면 run은 팀 엔터티일 수도 있고 아닐 수도 있는 기본 엔터티를 사용합니다.

import wandb

run = wandb.init(
  entity='<team_entity>',
  project='<project_name>'
  )

2. run.log_artifact를 사용하거나 Artifact 오브젝트를 생성한 다음 파일을 추가하여 Artifact 오브젝트에 Artifact를 기록합니다.

   artifact = wandb.Artifact(name="<artifact_name>", type="<type>")
   

   Artifact를 기록하는 방법에 대한 자세한 내용은 Artifact 생성을 참조하십시오.

3. Artifact가 개인 엔터티에 기록된 경우 조직 내의 엔터티에 다시 기록해야 합니다.

W&B App UI에서 레지스트리 경로 확인

UI에서 레지스트리 경로를 확인하는 방법에는 빈 컬렉션을 만들고 컬렉션 세부 정보를 보거나 컬렉션 홈페이지에서 자동 생성된 코드를 복사하여 붙여넣는 두 가지 방법이 있습니다.

자동 생성된 코드 복사 및 붙여넣기

1. 레지스트리 앱(https://wandb.ai/registry/)으로 이동합니다.
2. Artifact를 연결할 레지스트리를 클릭합니다.
3. 페이지 상단에 자동 생성된 코드 블록이 표시됩니다.
4. 이 코드를 복사하여 코드에 붙여넣고 경로의 마지막 부분을 컬렉션 이름으로 바꿔야 합니다.

빈 컬렉션 만들기

1. 레지스트리 앱(https://wandb.ai/registry/)으로 이동합니다.
2. Artifact를 연결할 레지스트리를 클릭합니다.
3. 빈 컬렉션을 클릭합니다. 빈 컬렉션이 없으면 새 컬렉션을 만듭니다.
4. 나타나는 코드 조각 내에서 .link_artifact() 내의 target_path 필드를 식별합니다.
5. (선택 사항) 컬렉션을 삭제합니다.

예를 들어 설명된 단계를 완료한 후 target_path 파라미터가 있는 코드 블록을 찾습니다.

target_path = 
      "smle-registries-bug-bash/wandb-registry-Golden Datasets/raw_images"

이를 구성 요소로 나누면 Artifact를 프로그래밍 방식으로 연결하는 데 사용할 경로를 만드는 데 필요한 것을 알 수 있습니다.

ORG_ENTITY_NAME = "smle-registries-bug-bash"
REGISTRY_NAME = "Golden Datasets"
COLLECTION_NAME = "raw_images"

3.6 - Download an artifact from a registry

W&B Python SDK를 사용하여 레지스트리에 연결된 아티팩트를 다운로드합니다. 아티팩트를 다운로드하여 사용하려면 레지스트리 이름, 컬렉션 이름, 다운로드할 아티팩트 버전의 에일리어스 또는 인덱스를 알아야 합니다.

아티팩트의 속성을 알면 연결된 아티팩트의 경로를 구성하고 아티팩트를 다운로드할 수 있습니다. 또는 W&B App UI에서 미리 생성된 코드 조각을 복사하여 붙여넣어 레지스트리에 연결된 아티팩트를 다운로드할 수 있습니다.

연결된 아티팩트의 경로 구성

레지스트리에 연결된 아티팩트를 다운로드하려면 해당 연결된 아티팩트의 경로를 알아야 합니다. 경로는 레지스트리 이름, 컬렉션 이름, 엑세스하려는 아티팩트 버전의 에일리어스 또는 인덱스로 구성됩니다.

레지스트리, 컬렉션, 아티팩트 버전의 에일리어스 또는 인덱스가 있으면 다음 문자열 템플릿을 사용하여 연결된 아티팩트의 경로를 구성할 수 있습니다.

# 버전 인덱스가 지정된 아티팩트 이름
f"wandb-registry-{REGISTRY}/{COLLECTION}:v{INDEX}"

# 에일리어스가 지정된 아티팩트 이름
f"wandb-registry-{REGISTRY}/{COLLECTION}:{ALIAS}"

중괄호 {} 안의 값을 엑세스하려는 레지스트리 이름, 컬렉션 이름, 아티팩트 버전의 에일리어스 또는 인덱스로 바꿉니다.

연결된 아티팩트의 경로가 있으면 wandb.init.use_artifact 메소드를 사용하여 아티팩트에 엑세스하고 해당 콘텐츠를 다운로드합니다. 다음 코드 조각은 W&B Registry에 연결된 아티팩트를 사용하고 다운로드하는 방법을 보여줍니다. <> 안의 값을 자신의 값으로 바꾸십시오.

import wandb

REGISTRY = '<registry_name>'
COLLECTION = '<collection_name>'
ALIAS = '<artifact_alias>'

run = wandb.init(
   entity = '<team_name>',
   project = '<project_name>'
   )  

artifact_name = f"wandb-registry-{REGISTRY}/{COLLECTION}:{ALIAS}"
# artifact_name = '<artifact_name>' # Registry App에 지정된 전체 이름을 복사하여 붙여넣습니다.
fetched_artifact = run.use_artifact(artifact_or_name = artifact_name)  
download_path = fetched_artifact.download()  

.use_artifact() 메소드는 run을 생성하고 다운로드하는 아티팩트를 해당 run의 입력으로 표시합니다. 아티팩트를 run의 입력으로 표시하면 W&B가 해당 아티팩트의 계보를 추적할 수 있습니다.

run을 생성하지 않으려면 wandb.Api() 오브젝트를 사용하여 아티팩트에 엑세스할 수 있습니다.

import wandb

REGISTRY = "<registry_name>"
COLLECTION = "<collection_name>"
VERSION = "<version>"

api = wandb.Api()
artifact_name = f"wandb-registry-{REGISTRY}/{COLLECTION}:{VERSION}"
artifact = api.artifact(name = artifact_name)

import wandb

TEAM_ENTITY = "product-team-applications"
PROJECT_NAME = "user-stories"

REGISTRY = "Fine-tuned Models"
COLLECTION = "phi3-finetuned"
ALIAS = 'production'

# 지정된 팀 및 프로젝트 내에서 run 초기화
run = wandb.init(entity=TEAM_ENTITY, project = PROJECT_NAME)

artifact_name = f"wandb-registry-{REGISTRY}/{COLLECTION}:{ALIAS}"

# 아티팩트에 엑세스하고 계보 추적을 위해 run에 대한 입력으로 표시
fetched_artifact = run.use_artifact(artifact_or_name = name)  

# 아티팩트 다운로드. 다운로드한 콘텐츠의 경로를 반환합니다.
downloaded_path = fetched_artifact.download()

가능한 파라미터 및 반환 유형에 대한 자세한 내용은 API Reference 가이드의 use_artifact 및 Artifact.download()를 참조하십시오.

import wandb

REGISTRY = "<registry_name>"
COLLECTION = "<collection_name>"
VERSION = "<version>"

# 팀 엔터티를 사용하여 API를 인스턴스화해야 합니다.
api = wandb.Api(overrides={"entity": "<team-entity>"})
artifact_name = f"wandb-registry-{REGISTRY}/{COLLECTION}:{VERSION}"
artifact = api.artifact(name = artifact_name)

# 경로에 조직 표시 이름 또는 조직 엔터티 사용
api = wandb.Api()
artifact_name = f"{ORG_NAME}/wandb-registry-{REGISTRY}/{COLLECTION}:{VERSION}"
artifact = api.artifact(name = artifact_name)

미리 생성된 코드 조각 복사 및 붙여넣기

W&B는 Python 스크립트, 노트북 또는 터미널에 복사하여 붙여넣어 레지스트리에 연결된 아티팩트를 다운로드할 수 있는 코드 조각을 생성합니다.

1. Registry App으로 이동합니다.
2. 아티팩트가 포함된 레지스트리 이름을 선택합니다.
3. 컬렉션 이름을 선택합니다.
4. 아티팩트 버전 목록에서 엑세스하려는 버전을 선택합니다.
5. Usage 탭을 선택합니다.
6. Usage API 섹션에 표시된 코드 조각을 복사합니다.
7. 코드 조각을 Python 스크립트, 노트북 또는 터미널에 붙여넣습니다.

3.7 - Find registry items

W&B Registry App의 글로벌 검색 창을 사용하여 registry, collection, artifact version tag, collection tag 또는 에일리어스를 찾으세요. W&B Python SDK를 사용하여 특정 기준에 따라 MongoDB 스타일 쿼리로 registries, collections 및 artifact versions을 필터링할 수 있습니다.

보기 권한이 있는 항목만 검색 결과에 나타납니다.

Registry 항목 검색

registry 항목을 검색하려면 다음을 수행하세요.

1. W&B Registry App으로 이동합니다.
2. 페이지 상단의 검색 창에 검색어를 지정합니다. Enter 키를 눌러 검색합니다.

지정한 용어가 기존 registry, collection 이름, artifact version tag, collection tag 또는 에일리어스와 일치하면 검색 결과가 검색 창 아래에 나타납니다.

MongoDB 스타일 쿼리로 registry 항목 쿼리

wandb.Api().registries() 및 쿼리 predicates를 사용하여 하나 이상의 MongoDB 스타일 쿼리를 기반으로 registries, collections 및 artifact versions을 필터링합니다.

다음 표는 필터링하려는 항목 유형에 따라 사용할 수 있는 쿼리 이름을 나열합니다.

다음 코드 예제는 몇 가지 일반적인 검색 시나리오를 보여줍니다.

wandb.Api().registries() 메소드를 사용하려면 먼저 W&B Python SDK(wandb) 라이브러리를 가져옵니다.

import wandb

# (선택 사항) 가독성을 위해 wandb.Api() 클래스의 인스턴스를 생성합니다.
api = wandb.Api()

문자열 model을 포함하는 모든 registries를 필터링합니다.

# 문자열 `model`을 포함하는 모든 registries를 필터링합니다.
registry_filters = {
    "name": {"$regex": "model"}
}

# 필터와 일치하는 모든 registries의 iterable을 반환합니다.
registries = api.registries(filter=registry_filters)

collection 이름에 문자열 yolo를 포함하는 registry에 관계없이 모든 collections을 필터링합니다.

# collection 이름에 문자열 `yolo`를 포함하는 registry에 관계없이
# 모든 collections을 필터링합니다.
collection_filters = {
    "name": {"$regex": "yolo"}
}

# 필터와 일치하는 모든 collections의 iterable을 반환합니다.
collections = api.registries().collections(filter=collection_filters)

collection 이름에 문자열 yolo를 포함하고 cnn을 태그로 갖는 registry에 관계없이 모든 collections을 필터링합니다.

# collection 이름에 문자열 `yolo`를 포함하고 `cnn`을 태그로 갖는
# registry에 관계없이 모든 collections을 필터링합니다.
collection_filters = {
    "name": {"$regex": "yolo"},
    "tag": "cnn"
}

# 필터와 일치하는 모든 collections의 iterable을 반환합니다.
collections = api.registries().collections(filter=collection_filters)

문자열 model을 포함하고 태그 image-classification 또는 latest 에일리어스를 갖는 모든 artifact versions을 찾습니다.

# 문자열 `model`을 포함하고
# 태그 `image-classification` 또는 `latest` 에일리어스를 갖는 모든 artifact versions을 찾습니다.
registry_filters = {
    "name": {"$regex": "model"}
}

# 논리적 $or 연산자를 사용하여 artifact versions을 필터링합니다.
version_filters = {
    "$or": [
        {"tag": "image-classification"},
        {"alias": "production"}
    ]
}

# 필터와 일치하는 모든 artifact versions의 iterable을 반환합니다.
artifacts = api.registries(filter=registry_filters).collections().versions(filter=version_filters)

논리적 쿼리 연산자에 대한 자세한 내용은 MongoDB 설명서를 참조하세요.

이전 코드 조각에서 artifacts iterable의 각 항목은 Artifact 클래스의 인스턴스입니다. 즉, 각 아티팩트의 속성 (예: name, collection, aliases, tags, created_at 등)에 엑세스할 수 있습니다.

for art in artifacts:
    print(f"artifact name: {art.name}")
    print(f"collection artifact belongs to: { art.collection.name}")
    print(f"artifact aliases: {art.aliases}")
    print(f"tags attached to artifact: {art.tags}")
    print(f"artifact created at: {art.created_at}\n")

아티팩트 오브젝트의 속성 전체 목록은 API Reference 문서의 Artifacts Class를 참조하세요.

2024-01-08과 2025-03-04 13:10 UTC 사이에 생성된 registry 또는 collection에 관계없이 모든 artifact versions을 필터링합니다.

# 2024-01-08과 2025-03-04 13:10 UTC 사이에 생성된 모든 artifact versions을 찾습니다.

artifact_filters = {
    "alias": "latest",
    "created_at" : {"$gte": "2024-01-08", "$lte": "2025-03-04 13:10:00"},
}

# 필터와 일치하는 모든 artifact versions의 iterable을 반환합니다.
artifacts = api.registries().collections().versions(filter=artifact_filters)

날짜 및 시간을 YYYY-MM-DD HH:MM:SS 형식으로 지정합니다. 날짜로만 필터링하려면 시간, 분, 초를 생략할 수 있습니다.

쿼리 비교에 대한 자세한 내용은 MongoDB 설명서를 참조하세요.

3.8 - Organize versions with tags

레지스트리 내에서 컬렉션 또는 아티팩트 버전을 구성하기 위해 태그를 생성하고 추가합니다. W&B App UI 또는 W&B Python SDK를 사용하여 컬렉션 또는 아티팩트 버전에 태그를 추가, 수정, 보기 또는 제거합니다.

컬렉션에 태그 추가

W&B App UI 또는 Python SDK를 사용하여 컬렉션에 태그를 추가합니다.

• W&B App
• Python SDK

W&B App UI를 사용하여 컬렉션에 태그를 추가합니다.

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.
4. 컬렉션 카드 내에서 태그 필드 옆에 있는 더하기 아이콘(+)을 클릭하고 태그 이름을 입력합니다.
5. 키보드에서 Enter 키를 누릅니다.

import wandb

COLLECTION_TYPE = "<collection_type>"
ORG_NAME = "<org_name>"
REGISTRY_NAME = "<registry_name>"
COLLECTION_NAME = "<collection_name>"

full_name = f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}"

collection = wandb.Api().artifact_collection(
  type_name = COLLECTION_TYPE, 
  name = full_name
  )

collection.tags = ["your-tag"]
collection.save()

컬렉션에 속한 태그 업데이트

tags 속성을 재할당하거나 변경하여 프로그래밍 방식으로 태그를 업데이트합니다. W&B는 제자리 변경 대신 tags 속성을 재할당하는 것을 권장하며, 이는 좋은 Python 방식입니다.

예를 들어, 다음 코드 조각은 재할당을 통해 목록을 업데이트하는 일반적인 방법을 보여줍니다. 간결성을 위해 컬렉션에 태그 추가 섹션의 코드 예제를 계속합니다.

collection.tags = [*collection.tags, "new-tag", "other-tag"]
collection.tags = collection.tags + ["new-tag", "other-tag"]

collection.tags = set(collection.tags) - set(tags_to_delete)
collection.tags = []  # deletes all tags

다음 코드 조각은 제자리 변경을 사용하여 아티팩트 버전에 속한 태그를 업데이트하는 방법을 보여줍니다.

collection.tags += ["new-tag", "other-tag"]
collection.tags.append("new-tag")

collection.tags.extend(["new-tag", "other-tag"])
collection.tags[:] = ["new-tag", "other-tag"]
collection.tags.remove("existing-tag")
collection.tags.pop()
collection.tags.clear()

컬렉션에 속한 태그 보기

W&B App UI를 사용하여 컬렉션에 추가된 태그를 봅니다.

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.

컬렉션에 하나 이상의 태그가 있는 경우 태그 필드 옆의 컬렉션 카드 내에서 해당 태그를 볼 수 있습니다.

컬렉션에 추가된 태그는 해당 컬렉션 이름 옆에도 나타납니다.

예를 들어, 다음 이미지에서 “tag1"이라는 태그가 “zoo-dataset-tensors” 컬렉션에 추가되었습니다.

컬렉션에서 태그 제거

W&B App UI를 사용하여 컬렉션에서 태그를 제거합니다.

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.
4. 컬렉션 카드 내에서 제거하려는 태그 이름 위로 마우스를 가져갑니다.
5. 취소 버튼(X 아이콘)을 클릭합니다.

아티팩트 버전에 태그 추가

W&B App UI 또는 Python SDK를 사용하여 컬렉션에 연결된 아티팩트 버전에 태그를 추가합니다.

• W&B App
• Python SDK

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 태그를 추가하려는 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.
4. 버전으로 스크롤합니다.
5. 아티팩트 버전 옆에 있는 보기를 클릭합니다.
6. 버전 탭 내에서 태그 필드 옆에 있는 더하기 아이콘(+)을 클릭하고 태그 이름을 입력합니다.
7. 키보드에서 Enter 키를 누릅니다.

태그를 추가하거나 업데이트하려는 아티팩트 버전을 가져옵니다. 아티팩트 버전을 가져왔으면 아티팩트 오브젝트의 tag 속성에 액세스하여 해당 아티팩트에 태그를 추가하거나 수정할 수 있습니다. 하나 이상의 태그를 목록으로 아티팩트의 tag 속성에 전달합니다.

다른 Artifacts와 마찬가지로 run을 생성하지 않고도 W&B에서 Artifact를 가져오거나 run을 생성하고 해당 run 내에서 Artifact를 가져올 수 있습니다. 어느 경우든 W&B 서버에서 Artifact를 업데이트하려면 Artifact 오브젝트의 save 메소드를 호출해야 합니다.

아래의 적절한 코드 셀을 복사하여 붙여넣어 아티팩트 버전의 태그를 추가하거나 수정합니다. <> 안의 값을 자신의 값으로 바꿉니다.

다음 코드 조각은 새 run을 생성하지 않고 Artifact를 가져와서 태그를 추가하는 방법을 보여줍니다.

import wandb

ARTIFACT_TYPE = "<TYPE>"
ORG_NAME = "<org_name>"
REGISTRY_NAME = "<registry_name>"
COLLECTION_NAME = "<collection_name>"
VERSION = "<artifact_version>"

artifact_name = f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"

artifact = wandb.Api().artifact(name = artifact_name, type = ARTIFACT_TYPE)
artifact.tags = ["tag2"] # 목록에 하나 이상의 태그 제공
artifact.save()

다음 코드 조각은 새 run을 생성하여 Artifact를 가져와서 태그를 추가하는 방법을 보여줍니다.

import wandb

ORG_NAME = "<org_name>"
REGISTRY_NAME = "<registry_name>"
COLLECTION_NAME = "<collection_name>"
VERSION = "<artifact_version>"

run = wandb.init(entity = "<entity>", project="<project>")

artifact_name = f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"

artifact = run.use_artifact(artifact_or_name = artifact_name)
artifact.tags = ["tag2"] # 목록에 하나 이상의 태그 제공
artifact.save()

아티팩트 버전에 속한 태그 업데이트

tags 속성을 재할당하거나 변경하여 프로그래밍 방식으로 태그를 업데이트합니다. W&B는 제자리 변경 대신 tags 속성을 재할당하는 것을 권장하며, 이는 좋은 Python 방식입니다.

예를 들어, 다음 코드 조각은 재할당을 통해 목록을 업데이트하는 일반적인 방법을 보여줍니다. 간결성을 위해 아티팩트 버전에 태그 추가 섹션의 코드 예제를 계속합니다.

artifact.tags = [*artifact.tags, "new-tag", "other-tag"]
artifact.tags = artifact.tags + ["new-tag", "other-tag"]

artifact.tags = set(artifact.tags) - set(tags_to_delete)
artifact.tags = []  # deletes all tags

다음 코드 조각은 제자리 변경을 사용하여 아티팩트 버전에 속한 태그를 업데이트하는 방법을 보여줍니다.

artifact.tags += ["new-tag", "other-tag"]
artifact.tags.append("new-tag")

artifact.tags.extend(["new-tag", "other-tag"])
artifact.tags[:] = ["new-tag", "other-tag"]
artifact.tags.remove("existing-tag")
artifact.tags.pop()
artifact.tags.clear()

아티팩트 버전에 속한 태그 보기

W&B App UI 또는 Python SDK를 사용하여 레지스트리에 연결된 아티팩트 버전에 속한 태그를 봅니다.

• W&B App
• Python SDK

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 태그를 추가하려는 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.
4. 버전 섹션으로 스크롤합니다.

아티팩트 버전에 하나 이상의 태그가 있는 경우 태그 열 내에서 해당 태그를 볼 수 있습니다.

태그를 보려면 아티팩트 버전을 가져옵니다. 아티팩트 버전을 가져왔으면 아티팩트 오브젝트의 tag 속성을 확인하여 해당 아티팩트에 속한 태그를 볼 수 있습니다.

다른 Artifacts와 마찬가지로 run을 생성하지 않고도 W&B에서 Artifact를 가져오거나 run을 생성하고 해당 run 내에서 Artifact를 가져올 수 있습니다.

아래의 적절한 코드 셀을 복사하여 붙여넣어 아티팩트 버전의 태그를 추가하거나 수정합니다. <> 안의 값을 자신의 값으로 바꿉니다.

다음 코드 조각은 새 run을 생성하지 않고 아티팩트 버전의 태그를 가져와서 보는 방법을 보여줍니다.

import wandb

ARTIFACT_TYPE = "<TYPE>"
ORG_NAME = "<org_name>"
REGISTRY_NAME = "<registry_name>"
COLLECTION_NAME = "<collection_name>"
VERSION = "<artifact_version>"

artifact_name = f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"

artifact = wandb.Api().artifact(name = artifact_name, type = artifact_type)
print(artifact.tags)

다음 코드 조각은 새 run을 생성하여 아티팩트 버전의 태그를 가져와서 보는 방법을 보여줍니다.

import wandb

ORG_NAME = "<org_name>"
REGISTRY_NAME = "<registry_name>"
COLLECTION_NAME = "<collection_name>"
VERSION = "<artifact_version>"

run = wandb.init(entity = "<entity>", project="<project>")

artifact_name = f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"

artifact = run.use_artifact(artifact_or_name = artifact_name)
print(artifact.tags)

아티팩트 버전에서 태그 제거

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 태그를 추가하려는 컬렉션 이름 옆에 있는 세부 정보 보기를 클릭합니다.
4. 버전으로 스크롤합니다.
5. 아티팩트 버전 옆에 있는 보기를 클릭합니다.
6. 버전 탭 내에서 태그 이름 위로 마우스를 가져갑니다.
7. 취소 버튼(X 아이콘)을 클릭합니다.

기존 태그 검색

W&B App UI를 사용하여 컬렉션 및 아티팩트 버전에서 기존 태그를 검색합니다.

1. W&B Registry(https://wandb.ai/registry)로 이동합니다.
2. 레지스트리 카드를 클릭합니다.
3. 검색 창에 태그 이름을 입력합니다.

특정 태그가 있는 아티팩트 버전 찾기

W&B Python SDK를 사용하여 태그 집합이 있는 아티팩트 버전을 찾습니다.

import wandb

api = wandb.Api()
tagged_artifact_versions = api.artifacts(
    type_name = "<artifact_type>",
    name = "<artifact_name>",
    tags = ["<tag_1>", "<tag_2>"]
)

for artifact_version in tagged_artifact_versions:
    print(artifact_version.tags)

3.9 - Annotate collections

컬렉션에 사람이 읽기 쉬운 텍스트를 추가하여 사용자가 컬렉션의 목적과 컬렉션에 포함된 아티팩트를 이해하는 데 도움이 되도록 하세요.

컬렉션에 따라 트레이닝 데이터, 모델 아키텍처, 작업, 라이선스, 참조 및 배포에 대한 정보를 포함할 수 있습니다. 다음은 컬렉션에 문서화할 가치가 있는 몇 가지 주제를 나열한 것입니다.

W&B는 최소한 다음 세부 정보를 포함할 것을 권장합니다.

• 요약: 컬렉션의 목적. 기계 학습 실험에 사용된 기계 학습 프레임워크.
• 라이선스: 기계 학습 모델 사용과 관련된 법적 조건 및 권한. 모델 사용자가 모델을 활용할 수 있는 법적 프레임워크를 이해하는 데 도움이 됩니다. 일반적인 라이선스에는 Apache 2.0, MIT 및 GPL이 있습니다.
• 참조: 관련 연구 논문, 데이터셋 또는 외부 리소스에 대한 인용 또는 참조.

컬렉션에 트레이닝 데이터가 포함된 경우 다음 추가 세부 정보를 포함하는 것을 고려하십시오.

• 트레이닝 데이터: 사용된 트레이닝 데이터에 대해 설명합니다.
• 처리: 트레이닝 데이터 세트에서 수행된 처리.
• 데이터 저장소: 해당 데이터가 저장된 위치 및 엑세스 방법.

컬렉션에 기계 학습 모델이 포함된 경우 다음 추가 세부 정보를 포함하는 것을 고려하십시오.

• 아키텍처: 모델 아키텍처, 레이어 및 특정 설계 선택에 대한 정보.
• 작업: 컬렉션 모델이 수행하도록 설계된 특정 유형의 작업 또는 문제. 모델의 의도된 기능을 분류한 것입니다.
• 모델 역직렬화: 팀의 누군가가 모델을 메모리에 로드할 수 있는 방법에 대한 정보를 제공합니다.
• 작업: 기계 학습 모델이 수행하도록 설계된 특정 유형의 작업 또는 문제입니다. 모델의 의도된 기능을 분류한 것입니다.
• 배포: 모델이 배포되는 방식 및 위치에 대한 세부 정보와 모델을 워크플로우 오케스트레이션 플랫폼과 같은 다른 엔터프라이즈 시스템에 통합하는 방법에 대한 지침.

컬렉션에 대한 설명 추가

W&B Registry UI 또는 Python SDK를 사용하여 컬렉션에 대한 설명을 대화형으로 또는 프로그래밍 방식으로 추가합니다.

• W&B Registry UI
• Python SDK

wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}

import wandb

api = wandb.Api()

collection = api.artifact_collection(
  type_name = "<collection_type>", 
  name = "<collection_name>"
  )


collection.description = "This is a description."
collection.save()  

예를 들어 다음 이미지는 모델 아키텍처, 용도, 성능 정보 등을 문서화하는 컬렉션을 보여줍니다.

3.10 - Create and view lineage maps

W&B 레지스트리의 컬렉션 내에서 ML 실험에서 사용하는 아티팩트의 이력을 볼 수 있습니다. 이 이력을 계보 그래프 라고 합니다.

계보 그래프는 아티팩트를 기록하는 특정 run을 보여줄 수 있습니다. 또한 계보 그래프는 어떤 run이 아티팩트를 입력으로 사용했는지도 보여줄 수 있습니다. 다시 말해, 계보 그래프는 run의 입력과 출력을 보여줄 수 있습니다.

예를 들어, 다음 이미지는 ML 실험 전체에서 생성되고 사용된 아티팩트를 보여줍니다.

왼쪽에서 오른쪽으로 이미지는 다음을 보여줍니다.

1. 여러 개의 run이 split_zoo_dataset:v4 아티팩트를 기록합니다.
2. “rural-feather-20” run은 트레이닝을 위해 split_zoo_dataset:v4 아티팩트를 사용합니다.
3. “rural-feather-20” run의 출력은 zoo-ylbchv20:v0이라는 모델 아티팩트입니다.
4. “northern-lake-21"이라는 run은 모델을 평가하기 위해 모델 아티팩트 zoo-ylbchv20:v0을 사용합니다.

run의 입력 추적

wandb.init.use_artifact API를 사용하여 아티팩트를 run의 입력 또는 종속성으로 표시합니다.

다음 코드 조각은 use_artifact를 사용하는 방법을 보여줍니다. 꺾쇠 괄호(<>)로 묶인 값을 사용자의 값으로 바꿉니다.

import wandb

# run 초기화
run = wandb.init(project="<project>", entity="<entity>")

# 아티팩트를 가져오고 종속성으로 표시
artifact = run.use_artifact(artifact_or_name="<name>", aliases="<alias>")

run의 출력 추적

(wandb.init.log_artifact)를 사용하여 아티팩트를 run의 출력으로 선언합니다.

다음 코드 조각은 wandb.init.log_artifact API를 사용하는 방법을 보여줍니다. 꺾쇠 괄호(<>)로 묶인 값을 사용자의 값으로 바꾸십시오.

import wandb

# run 초기화
run = wandb.init(entity  "<entity>", project = "<project>",)
artifact = wandb.Artifact(name = "<artifact_name>", type = "<artifact_type>")
artifact.add_file(local_path = "<local_filepath>", name="<optional-name>")

# 아티팩트를 run의 출력으로 기록
run.log_artifact(artifact_or_path = artifact)

아티팩트 생성에 대한 자세한 내용은 아티팩트 생성을 참조하십시오.

컬렉션에서 계보 그래프 보기

W&B 레지스트리에서 컬렉션에 연결된 아티팩트의 계보를 봅니다.

1. W&B 레지스트리로 이동합니다.
2. 아티팩트가 포함된 컬렉션을 선택합니다.
3. 드롭다운에서 계보 그래프를 보려는 아티팩트 버전을 클릭합니다.
4. “계보” 탭을 선택합니다.

아티팩트의 계보 그래프 페이지에 있으면 해당 계보 그래프의 모든 노드에 대한 추가 정보를 볼 수 있습니다.

run 노드를 선택하여 run의 ID, run의 이름, run의 상태 등과 같은 run의 세부 정보를 봅니다. 예를 들어, 다음 이미지는 rural-feather-20 run에 대한 정보를 보여줍니다.

아티팩트 노드를 선택하여 전체 이름, 유형, 생성 시간 및 관련 에일리어스와 같은 해당 아티팩트의 세부 정보를 봅니다.

3.11 - Migrate from legacy Model Registry

W&B는 기존 W&B Model Registry의 자산을 새로운 W&B Registry로 이전할 예정입니다. 이 마이그레이션은 W&B에서 완전히 관리하고 트리거하며, 사용자 의 개입은 필요하지 않습니다. 이 프로세스는 기존 워크플로우의 중단을 최소화하면서 최대한 원활하게 진행되도록 설계되었습니다.

이전은 새로운 W&B Registry에 Model Registry에서 현재 사용할 수 있는 모든 기능이 포함되면 진행됩니다. W&B는 현재 워크플로우, 코드 베이스 및 레퍼런스를 보존하려고 노력할 것입니다.

이 가이드 는 살아있는 문서이며 더 많은 정보를 사용할 수 있게 되면 정기적으로 업데이트됩니다. 질문이나 지원이 필요하면 support@wandb.com으로 문의하십시오.

W&B Registry는 기존 Model Registry와 어떻게 다른가요?

W&B Registry는 모델, 데이터 셋 및 기타 Artifacts 관리 를 위한 보다 강력하고 유연한 환경을 제공하도록 설계된 다양한 새로운 기능과 개선 사항을 제공합니다.

기존 Model Registry 를 보려면 W&B App에서 Model Registry로 이동하십시오. 페이지 상단에 기존 Model Registry App UI를 사용할 수 있도록 하는 배너가 나타납니다.

조직 가시성

기존 Model Registry에 연결된 Artifacts는 팀 수준의 가시성을 갖습니다. 즉, 팀 멤버 만이 기존 W&B Model Registry에서 Artifacts를 볼 수 있습니다. W&B Registry는 조직 수준의 가시성을 갖습니다. 즉, 올바른 권한을 가진 조직 전체의 멤버는 레지스트리에 연결된 Artifacts를 볼 수 있습니다.

레지스트리에 대한 가시성 제한

사용자 정의 레지스트리를 보고 액세스할 수 있는 사용자를 제한합니다. 사용자 정의 레지스트리를 만들 때 또는 사용자 정의 레지스트리를 만든 후에 레지스트리에 대한 가시성을 제한할 수 있습니다. 제한된 레지스트리에서는 선택된 멤버만 콘텐츠에 액세스하여 개인 정보 보호 및 제어를 유지할 수 있습니다. 레지스트리 가시성에 대한 자세한 내용은 레지스트리 가시성 유형을 참조하십시오.

사용자 정의 레지스트리 만들기

기존 Model Registry와 달리 W&B Registry는 Models 또는 데이터셋 레지스트리에만 국한되지 않습니다. 특정 워크플로우 또는 프로젝트 요구 사항에 맞게 조정된 사용자 정의 레지스트리를 만들어 임의의 오브젝트 유형을 담을 수 있습니다. 이러한 유연성을 통해 팀은 고유한 요구 사항에 따라 Artifacts를 구성하고 관리할 수 있습니다. 사용자 정의 레지스트리를 만드는 방법에 대한 자세한 내용은 사용자 정의 레지스트리 만들기를 참조하십시오.

사용자 정의 엑세스 제어

각 레지스트리는 멤버에게 관리자, 멤버 또는 뷰어와 같은 특정 역할을 할당할 수 있는 자세한 엑세스 제어를 지원합니다. 관리자는 멤버 추가 또는 제거, 역할 설정 및 가시성 구성 을 포함하여 레지스트리 설정을 관리할 수 있습니다. 이를 통해 팀은 레지스트리에서 Artifacts를 보고, 관리하고, 상호 작용할 수 있는 사용자를 제어할 수 있습니다.

용어 업데이트

Registered Models는 이제 컬렉션이라고 합니다.

변경 사항 요약

마이그레이션 준비

W&B는 Registered Models(현재 컬렉션이라고 함) 및 관련 아티팩트 버전을 기존 Model Registry에서 W&B Registry로 마이그레이션합니다. 이 프로세스는 자동으로 수행되며 사용자 의 조치가 필요하지 않습니다.

팀 가시성에서 조직 가시성으로

마이그레이션 후 모델 레지스트리는 조직 수준의 가시성을 갖습니다. 역할 할당을 통해 레지스트리에 액세스할 수 있는 사용자를 제한할 수 있습니다. 이를 통해 특정 멤버만 특정 레지스트리에 액세스할 수 있습니다.

마이그레이션은 기존 W&B Model Registry에서 현재 팀 수준으로 등록된 모델(곧 컬렉션이라고 함)의 기존 권한 경계를 유지합니다. 기존 Model Registry에 현재 정의된 권한은 새 레지스트리에서 보존됩니다. 즉, 현재 특정 팀 멤버 로 제한된 컬렉션은 마이그레이션 중과 후에 보호됩니다.

Artifacts 경로 연속성

현재 필요한 조치는 없습니다.

마이그레이션 중

W&B가 마이그레이션 프로세스를 시작합니다. 마이그레이션은 W&B 서비스의 중단을 최소화하는 시간대에 발생합니다. 마이그레이션이 시작되면 기존 Model Registry는 읽기 전용 상태로 전환되고 참조용으로 액세스할 수 있습니다.

마이그레이션 후

마이그레이션 후 컬렉션, Artifacts 버전 및 관련 속성은 새로운 W&B Registry 내에서 완전히 액세스할 수 있습니다. 현재 워크플로우가 그대로 유지되도록 보장하는 데 중점을 두고 있으며, 변경 사항을 탐색하는 데 도움이 되는 지속적인 지원이 제공됩니다.

새로운 레지스트리 사용

사용자는 W&B Registry에서 사용할 수 있는 새로운 기능과 기능을 탐색하는 것이 좋습니다. 레지스트리는 현재 의존하는 기능을 지원할 뿐만 아니라 사용자 정의 레지스트리, 향상된 가시성 및 유연한 엑세스 제어와 같은 향상된 기능도 제공합니다.

W&B Registry를 조기에 사용해 보거나, 기존 W&B Model Registry가 아닌 레지스트리로 시작하는 것을 선호하는 새로운 사용자를 위해 지원이 제공됩니다. 이 기능을 활성화하려면 support@wandb.com 또는 영업 MLE에 문의하십시오. 초기 마이그레이션은 BETA 버전으로 진행됩니다. W&B Registry의 BETA 버전에는 기존 Model Registry의 모든 기능 또는 특징이 없을 수 있습니다.

자세한 내용과 W&B Registry의 전체 기능 범위에 대해 알아보려면 W&B Registry 가이드를 방문하십시오.

FAQ

W&B가 Model Registry에서 W&B Registry로 자산을 마이그레이션하는 이유는 무엇입니까?

W&B는 새로운 레지스트리를 통해 보다 고급 기능과 기능을 제공하기 위해 플랫폼을 발전시키고 있습니다. 이 마이그레이션은 Models, 데이터 셋 및 기타 Artifacts 관리를 위한 보다 통합되고 강력한 툴 세트를 제공하기 위한 단계입니다.

마이그레이션 전에 수행해야 할 작업은 무엇입니까?

마이그레이션 전에 사용자 의 조치가 필요하지 않습니다. W&B는 워크플로우와 레퍼런스가 보존되도록 전환을 처리합니다.

모델 Artifacts에 대한 액세스 권한이 손실됩니까?

아니요, 모델 Artifacts에 대한 액세스 권한은 마이그레이션 후에도 유지됩니다. 기존 Model Registry는 읽기 전용 상태로 유지되고 모든 관련 데이터는 새 레지스트리로 마이그레이션됩니다.

Artifacts와 관련된 메타데이터가 보존됩니까?

예, Artifacts 생성, 계보 및 기타 속성과 관련된 중요한 메타데이터는 마이그레이션 중에 보존됩니다. 사용자는 마이그레이션 후에도 모든 관련 메타데이터에 계속 액세스할 수 있으므로 Artifacts의 무결성과 추적 가능성이 유지됩니다.

도움이 필요하면 누구에게 연락해야 합니까?

질문이나 우려 사항이 있는 경우 지원을 받을 수 있습니다. 지원이 필요하면 support@wandb.com으로 문의하십시오.

3.12 - Model registry

W&B Model Registry는 팀의 트레이닝된 모델을 보관하는 곳으로, ML 전문가가 프로덕션 후보를 게시하여 다운스트림 팀과 이해 관계자가 사용할 수 있습니다. 스테이징된/후보 모델을 보관하고 스테이징과 관련된 워크플로우를 관리하는 데 사용됩니다.

W&B Model Registry를 사용하면 다음을 수행할 수 있습니다.

• 각 기계 학습 작업에 대해 가장 적합한 모델 버전을 북마크합니다.
• 다운스트림 프로세스 및 모델 CI/CD를 자동화합니다.
• 모델 버전을 ML 라이프사이클(스테이징에서 프로덕션)을 거쳐 이동합니다.
• 모델의 계보를 추적하고 프로덕션 모델에 대한 변경 이력을 감사합니다.

작동 방식

몇 가지 간단한 단계를 통해 스테이징된 모델을 추적하고 관리합니다.

1. 모델 버전 로깅: 트레이닝 스크립트에서 몇 줄의 코드를 추가하여 모델 파일을 아티팩트 로 W&B에 저장합니다.
2. 성능 비교: 라이브 차트를 확인하여 모델 트레이닝 및 유효성 검사에서 메트릭 과 샘플 예측값을 비교합니다. 어떤 모델 버전이 가장 성능이 좋았는지 식별합니다.
3. 레지스트리에 연결: Python에서 프로그래밍 방식으로 또는 W&B UI에서 대화식으로 등록된 모델에 연결하여 최상의 모델 버전을 북마크합니다.

다음 코드 조각은 모델을 Model Registry에 로깅하고 연결하는 방법을 보여줍니다.

import wandb
import random

# Start a new W&B run
run = wandb.init(project="models_quickstart")

# Simulate logging model metrics
run.log({"acc": random.random()})

# Create a simulated model file
with open("my_model.h5", "w") as f:
    f.write("Model: " + str(random.random()))

# Log and link the model to the Model Registry
run.link_model(path="./my_model.h5", registered_model_name="MNIST")

run.finish()

4. 모델 전환을 CI/CD 워크플로우에 연결: 웹훅을 사용하여 워크플로우 단계를 통해 후보 모델을 전환하고 다운스트림 작업 자동화합니다.

시작 방법

유스 케이스에 따라 다음 리소스를 탐색하여 W&B Models를 시작하십시오.

• 2부작 비디오 시리즈를 확인하세요.
  1. 모델 로깅 및 등록
  2. Model Registry에서 모델 사용 및 다운스트림 프로세스 자동화.
• W&B Python SDK 코맨드에 대한 단계별 개요는 모델 둘러보기를 읽어보세요. 이를 통해 데이터셋 아티팩트 를 생성, 추적 및 사용할 수 있습니다.
• 다음에 대해 알아보세요.
  • 보호된 모델 및 엑세스 제어.
  • 레지스트리를 CI/CD 프로세스에 연결하는 방법.
  • 새 모델 버전이 등록된 모델에 연결되면 Slack 알림을 설정합니다.
• Model Registry가 ML 워크플로우에 어떻게 적합하고 모델 관리에 사용하는 이점에 대한 [이] (https://wandb.ai/wandb_fc/model-registry-reports/reports/What-is-an-ML-Model-Registry---Vmlldzo1MTE5MjYx) 리포트 를 검토합니다.
• W&B Enterprise Model Management 코스를 수강하고 다음 방법을 배우세요.
  • W&B Model Registry를 사용하여 모델을 관리 및 버전 관리하고, 계보를 추적하고, 다양한 라이프사이클 단계를 거쳐 모델을 승격합니다.
  • 웹훅을 사용하여 모델 관리 워크플로우를 자동화합니다.
  • 모델 평가, 모니터링 및 배포를 위해 Model Registry가 모델 개발 라이프사이클의 외부 ML 시스템 및 툴 과 어떻게 통합되는지 확인하세요.

3.12.1 - Tutorial: Use W&B for model management

다음 가이드에서는 W&B에 모델을 기록하는 방법을 안내합니다. 이 가이드가 끝나면 다음을 수행할 수 있습니다.

• MNIST 데이터셋과 Keras 프레임워크를 사용하여 모델을 만들고 트레이닝합니다.
• 트레이닝한 모델을 W&B project에 기록합니다.
• 사용된 데이터셋을 생성한 모델의 종속성으로 표시합니다.
• 해당 모델을 W&B Registry에 연결합니다.
• 레지스트리에 연결한 모델의 성능을 평가합니다.
• 모델 버전을 프로덕션 준비 완료로 표시합니다.

설정

시작하기 전에 이 가이드에 필요한 Python 종속성을 가져옵니다.

import wandb
import numpy as np
from tensorflow import keras
from tensorflow.keras import layers
from wandb.integration.keras import WandbMetricsLogger
from sklearn.model_selection import train_test_split

W&B entity를 entity 변수에 제공합니다.

entity = "<entity>"

데이터셋 아티팩트 생성

먼저 데이터셋을 만듭니다. 다음 코드 조각은 MNIST 데이터셋을 다운로드하는 함수를 생성합니다.

def generate_raw_data(train_size=6000):
    eval_size = int(train_size / 6)
    (x_train, y_train), (x_eval, y_eval) = keras.datasets.mnist.load_data()

    x_train = x_train.astype("float32") / 255
    x_eval = x_eval.astype("float32") / 255
    x_train = np.expand_dims(x_train, -1)
    x_eval = np.expand_dims(x_eval, -1)

    print("Generated {} rows of training data.".format(train_size))
    # 트레이닝 데이터 {}행 생성됨.
    print("Generated {} rows of eval data.".format(eval_size))
    # 평가 데이터 {}행 생성됨.

    return (x_train[:train_size], y_train[:train_size]), (
        x_eval[:eval_size],
        y_eval[:eval_size],
    )

# 데이터셋 생성
(x_train, y_train), (x_eval, y_eval) = generate_raw_data()

다음으로 데이터셋을 W&B에 업로드합니다. 이렇게 하려면 artifact 오브젝트를 생성하고 해당 아티팩트에 데이터셋을 추가합니다.

project = "model-registry-dev"

model_use_case_id = "mnist"
job_type = "build_dataset"

# W&B run 초기화
run = wandb.init(entity=entity, project=project, job_type=job_type)

# 트레이닝 데이터를 위한 W&B 테이블 생성
train_table = wandb.Table(data=[], columns=[])
train_table.add_column("x_train", x_train)
train_table.add_column("y_train", y_train)
train_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_train"])})

# 평가 데이터를 위한 W&B 테이블 생성
eval_table = wandb.Table(data=[], columns=[])
eval_table.add_column("x_eval", x_eval)
eval_table.add_column("y_eval", y_eval)
eval_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_eval"])})

# 아티팩트 오브젝트 생성
artifact_name = "{}_dataset".format(model_use_case_id)
artifact = wandb.Artifact(name=artifact_name, type="dataset")

# wandb.WBValue obj를 아티팩트에 추가
artifact.add(train_table, "train_table")
artifact.add(eval_table, "eval_table")

# 아티팩트에 대한 변경 사항을 유지합니다.
artifact.save()

# W&B에 이 run이 완료되었음을 알립니다.
run.finish()

모델 트레이닝

이전 단계에서 생성한 아티팩트 데이터셋으로 모델을 트레이닝합니다.

데이터셋 아티팩트를 run에 대한 입력으로 선언

이전 단계에서 생성한 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언합니다. 아티팩트를 run에 대한 입력으로 선언하면 특정 모델을 트레이닝하는 데 사용된 데이터셋(및 데이터셋 버전)을 추적할 수 있으므로 모델 로깅 컨텍스트에서 특히 유용합니다. W&B는 수집된 정보를 사용하여 lineage map을 만듭니다.

use_artifact API를 사용하여 데이터셋 아티팩트를 run의 입력으로 선언하고 아티팩트 자체를 검색합니다.

job_type = "train_model"
config = {
    "optimizer": "adam",
    "batch_size": 128,
    "epochs": 5,
    "validation_split": 0.1,
}

# W&B run 초기화
run = wandb.init(project=project, job_type=job_type, config=config)

# 데이터셋 아티팩트 검색
version = "latest"
name = "{}:{}".format("{}_dataset".format(model_use_case_id), version)
artifact = run.use_artifact(artifact_or_name=name)

# 데이터프레임에서 특정 콘텐츠 가져오기
train_table = artifact.get("train_table")
x_train = train_table.get_column("x_train", convert_to="numpy")
y_train = train_table.get_column("y_train", convert_to="numpy")

모델의 입력 및 출력 추적에 대한 자세한 내용은 모델 계보 맵 만들기를 참조하세요.

모델 정의 및 트레이닝

이 가이드에서는 Keras를 사용하여 MNIST 데이터셋의 이미지를 분류하기 위해 2D Convolutional Neural Network (CNN)를 정의합니다.

# 구성 사전의 값을 변수에 저장하여 쉽게 엑세스
num_classes = 10
input_shape = (28, 28, 1)
loss = "categorical_crossentropy"
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
batch_size = run.config["batch_size"]
epochs = run.config["epochs"]
validation_split = run.config["validation_split"]

# 모델 아키텍처 생성
model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)
model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# 트레이닝 데이터에 대한 레이블 생성
y_train = keras.utils.to_categorical(y_train, num_classes)

# 트레이닝 및 테스트 세트 생성
x_t, x_v, y_t, y_v = train_test_split(x_train, y_train, test_size=0.33)

# 모델 트레이닝
model.fit(
    x=x_t,
    y=y_t,
    batch_size=batch_size,
    epochs=epochs,
    validation_data=(x_v, y_v),
    callbacks=[WandbCallback(log_weights=True, log_evaluation=True)],
)

# 모델을 로컬에 저장
path = "model.h5"
model.save(path)

모델을 Model Registry에 로깅하고 연결

link_model API를 사용하여 하나 이상의 모델 파일을 W&B run에 로깅하고 W&B Model Registry에 연결합니다.

path = "./model.h5"
registered_model_name = "MNIST-dev"

run.link_model(path=path, registered_model_name=registered_model_name)
run.finish()

registered-model-name에 대해 지정한 이름이 아직 존재하지 않으면 W&B가 registered model을 생성합니다.

선택적 파라미터에 대한 자세한 내용은 API Reference 가이드의 link_model을 참조하세요.

모델 성능 평가

하나 이상의 모델의 성능을 평가하는 것이 일반적인 방법입니다.

먼저 이전 단계에서 W&B에 저장된 평가 데이터셋 아티팩트를 가져옵니다.

job_type = "evaluate_model"

# run 초기화
run = wandb.init(project=project, entity=entity, job_type=job_type)

model_use_case_id = "mnist"
version = "latest"

# 데이터셋 아티팩트를 가져오고 종속성으로 표시합니다.
artifact = run.use_artifact(
    "{}:{}".format("{}_dataset".format(model_use_case_id), version)
)

# 원하는 데이터프레임 가져오기
eval_table = artifact.get("eval_table")
x_eval = eval_table.get_column("x_eval", convert_to="numpy")
y_eval = eval_table.get_column("y_eval", convert_to="numpy")

평가할 W&B의 model version을 다운로드합니다. use_model API를 사용하여 모델에 엑세스하고 다운로드합니다.

alias = "latest"  # 에일리어스
name = "mnist_model"  # 모델 아티팩트 이름

# 모델에 엑세스하고 다운로드합니다. 다운로드한 아티팩트의 경로를 반환합니다.
downloaded_model_path = run.use_model(name=f"{name}:{alias}")

Keras 모델을 로드하고 손실을 계산합니다.

model = keras.models.load_model(downloaded_model_path)

y_eval = keras.utils.to_categorical(y_eval, 10)
(loss, _) = model.evaluate(x_eval, y_eval)
score = (loss, _)

마지막으로 손실 메트릭을 W&B run에 기록합니다.

# # 메트릭, 이미지, 테이블 또는 평가에 유용한 모든 데이터를 기록합니다.
run.log(data={"loss": (loss, _)})

모델 버전 승격

model alias를 사용하여 기계 학습 워크플로우의 다음 단계를 위해 모델 버전을 준비 완료로 표시합니다. 각 registered model에는 하나 이상의 model alias가 있을 수 있습니다. model alias는 한 번에 하나의 model version에만 속할 수 있습니다.

예를 들어, 모델의 성능을 평가한 후 모델이 프로덕션 준비가 되었다고 확신한다고 가정합니다. 해당 모델 버전을 승격하려면 해당 특정 model version에 production 에일리어스를 추가합니다.

W&B App UI를 사용하여 대화형으로 또는 Python SDK를 사용하여 프로그래밍 방식으로 model version에 에일리어스를 추가할 수 있습니다. 다음 단계에서는 W&B Model Registry App을 사용하여 에일리어스를 추가하는 방법을 보여줍니다.

1. https://wandb.ai/registry/model에서 Model Registry App으로 이동합니다.
2. registered model 이름 옆에 있는 View details를 클릭합니다.
3. Versions 섹션 내에서 승격하려는 model version 이름 옆에 있는 View 버튼을 클릭합니다.
4. Aliases 필드 옆에 있는 더하기 아이콘(+)을 클릭합니다.
5. 나타나는 필드에 production을 입력합니다.
6. 키보드에서 Enter 키를 누릅니다.

3.12.2 - Model Registry Terms and Concepts

다음 용어는 W&B Model Registry의 주요 구성 요소를 설명합니다. 모델 버전, 모델 아티팩트 및 등록된 모델.

Model version

모델 버전은 단일 모델 체크포인트를 나타냅니다. 모델 버전은 실험 내에서 특정 시점의 모델과 해당 파일의 스냅샷입니다.

모델 버전은 학습된 모델을 설명하는 데이터 및 메타데이터의 변경 불가능한 디렉토리입니다. W&B는 모델 아키텍처와 학습된 파라미터를 나중에 저장하고 복원할 수 있도록 모델 버전에 파일을 추가할 것을 제안합니다.

모델 버전은 하나의 model artifact에만 속합니다. 모델 버전은 0개 이상의 registered models에 속할 수 있습니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다. W&B는 (동일한 model artifact에) 기록하는 모델이 이전 모델 버전과 다른 콘텐츠를 가지고 있음을 감지하면 자동으로 새 모델 버전을 생성합니다.

모델링 라이브러리에서 제공하는 직렬화 프로세스에서 생성된 파일을 모델 버전 내에 저장합니다(예: PyTorch 및 Keras).

Model alias

모델 에일리어스는 등록된 모델에서 모델 버전을 의미적으로 관련된 식별자로 고유하게 식별하거나 참조할 수 있도록 하는 변경 가능한 문자열입니다. 에일리어스는 등록된 모델의 한 버전에만 할당할 수 있습니다. 이는 에일리어스가 프로그래밍 방식으로 사용될 때 고유한 버전을 참조해야 하기 때문입니다. 또한 에일리어스를 사용하여 모델의 상태(챔피언, 후보, production)를 캡처할 수 있습니다.

"best", "latest", "production" 또는 "staging"과 같은 에일리어스를 사용하여 특수 목적을 가진 모델 버전을 표시하는 것이 일반적입니다.

예를 들어 모델을 만들고 "best" 에일리어스를 할당한다고 가정합니다. run.use_model로 특정 모델을 참조할 수 있습니다.

import wandb
run = wandb.init()
name = f"{entity/project/model_artifact_name}:{alias}"
run.use_model(name=name)

Model tags

모델 태그는 하나 이상의 registered models에 속하는 키워드 또는 레이블입니다.

모델 태그를 사용하여 registered models를 카테고리로 구성하고 Model Registry의 검색 창에서 해당 카테고리를 검색합니다. 모델 태그는 Registered Model Card 상단에 나타납니다. ML 작업, 소유 팀 또는 우선 순위별로 registered models를 그룹화하는 데 사용할 수 있습니다. 그룹화를 위해 동일한 모델 태그를 여러 registered models에 추가할 수 있습니다.

Model artifact

Model artifact는 기록된 model versions의 모음입니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다.

Model artifact는 하나 이상의 모델 버전을 포함할 수 있습니다. 모델 버전을 기록하지 않으면 Model artifact는 비어 있을 수 있습니다.

예를 들어, Model artifact를 만든다고 가정합니다. 모델 트레이닝 중에 체크포인트 중에 모델을 주기적으로 저장합니다. 각 체크포인트는 자체 model version에 해당합니다. 모델 트레이닝 및 체크포인트 저장 중에 생성된 모든 모델 버전은 트레이닝 스크립트 시작 시 생성한 동일한 Model artifact에 저장됩니다.

다음 이미지는 v0, v1 및 v2의 세 가지 모델 버전을 포함하는 Model artifact를 보여줍니다.

예제 Model artifact here를 봅니다.

Registered model

Registered model은 모델 버전에 대한 포인터(링크) 모음입니다. Registered model을 동일한 ML 작업에 대한 후보 모델의 “북마크” 폴더라고 생각할 수 있습니다. Registered model의 각 “북마크"는 model artifact에 속한 model version에 대한 포인터입니다. Model tags를 사용하여 Registered models를 그룹화할 수 있습니다.

Registered models는 종종 단일 모델링 유스 케이스 또는 작업에 대한 후보 모델을 나타냅니다. 예를 들어 사용하는 모델을 기반으로 다양한 이미지 분류 작업에 대해 Registered model을 만들 수 있습니다. ImageClassifier-ResNet50, ImageClassifier-VGG16, DogBreedClassifier-MobileNetV2 등. 모델 버전은 Registered model에 연결된 순서대로 버전 번호가 할당됩니다.

예제 Registered Model here를 봅니다.

3.12.3 - Track a model

W&B Python SDK를 사용하여 모델, 모델의 종속성 및 해당 모델과 관련된 기타 정보를 추적합니다.

W&B는 내부적으로 모델 아티팩트의 계보를 생성하며, 이 계보는 W&B App UI 또는 W&B Python SDK를 통해 프로그래밍 방식으로 볼 수 있습니다. 자세한 내용은 모델 계보 맵 생성을 참조하세요.

모델을 기록하는 방법

run.log_model API를 사용하여 모델을 기록합니다. 모델 파일이 저장된 경로를 path 파라미터에 제공합니다. 경로는 로컬 파일, 디렉토리 또는 s3://bucket/path와 같은 외부 버킷에 대한 참조 URI일 수 있습니다.

선택적으로 name 파라미터에 대한 모델 아티팩트의 이름을 제공합니다. name이 지정되지 않은 경우 W&B는 run ID가 앞에 붙은 입력 경로의 기본 이름을 사용합니다.

다음 코드 조각을 복사하여 붙여넣습니다. <>로 묶인 값을 사용자 고유의 값으로 바꾸십시오.

import wandb

# W&B run 초기화
run = wandb.init(project="<project>", entity="<entity>")

# 모델 기록
run.log_model(path="<path-to-model>", name="<name>")

import os
import wandb
from tensorflow import keras
from tensorflow.keras import layers

config = {"optimizer": "adam", "loss": "categorical_crossentropy"}

# W&B run 초기화
run = wandb.init(entity="charlie", project="mnist-project", config=config)

# 트레이닝 알고리즘
loss = run.config["loss"]
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
num_classes = 10
input_shape = (28, 28, 1)

model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)

model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# 모델 저장
model_filename = "model.h5"
local_filepath = "./"
full_path = os.path.join(local_filepath, model_filename)
model.save(filepath=full_path)

# 모델 기록
run.log_model(path=full_path, name="MNIST")

# W&B에 run 종료를 명시적으로 알립니다.
run.finish()

3.12.4 - Create a registered model

등록된 모델을 생성하여 모델링 작업을 위한 모든 후보 모델을 보관하세요. Model Registry 내에서 대화식으로 또는 Python SDK를 사용하여 프로그래밍 방식으로 등록된 모델을 생성할 수 있습니다.

프로그래밍 방식으로 등록된 모델 생성

W&B Python SDK로 모델을 프로그래밍 방식으로 등록하세요. 등록된 모델이 존재하지 않으면 W&B가 자동으로 등록된 모델을 생성합니다.

<>로 묶인 다른 값들을 사용자의 값으로 바꾸세요:

import wandb

run = wandb.init(entity="<entity>", project="<project>")
run.link_model(path="<path-to-model>", registered_model_name="<registered-model-name>")
run.finish()

registered_model_name에 제공하는 이름은 Model Registry App에 나타나는 이름입니다.

대화식으로 등록된 모델 생성

Model Registry App 내에서 대화식으로 등록된 모델을 생성하세요.

1. https://wandb.ai/registry/model에서 Model Registry App으로 이동합니다.
2. Model Registry 페이지의 오른쪽 상단에 있는 New registered model 버튼을 클릭합니다.
3. 나타나는 패널에서 등록된 모델이 속할 엔터티를 Owning Entity 드롭다운에서 선택합니다.
4. Name 필드에 모델 이름을 입력합니다.
5. Type 드롭다운에서 등록된 모델에 연결할 아티팩트의 유형을 선택합니다.
6. (선택 사항) Description 필드에 모델에 대한 설명을 추가합니다.
7. (선택 사항) Tags 필드 내에서 하나 이상의 태그를 추가합니다.
8. Register model을 클릭합니다.

3.12.5 - Link a model version

W&B 앱 또는 Python SDK를 사용하여 모델 버전을 등록된 모델에 연결합니다.

프로그램으로 모델 연결하기

link_model 메소드를 사용하여 프로그램 방식으로 모델 파일을 W&B run에 로그하고 W&B Model Registry에 연결합니다.

<>로 묶인 다른 값들을 사용자 정의 값으로 바꾸십시오:

import wandb

run = wandb.init(entity="<entity>", project="<project>")
run.link_model(path="<path-to-model>", registered_model_name="<registered-model-name>")
run.finish()

registered-model-name 파라미터에 지정한 이름이 아직 존재하지 않는 경우, W&B가 등록된 모델을 생성합니다.

예를 들어, Model Registry에 “Fine-Tuned-Review-Autocompletion”(registered-model-name="Fine-Tuned-Review-Autocompletion")이라는 등록된 모델이 이미 있다고 가정합니다. 그리고 몇몇 모델 버전이 연결되어 있다고 가정합니다: v0, v1, v2. 새로운 모델을 프로그램 방식으로 연결하고 동일한 등록된 모델 이름(registered-model-name="Fine-Tuned-Review-Autocompletion")을 사용하면, W&B는 이 모델을 기존 등록된 모델에 연결하고 모델 버전 v3을 할당합니다. 이 이름으로 등록된 모델이 없으면 새로운 등록된 모델이 생성되고 모델 버전 v0을 갖게 됩니다.

“Fine-Tuned-Review-Autocompletion” 등록된 모델 예시를 참조하십시오.

대화형으로 모델 연결하기

Model Registry 또는 Artifact browser를 사용하여 대화형으로 모델을 연결합니다.

• Model Registry
• Artifact browser

1. Model Registry 앱(https://wandb.ai/registry/model)으로 이동합니다.
2. 새 모델을 연결하려는 등록된 모델 이름 옆에 마우스를 올려 놓습니다.
3. View details 옆에 있는 미트볼 메뉴 아이콘(가로 점 3개)을 선택합니다.
4. 드롭다운에서 Link new version을 선택합니다.
5. Project 드롭다운에서 모델이 포함된 프로젝트 이름을 선택합니다.
6. Model Artifact 드롭다운에서 모델 아티팩트 이름을 선택합니다.
7. Version 드롭다운에서 등록된 모델에 연결하려는 모델 버전을 선택합니다.

1. W&B 앱의 프로젝트 아티팩트 브라우저(https://wandb.ai/<entity>/<project>/artifacts)로 이동합니다.
2. 왼쪽 사이드바에서 Artifacts 아이콘을 선택합니다.
3. 레지스트리에 연결하려는 모델 버전을 클릭합니다.
4. Version overview 섹션 내에서 Link to registry 버튼을 클릭합니다.
5. 화면 오른쪽에 나타나는 모달에서 Select a register model 메뉴 드롭다운에서 등록된 모델을 선택합니다.
6. Next step을 클릭합니다.
7. (선택 사항) Aliases 드롭다운에서 에일리어스를 선택합니다.
8. Link to registry를 클릭합니다.

연결된 모델의 소스 보기

연결된 모델의 소스를 보는 방법은 두 가지가 있습니다: 모델이 로그된 프로젝트 내의 아티팩트 브라우저와 W&B Model Registry.

포인터는 모델 레지스트리의 특정 모델 버전을 소스 모델 아티팩트(모델이 로그된 프로젝트 내에 있음)에 연결합니다. 소스 모델 아티팩트에는 모델 레지스트리에 대한 포인터도 있습니다.

• Model Registry
• Artifact browser

1. 모델 레지스트리(https://wandb.ai/registry/model)로 이동합니다.
2. 등록된 모델 이름 옆에 있는 View details를 선택합니다.
3. Versions 섹션 내에서 조사하려는 모델 버전 옆에 있는 View를 선택합니다.
4. 오른쪽 패널 내에서 Version 탭을 클릭합니다.
5. Version overview 섹션 내에 Source Version 필드가 포함된 행이 있습니다. Source Version 필드는 모델 이름과 모델 버전을 모두 보여줍니다.

예를 들어, 다음 이미지는 MNIST-dev라는 등록된 모델에 연결된 v0 모델 버전 mnist_model을 보여줍니다( Source version 필드 mnist_model:v0 참조).

1. W&B 앱의 프로젝트 아티팩트 브라우저(https://wandb.ai/<entity>/<project>/artifacts)로 이동합니다.
2. 왼쪽 사이드바에서 Artifacts 아이콘을 선택합니다.
3. Artifacts 패널에서 model 드롭다운 메뉴를 확장합니다.
4. 모델 레지스트리에 연결된 모델의 이름과 버전을 선택합니다.
5. 오른쪽 패널 내에서 Version 탭을 클릭합니다.
6. Version overview 섹션 내에 Linked To 필드가 포함된 행이 있습니다. Linked To 필드는 등록된 모델 이름과 해당 버전(registered-model-name:version)을 모두 보여줍니다.

예를 들어, 다음 이미지에는 MNIST-dev라는 등록된 모델이 있습니다( Linked To 필드 참조). 버전 v0(mnist_model:v0)이 있는 mnist_model이라는 모델 버전은 MNIST-dev 등록된 모델을 가리킵니다.

3.12.6 - Organize models

모델 태그를 사용하여 등록된 모델을 범주로 정리하고 해당 범주를 검색합니다.

1. https://wandb.ai/registry/model 의 W&B Model Registry 앱으로 이동합니다.

2. 모델 태그를 추가할 등록된 모델 이름 옆에 있는 View details 를 선택합니다.

3. Model card 섹션으로 스크롤합니다.

4. Tags 필드 옆에 있는 더하기 버튼 (**) 를 클릭합니다.

5. 태그 이름을 입력하거나 기존 모델 태그를 검색합니다. 예를 들어 다음 이미지는 FineTuned-Review-Autocompletion 이라는 등록된 모델에 추가된 여러 모델 태그를 보여줍니다.

   

3.12.7 - Create model lineage map

이 페이지에서는 기존 W&B Model Registry에서 계보 그래프를 생성하는 방법을 설명합니다. W&B Registry의 계보 그래프에 대해 자세히 알아보려면 계보 맵 생성 및 보기를 참조하세요.

W&B에 모델 아티팩트를 로깅하는 유용한 기능은 계보 그래프입니다. 계보 그래프는 run에서 로깅한 아티팩트와 특정 run에서 사용한 아티팩트를 보여줍니다.

즉, 모델 아티팩트를 로깅할 때 최소한 모델 아티팩트를 사용하거나 생성한 W&B run을 볼 수 있습니다. 아티팩트 종속성 추적을 통해 모델 아티팩트에서 사용한 입력도 볼 수 있습니다.

예를 들어, 다음 이미지는 ML 실험 전반에 걸쳐 생성 및 사용된 아티팩트를 보여줍니다.

왼쪽에서 오른쪽으로 이미지는 다음을 보여줍니다.

1. jumping-monkey-1 W&B run은 mnist_dataset:v0 데이터셋 아티팩트를 생성했습니다.
2. vague-morning-5 W&B run은 mnist_dataset:v0 데이터셋 아티팩트를 사용하여 모델을 트레이닝했습니다. 이 W&B run의 출력은 mnist_model:v0라는 모델 아티팩트였습니다.
3. serene-haze-6이라는 run은 모델 아티팩트(mnist_model:v0)를 사용하여 모델을 평가했습니다.

아티팩트 종속성 추적

use_artifact API를 사용하여 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언하여 종속성을 추적합니다.

다음 코드 조각은 use_artifact API를 사용하는 방법을 보여줍니다.

# Initialize a run
run = wandb.init(project=project, entity=entity)

# Get artifact, mark it as a dependency
artifact = run.use_artifact(artifact_or_name="name", aliases="<alias>")

아티팩트를 검색한 후에는 해당 아티팩트를 사용하여 (예를 들어) 모델의 성능을 평가할 수 있습니다.

job_type = "train_model"

config = {
    "optimizer": "adam",
    "batch_size": 128,
    "epochs": 5,
    "validation_split": 0.1,
}

run = wandb.init(project=project, job_type=job_type, config=config)

version = "latest"
name = "{}:{}".format("{}_dataset".format(model_use_case_id), version)

artifact = run.use_artifact(name)

train_table = artifact.get("train_table")
x_train = train_table.get_column("x_train", convert_to="numpy")
y_train = train_table.get_column("y_train", convert_to="numpy")

# Store values from our config dictionary into variables for easy accessing
num_classes = 10
input_shape = (28, 28, 1)
loss = "categorical_crossentropy"
optimizer = run.config["optimizer"]
metrics = ["accuracy"]
batch_size = run.config["batch_size"]
epochs = run.config["epochs"]
validation_split = run.config["validation_split"]

# Create model architecture
model = keras.Sequential(
    [
        layers.Input(shape=input_shape),
        layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
        layers.MaxPooling2D(pool_size=(2, 2)),
        layers.Flatten(),
        layers.Dropout(0.5),
        layers.Dense(num_classes, activation="softmax"),
    ]
)
model.compile(loss=loss, optimizer=optimizer, metrics=metrics)

# Generate labels for training data
y_train = keras.utils.to_categorical(y_train, num_classes)

# Create training and test set
x_t, x_v, y_t, y_v = train_test_split(x_train, y_train, test_size=0.33)

# Train the model
model.fit(
    x=x_t,
    y=y_t,
    batch_size=batch_size,
    epochs=epochs,
    validation_data=(x_v, y_v),
    callbacks=[WandbCallback(log_weights=True, log_evaluation=True)],
)

# Save model locally
path = "model.h5"
model.save(path)

path = "./model.h5"
registered_model_name = "MNIST-dev"
name = "mnist_model"

run.link_model(path=path, registered_model_name=registered_model_name, name=name)
run.finish()

3.12.8 - Document machine learning model

등록된 모델의 모델 카드에 설명을 추가하여 머신러닝 모델의 여러 측면을 문서화하세요. 문서화할 가치가 있는 몇 가지 주제는 다음과 같습니다.

• 요약: 모델에 대한 요약입니다. 모델의 목적, 모델이 사용하는 머신러닝 프레임워크 등입니다.
• 트레이닝 데이터: 사용된 트레이닝 데이터, 트레이닝 데이터 세트에 대해 수행된 처리, 해당 데이터가 저장된 위치 등을 설명합니다.
• 아키텍처: 모델 아키텍처, 레이어 및 특정 설계 선택에 대한 정보입니다.
• 모델 역직렬화: 팀 구성원이 모델을 메모리에 로드하는 방법에 대한 정보를 제공합니다.
• Task: 머신러닝 모델이 수행하도록 설계된 특정 유형의 Task 또는 문제입니다. 모델의 의도된 기능을 분류한 것입니다.
• 라이선스: 머신러닝 모델 사용과 관련된 법적 조건 및 권한입니다. 이를 통해 모델 사용자는 모델을 활용할 수 있는 법적 프레임워크를 이해할 수 있습니다.
• 참조: 관련 연구 논문, 데이터셋 또는 외부 리소스에 대한 인용 또는 참조입니다.
• 배포: 모델이 배포되는 방식 및 위치에 대한 세부 정보와 워크플로우 오케스트레이션 플랫폼과 같은 다른 엔터프라이즈 시스템에 모델을 통합하는 방법에 대한 지침입니다.

모델 카드에 설명 추가

1. https://wandb.ai/registry/model의 W&B Model Registry 앱으로 이동합니다.
2. 모델 카드를 생성하려는 등록된 모델 이름 옆에 있는 세부 정보 보기를 선택합니다.
3. Model card 섹션으로 이동합니다.

3. Description 필드 내에 머신러닝 모델에 대한 정보를 제공합니다. Markdown 마크업 언어를 사용하여 모델 카드 내에서 텍스트 서식을 지정합니다.

예를 들어 다음 이미지는 신용카드 채무 불이행 예측 등록 모델의 모델 카드를 보여줍니다.

3.12.9 - Download a model version

W&B Python SDK를 사용하여 Model Registry에 연결한 모델 아티팩트를 다운로드합니다.

<> 안의 값을 직접 변경하세요:

import wandb

# run 초기화
run = wandb.init(project="<project>", entity="<entity>")

# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.
downloaded_model_path = run.use_model(name="<your-model-name>")

다음 형식 중 하나를 사용하여 모델 버전을 참조하세요:

• latest - 가장 최근에 연결된 모델 버전을 지정하려면 latest 에일리어스를 사용합니다.
• v# - Registered Model에서 특정 버전을 가져오려면 v0, v1, v2 등을 사용합니다.
• alias - 팀에서 모델 버전에 할당한 사용자 지정 에일리어스를 지정합니다.

가능한 파라미터 및 반환 유형에 대한 자세한 내용은 API Reference 가이드의 use_model을 참조하세요.