각 registry는 하나 이상의 컬렉션으로 구성됩니다. 각 컬렉션은 고유한 작업 또는 유스 케이스를 나타냅니다.
artifact를 registry에 추가하려면 먼저 특정 artifact 버전을 W&B에 기록합니다. artifact를 기록할 때마다 W&B는 해당 artifact에 버전을 자동으로 할당합니다. artifact 버전은 0부터 인덱싱되므로 첫 번째 버전은 v0, 두 번째 버전은 v1과 같습니다.
artifact를 W&B에 기록한 후에는 해당 특정 artifact 버전을 registry의 컬렉션에 연결할 수 있습니다.
“링크"라는 용어는 W&B가 artifact를 저장하는 위치와 registry에서 artifact에 엑세스할 수 있는 위치를 연결하는 포인터를 나타냅니다. W&B는 artifact를 컬렉션에 연결할 때 artifact를 복제하지 않습니다.
예를 들어, 다음 코드 예제는 “my_model.txt"라는 모델 artifact를 코어 registry의 “first-collection"이라는 컬렉션에 기록하고 연결하는 방법을 보여줍니다.
W&B run을 초기화합니다.
artifact를 W&B에 기록합니다.
artifact 버전을 연결할 컬렉션 및 registry의 이름을 지정합니다.
artifact를 컬렉션에 연결합니다.
이 Python 코드를 스크립트에 저장하고 실행합니다. W&B Python SDK 버전 0.18.6 이상이 필요합니다.
import wandb
import random
# track the artifact를 추적하기 위해 W&B run을 초기화합니다.run = wandb.init(project="registry_quickstart")
# 기록할 수 있도록 시뮬레이션된 모델 파일을 만듭니다.with open("my_model.txt", "w") as f:
f.write("Model: "+ str(random.random()))
# artifact를 W&B에 기록합니다.logged_artifact = run.log_artifact(
artifact_or_path="./my_model.txt",
name="gemma-finetuned",
type="model"# artifact 유형을 지정합니다.)
# artifact를 게시할 컬렉션 및 registry 이름을 지정합니다.COLLECTION_NAME ="first-collection"REGISTRY_NAME ="model"# artifact를 registry에 연결합니다.run.link_artifact(
artifact=logged_artifact,
target_path=f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}")
반환된 run 오브젝트의 link_artifact(target_path = "") 메소드에서 지정한 컬렉션이 지정한 registry 내에 없는 경우 W&B는 자동으로 컬렉션을 만듭니다.
터미널에 출력되는 URL은 W&B가 artifact를 저장하는 프로젝트로 연결됩니다.
Registry App으로 이동하여 사용자와 조직의 다른 구성원이 게시하는 artifact 버전을 봅니다. 이렇게 하려면 먼저 W&B로 이동합니다. 애플리케이션 아래 왼쪽 사이드바에서 Registry를 선택합니다. “Model” registry를 선택합니다. registry 내에서 연결된 artifact 버전이 있는 “first-collection” 컬렉션을 볼 수 있습니다.
artifact 버전을 registry 내의 컬렉션에 연결하면 조직 구성원은 적절한 권한이 있는 경우 artifact 버전을 보고, 다운로드하고, 관리하고, 다운스트림 자동화를 만들 수 있습니다.
artifact 버전이 (run.log_artifact()를 사용하여) 메트릭을 기록하는 경우 해당 버전의 세부 정보 페이지에서 해당 버전에 대한 메트릭을 볼 수 있으며 컬렉션 페이지에서 artifact 버전 간에 메트릭을 비교할 수 있습니다. registry에서 연결된 artifact 보기를 참조하십시오.
W&B Registry 활성화
배포 유형에 따라 다음 조건을 충족하여 W&B Registry를 활성화합니다.
배포 유형
활성화 방법
Multi-tenant Cloud
별도의 조치가 필요하지 않습니다. W&B Registry는 W&B App에서 사용할 수 있습니다.
Dedicated Cloud
계정 팀에 문의하십시오. SA(Solutions Architect) 팀은 인스턴스의 운영자 콘솔 내에서 W&B Registry를 활성화합니다. 인스턴스가 서버 릴리스 버전 0.59.2 이상인지 확인합니다.
Self-Managed
ENABLE_REGISTRY_UI라는 환경 변수를 활성화합니다. 서버에서 환경 변수를 활성화하는 방법에 대한 자세한 내용은 이 문서를 참조하십시오. 자체 관리형 인스턴스에서는 인프라 관리자가 이 환경 변수를 활성화하고 true로 설정해야 합니다. 인스턴스가 서버 릴리스 버전 0.59.2 이상인지 확인합니다.
초기 데이터 수집부터 최종 모델 배포까지 기계 학습 파이프라인의 각 단계에 대한 custom registry를 만들 수 있습니다.
예를 들어, 트레이닝된 모델의 성능을 평가하기 위해 선별된 데이터셋을 구성하기 위해 “Benchmark_Datasets"라는 레지스트리를 만들 수 있습니다. 이 레지스트리 내에서 모델이 트레이닝 중에 본 적이 없는 사용자 질문과 해당 전문가 검증 답변 세트가 포함된 “User_Query_Insurance_Answer_Test_Data"라는 컬렉션을 가질 수 있습니다.
Custom registry는 organization or restricted visibility를 가질 수 있습니다. registry 관리자는 custom registry의 visibility를 organization에서 restricted로 변경할 수 있습니다. 그러나 registry 관리자는 custom registry의 visibility를 restricted에서 organization visibility로 변경할 수 없습니다.
Registry에서 user의 권한은 개별적으로 또는 Team 멤버십에 의해 해당 user에게 할당된 최고 수준의 권한에 따라 달라집니다.
예를 들어, Registry 관리자가 Nico라는 user를 Registry A에 추가하고 Viewer Registry 역할을 할당한다고 가정합니다. 그런 다음 Registry 관리자가 Foundation Model Team이라는 Team을 Registry A에 추가하고 Foundation Model Team에 Member Registry 역할을 할당합니다.
Nico는 Registry의 Member인 Foundation Model Team의 멤버입니다. Member는 Viewer보다 더 많은 권한을 가지고 있기 때문에 W&B는 Nico에게 Member 역할을 부여합니다.
다음 표는 user의 개별 Registry 역할과 해당 멤버인 Team의 Registry 역할 간의 충돌이 발생할 경우 최고 수준의 권한을 보여줍니다.
Team Registry 역할
개별 Registry 역할
상속된 Registry 역할
Viewer
Viewer
Viewer
Member
Viewer
Member
Admin
Viewer
Admin
충돌이 있는 경우 W&B는 user 이름 옆에 최고 수준의 권한을 표시합니다.
예를 들어, 다음 이미지에서 Alex는 smle-reg-team-1 Team의 멤버이기 때문에 Member 역할 권한을 상속받습니다.
컬렉션 은 레지스트리 내에서 연결된 아티팩트 버전들의 집합입니다. 각 컬렉션은 고유한 작업 또는 유스 케이스를 나타냅니다.
예를 들어, 코어 데이터셋 레지스트리 내에 여러 개의 컬렉션을 가질 수 있습니다. 각 컬렉션은 MNIST, CIFAR-10 또는 ImageNet과 같은 서로 다른 데이터셋을 포함합니다.
또 다른 예로, “chatbot"이라는 레지스트리가 있을 수 있으며, 여기에는 모델 Artifacts에 대한 컬렉션, 데이터셋 Artifacts에 대한 또 다른 컬렉션, 그리고 파인튜닝된 모델 Artifacts에 대한 또 다른 컬렉션이 포함될 수 있습니다.
레지스트리와 컬렉션을 구성하는 방법은 사용자에게 달려 있습니다.
W&B 모델 레지스트리에 익숙하신 분은 등록된 모델에 대해 알고 계실 것입니다. 모델 레지스트리의 등록된 모델은 이제 W&B 레지스트리에서 컬렉션이라고 합니다.
컬렉션 유형
각 컬렉션은 오직 하나의 아티팩트 유형 만을 허용합니다. 지정하는 유형은 사용자와 조직의 다른 구성원이 해당 컬렉션에 연결할 수 있는 Artifacts의 종류를 제한합니다.
아티팩트 유형을 Python과 같은 프로그래밍 언어의 데이터 유형과 유사하게 생각할 수 있습니다. 이 비유에서 컬렉션은 문자열, 정수 또는 부동 소수점을 저장할 수 있지만 이러한 데이터 유형을 혼합하여 저장할 수는 없습니다.
예를 들어, “데이터셋” 아티팩트 유형을 허용하는 컬렉션을 생성한다고 가정합니다. 이는 “데이터셋” 유형을 가진 미래의 Artifacts 버전만 이 컬렉션에 연결할 수 있음을 의미합니다. 마찬가지로, “모델” 아티팩트 유형만 허용하는 컬렉션에는 “모델” 유형의 Artifacts만 연결할 수 있습니다.
아티팩트 오브젝트를 생성할 때 아티팩트의 유형을 지정합니다. wandb.Artifact()의 type 필드를 참고하십시오.
Artifact를 레지스트리에 연결하기 전에 해당 컬렉션에서 허용하는 Artifact 유형을 확인하십시오. 컬렉션 유형에 대한 자세한 내용은 컬렉션 생성 내의 “컬렉션 유형"을 참조하십시오.
유스 케이스에 따라 아래 탭에 설명된 지침을 따르십시오.
Artifact 버전이 메트릭을 기록하는 경우(run.log_artifact() 사용) 해당 버전의 세부 정보 페이지에서 해당 버전에 대한 메트릭을 보고 Artifact 페이지에서 Artifact 버전 간의 메트릭을 비교할 수 있습니다. 레지스트리에서 연결된 Artifact 보기를 참조하십시오.
레지스트리에 연결된 아티팩트를 다운로드하려면 해당 연결된 아티팩트의 경로를 알아야 합니다. 경로는 레지스트리 이름, 컬렉션 이름, 엑세스하려는 아티팩트 버전의 에일리어스 또는 인덱스로 구성됩니다.
레지스트리, 컬렉션, 아티팩트 버전의 에일리어스 또는 인덱스가 있으면 다음 문자열 템플릿을 사용하여 연결된 아티팩트의 경로를 구성할 수 있습니다.
# 버전 인덱스가 지정된 아티팩트 이름f"wandb-registry-{REGISTRY}/{COLLECTION}:v{INDEX}"# 에일리어스가 지정된 아티팩트 이름f"wandb-registry-{REGISTRY}/{COLLECTION}:{ALIAS}"
중괄호 {} 안의 값을 엑세스하려는 레지스트리 이름, 컬렉션 이름, 아티팩트 버전의 에일리어스 또는 인덱스로 바꿉니다.
아티팩트 버전을 핵심 Model registry 또는 핵심 Dataset registry에 연결하려면 model 또는 dataset을 지정하십시오.
연결된 아티팩트의 경로가 있으면 wandb.init.use_artifact 메소드를 사용하여 아티팩트에 엑세스하고 해당 콘텐츠를 다운로드합니다. 다음 코드 조각은 W&B Registry에 연결된 아티팩트를 사용하고 다운로드하는 방법을 보여줍니다. <> 안의 값을 자신의 값으로 바꾸십시오.
다음 코드 예제는 사용자가 Fine-tuned Models 레지스트리의 phi3-finetuned라는 컬렉션에 연결된 아티팩트를 다운로드하는 방법을 보여줍니다. 아티팩트 버전의 에일리어스는 production으로 설정됩니다.
import wandb
TEAM_ENTITY ="product-team-applications"PROJECT_NAME ="user-stories"REGISTRY ="Fine-tuned Models"COLLECTION ="phi3-finetuned"ALIAS ='production'# 지정된 팀 및 프로젝트 내에서 run 초기화run = wandb.init(entity=TEAM_ENTITY, project = PROJECT_NAME)
artifact_name =f"wandb-registry-{REGISTRY}/{COLLECTION}:{ALIAS}"# 아티팩트에 엑세스하고 계보 추적을 위해 run에 대한 입력으로 표시fetched_artifact = run.use_artifact(artifact_or_name = name)
# 아티팩트 다운로드. 다운로드한 콘텐츠의 경로를 반환합니다.downloaded_path = fetched_artifact.download()
여러 조직에 속한 개인 엔터티를 가진 Users는 레지스트리에 연결된 아티팩트에 엑세스할 때 조직 이름을 지정하거나 팀 엔터티를 사용해야 합니다.
import wandb
REGISTRY ="<registry_name>"COLLECTION ="<collection_name>"VERSION ="<version>"# 팀 엔터티를 사용하여 API를 인스턴스화해야 합니다.api = wandb.Api(overrides={"entity": "<team-entity>"})
artifact_name =f"wandb-registry-{REGISTRY}/{COLLECTION}:{VERSION}"artifact = api.artifact(name = artifact_name)
# 경로에 조직 표시 이름 또는 조직 엔터티 사용api = wandb.Api()
artifact_name =f"{ORG_NAME}/wandb-registry-{REGISTRY}/{COLLECTION}:{VERSION}"artifact = api.artifact(name = artifact_name)
여기서 ORG_NAME은 조직의 표시 이름입니다. 멀티 테넌트 SaaS Users는 https://wandb.ai/account-settings/의 조직 설정 페이지에서 조직 이름을 찾을 수 있습니다. Dedicated Cloud 및 Self-Managed Users는 계정 관리자에게 문의하여 조직의 표시 이름을 확인하십시오.
미리 생성된 코드 조각 복사 및 붙여넣기
W&B는 Python 스크립트, 노트북 또는 터미널에 복사하여 붙여넣어 레지스트리에 연결된 아티팩트를 다운로드할 수 있는 코드 조각을 생성합니다.
# 문자열 `model`을 포함하는 모든 registries를 필터링합니다.registry_filters = {
"name": {"$regex": "model"}
}
# 필터와 일치하는 모든 registries의 iterable을 반환합니다.registries = api.registries(filter=registry_filters)
collection 이름에 문자열 yolo를 포함하는 registry에 관계없이 모든 collections을 필터링합니다.
# collection 이름에 문자열 `yolo`를 포함하는 registry에 관계없이# 모든 collections을 필터링합니다.collection_filters = {
"name": {"$regex": "yolo"}
}
# 필터와 일치하는 모든 collections의 iterable을 반환합니다.collections = api.registries().collections(filter=collection_filters)
collection 이름에 문자열 yolo를 포함하고 cnn을 태그로 갖는 registry에 관계없이 모든 collections을 필터링합니다.
# collection 이름에 문자열 `yolo`를 포함하고 `cnn`을 태그로 갖는# registry에 관계없이 모든 collections을 필터링합니다.collection_filters = {
"name": {"$regex": "yolo"},
"tag": "cnn"}
# 필터와 일치하는 모든 collections의 iterable을 반환합니다.collections = api.registries().collections(filter=collection_filters)
문자열 model을 포함하고 태그 image-classification 또는 latest 에일리어스를 갖는 모든 artifact versions을 찾습니다.
# 문자열 `model`을 포함하고# 태그 `image-classification` 또는 `latest` 에일리어스를 갖는 모든 artifact versions을 찾습니다.registry_filters = {
"name": {"$regex": "model"}
}
# 논리적 $or 연산자를 사용하여 artifact versions을 필터링합니다.version_filters = {
"$or": [
{"tag": "image-classification"},
{"alias": "production"}
]
}
# 필터와 일치하는 모든 artifact versions의 iterable을 반환합니다.artifacts = api.registries(filter=registry_filters).collections().versions(filter=version_filters)
이전 코드 조각에서 artifacts iterable의 각 항목은 Artifact 클래스의 인스턴스입니다. 즉, 각 아티팩트의 속성 (예: name, collection, aliases, tags, created_at 등)에 엑세스할 수 있습니다.
for art in artifacts:
print(f"artifact name: {art.name}")
print(f"collection artifact belongs to: { art.collection.name}")
print(f"artifact aliases: {art.aliases}")
print(f"tags attached to artifact: {art.tags}")
print(f"artifact created at: {art.created_at}\n")
아티팩트 오브젝트의 속성 전체 목록은 API Reference 문서의 Artifacts Class를 참조하세요.
2024-01-08과 2025-03-04 13:10 UTC 사이에 생성된 registry 또는 collection에 관계없이 모든 artifact versions을 필터링합니다.
# 2024-01-08과 2025-03-04 13:10 UTC 사이에 생성된 모든 artifact versions을 찾습니다.artifact_filters = {
"alias": "latest",
"created_at" : {"$gte": "2024-01-08", "$lte": "2025-03-04 13:10:00"},
}
# 필터와 일치하는 모든 artifact versions의 iterable을 반환합니다.artifacts = api.registries().collections().versions(filter=artifact_filters)
날짜 및 시간을 YYYY-MM-DD HH:MM:SS 형식으로 지정합니다. 날짜로만 필터링하려면 시간, 분, 초를 생략할 수 있습니다.
버전 탭 내에서 태그 필드 옆에 있는 더하기 아이콘(+)을 클릭하고 태그 이름을 입력합니다.
키보드에서 Enter 키를 누릅니다.
태그를 추가하거나 업데이트하려는 아티팩트 버전을 가져옵니다. 아티팩트 버전을 가져왔으면 아티팩트 오브젝트의 tag 속성에 액세스하여 해당 아티팩트에 태그를 추가하거나 수정할 수 있습니다. 하나 이상의 태그를 목록으로 아티팩트의 tag 속성에 전달합니다.
다른 Artifacts와 마찬가지로 run을 생성하지 않고도 W&B에서 Artifact를 가져오거나 run을 생성하고 해당 run 내에서 Artifact를 가져올 수 있습니다. 어느 경우든 W&B 서버에서 Artifact를 업데이트하려면 Artifact 오브젝트의 save 메소드를 호출해야 합니다.
아래의 적절한 코드 셀을 복사하여 붙여넣어 아티팩트 버전의 태그를 추가하거나 수정합니다. <> 안의 값을 자신의 값으로 바꿉니다.
다음 코드 조각은 새 run을 생성하지 않고 Artifact를 가져와서 태그를 추가하는 방법을 보여줍니다.
import wandb
ARTIFACT_TYPE ="<TYPE>"ORG_NAME ="<org_name>"REGISTRY_NAME ="<registry_name>"COLLECTION_NAME ="<collection_name>"VERSION ="<artifact_version>"artifact_name =f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"artifact = wandb.Api().artifact(name = artifact_name, type = ARTIFACT_TYPE)
artifact.tags = ["tag2"] # 목록에 하나 이상의 태그 제공artifact.save()
다음 코드 조각은 새 run을 생성하여 Artifact를 가져와서 태그를 추가하는 방법을 보여줍니다.
import wandb
ORG_NAME ="<org_name>"REGISTRY_NAME ="<registry_name>"COLLECTION_NAME ="<collection_name>"VERSION ="<artifact_version>"run = wandb.init(entity ="<entity>", project="<project>")
artifact_name =f"{ORG_NAME}/wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"artifact = run.use_artifact(artifact_or_name = artifact_name)
artifact.tags = ["tag2"] # 목록에 하나 이상의 태그 제공artifact.save()
아티팩트 버전에 속한 태그 업데이트
tags 속성을 재할당하거나 변경하여 프로그래밍 방식으로 태그를 업데이트합니다. W&B는 제자리 변경 대신 tags 속성을 재할당하는 것을 권장하며, 이는 좋은 Python 방식입니다.
예를 들어, 다음 코드 조각은 재할당을 통해 목록을 업데이트하는 일반적인 방법을 보여줍니다. 간결성을 위해 아티팩트 버전에 태그 추가 섹션의 코드 예제를 계속합니다.
type_name 파라미터에 컬렉션의 유형을 지정하고 name 파라미터에 컬렉션의 전체 이름을 지정합니다. 컬렉션 이름은 접두사 “wandb-registry”, 레지스트리 이름 및 컬렉션 이름으로 구성되며 슬래시로 구분됩니다.
wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}
다음 코드 조각을 Python 스크립트 또는 노트북에 복사하여 붙여 넣습니다. 꺾쇠 괄호(<>)로 묶인 값을 자신의 값으로 바꿉니다.
import wandb
api = wandb.Api()
collection = api.artifact_collection(
type_name ="<collection_type>",
name ="<collection_name>" )
collection.description ="This is a description."collection.save()
예를 들어 다음 이미지는 모델 아키텍처, 용도, 성능 정보 등을 문서화하는 컬렉션을 보여줍니다.
10 - Create and view lineage maps
W&B Registry에서 계보 맵을 만드세요.
W&B 레지스트리의 컬렉션 내에서 ML 실험에서 사용하는 아티팩트의 이력을 볼 수 있습니다. 이 이력을 계보 그래프 라고 합니다.
컬렉션에 속하지 않은 W&B에 기록하는 아티팩트에 대한 계보 그래프를 볼 수도 있습니다.
계보 그래프는 아티팩트를 기록하는 특정 run을 보여줄 수 있습니다. 또한 계보 그래프는 어떤 run이 아티팩트를 입력으로 사용했는지도 보여줄 수 있습니다. 다시 말해, 계보 그래프는 run의 입력과 출력을 보여줄 수 있습니다.
예를 들어, 다음 이미지는 ML 실험 전체에서 생성되고 사용된 아티팩트를 보여줍니다.
왼쪽에서 오른쪽으로 이미지는 다음을 보여줍니다.
여러 개의 run이 split_zoo_dataset:v4 아티팩트를 기록합니다.
“rural-feather-20” run은 트레이닝을 위해 split_zoo_dataset:v4 아티팩트를 사용합니다.
“rural-feather-20” run의 출력은 zoo-ylbchv20:v0이라는 모델 아티팩트입니다.
“northern-lake-21"이라는 run은 모델을 평가하기 위해 모델 아티팩트 zoo-ylbchv20:v0을 사용합니다.
run의 입력 추적
wandb.init.use_artifact API를 사용하여 아티팩트를 run의 입력 또는 종속성으로 표시합니다.
다음 코드 조각은 use_artifact를 사용하는 방법을 보여줍니다. 꺾쇠 괄호(<>)로 묶인 값을 사용자의 값으로 바꿉니다.
아티팩트의 계보 그래프 페이지에 있으면 해당 계보 그래프의 모든 노드에 대한 추가 정보를 볼 수 있습니다.
run 노드를 선택하여 run의 ID, run의 이름, run의 상태 등과 같은 run의 세부 정보를 봅니다. 예를 들어, 다음 이미지는 rural-feather-20 run에 대한 정보를 보여줍니다.
아티팩트 노드를 선택하여 전체 이름, 유형, 생성 시간 및 관련 에일리어스와 같은 해당 아티팩트의 세부 정보를 봅니다.
11 - Migrate from legacy Model Registry
W&B는 기존 W&B Model Registry의 자산을 새로운 W&B Registry로 이전할 예정입니다. 이 마이그레이션은 W&B에서 완전히 관리하고 트리거하며, 사용자 의 개입은 필요하지 않습니다. 이 프로세스는 기존 워크플로우의 중단을 최소화하면서 최대한 원활하게 진행되도록 설계되었습니다.
이전은 새로운 W&B Registry에 Model Registry에서 현재 사용할 수 있는 모든 기능이 포함되면 진행됩니다. W&B는 현재 워크플로우, 코드 베이스 및 레퍼런스를 보존하려고 노력할 것입니다.
이 가이드 는 살아있는 문서이며 더 많은 정보를 사용할 수 있게 되면 정기적으로 업데이트됩니다. 질문이나 지원이 필요하면 support@wandb.com으로 문의하십시오.
W&B Registry는 기존 Model Registry와 어떻게 다른가요?
W&B Registry는 모델, 데이터 셋 및 기타 Artifacts 관리 를 위한 보다 강력하고 유연한 환경을 제공하도록 설계된 다양한 새로운 기능과 개선 사항을 제공합니다.
기존 Model Registry 를 보려면 W&B App에서 Model Registry로 이동하십시오. 페이지 상단에 기존 Model Registry App UI를 사용할 수 있도록 하는 배너가 나타납니다.
조직 가시성
기존 Model Registry에 연결된 Artifacts는 팀 수준의 가시성을 갖습니다. 즉, 팀 멤버 만이 기존 W&B Model Registry에서 Artifacts를 볼 수 있습니다. W&B Registry는 조직 수준의 가시성을 갖습니다. 즉, 올바른 권한을 가진 조직 전체의 멤버는 레지스트리에 연결된 Artifacts를 볼 수 있습니다.
레지스트리에 대한 가시성 제한
사용자 정의 레지스트리를 보고 액세스할 수 있는 사용자를 제한합니다. 사용자 정의 레지스트리를 만들 때 또는 사용자 정의 레지스트리를 만든 후에 레지스트리에 대한 가시성을 제한할 수 있습니다. 제한된 레지스트리에서는 선택된 멤버만 콘텐츠에 액세스하여 개인 정보 보호 및 제어를 유지할 수 있습니다. 레지스트리 가시성에 대한 자세한 내용은 레지스트리 가시성 유형을 참조하십시오.
사용자 정의 레지스트리 만들기
기존 Model Registry와 달리 W&B Registry는 Models 또는 데이터셋 레지스트리에만 국한되지 않습니다. 특정 워크플로우 또는 프로젝트 요구 사항에 맞게 조정된 사용자 정의 레지스트리를 만들어 임의의 오브젝트 유형을 담을 수 있습니다. 이러한 유연성을 통해 팀은 고유한 요구 사항에 따라 Artifacts를 구성하고 관리할 수 있습니다. 사용자 정의 레지스트리를 만드는 방법에 대한 자세한 내용은 사용자 정의 레지스트리 만들기를 참조하십시오.
사용자 정의 엑세스 제어
각 레지스트리는 멤버에게 관리자, 멤버 또는 뷰어와 같은 특정 역할을 할당할 수 있는 자세한 엑세스 제어를 지원합니다. 관리자는 멤버 추가 또는 제거, 역할 설정 및 가시성 구성 을 포함하여 레지스트리 설정을 관리할 수 있습니다. 이를 통해 팀은 레지스트리에서 Artifacts를 보고, 관리하고, 상호 작용할 수 있는 사용자를 제어할 수 있습니다.
용어 업데이트
Registered Models는 이제 컬렉션이라고 합니다.
변경 사항 요약
기존 W&B Model Registry
W&B Registry
Artifacts 가시성
팀 멤버 만 Artifacts를 보거나 액세스할 수 있습니다.
조직 내 멤버는 올바른 권한으로 레지스트리에 연결된 Artifacts를 보거나 액세스할 수 있습니다.
사용자 정의 엑세스 제어
사용할 수 없음
사용 가능
사용자 정의 레지스트리
사용할 수 없음
사용 가능
용어 업데이트
모델 버전에 대한 포인터(링크) 집합을 registered models라고 합니다.
아티팩트 버전에 대한 포인터(링크) 집합을 컬렉션이라고 합니다.
wandb.init.link_model
Model Registry 특정 API
현재 기존 모델 레지스트리 와만 호환됩니다.
마이그레이션 준비
W&B는 Registered Models(현재 컬렉션이라고 함) 및 관련 아티팩트 버전을 기존 Model Registry에서 W&B Registry로 마이그레이션합니다. 이 프로세스는 자동으로 수행되며 사용자 의 조치가 필요하지 않습니다.
팀 가시성에서 조직 가시성으로
마이그레이션 후 모델 레지스트리는 조직 수준의 가시성을 갖습니다. 역할 할당을 통해 레지스트리에 액세스할 수 있는 사용자를 제한할 수 있습니다. 이를 통해 특정 멤버만 특정 레지스트리에 액세스할 수 있습니다.
마이그레이션은 기존 W&B Model Registry에서 현재 팀 수준으로 등록된 모델(곧 컬렉션이라고 함)의 기존 권한 경계를 유지합니다. 기존 Model Registry에 현재 정의된 권한은 새 레지스트리에서 보존됩니다. 즉, 현재 특정 팀 멤버 로 제한된 컬렉션은 마이그레이션 중과 후에 보호됩니다.
Artifacts 경로 연속성
현재 필요한 조치는 없습니다.
마이그레이션 중
W&B가 마이그레이션 프로세스를 시작합니다. 마이그레이션은 W&B 서비스의 중단을 최소화하는 시간대에 발생합니다. 마이그레이션이 시작되면 기존 Model Registry는 읽기 전용 상태로 전환되고 참조용으로 액세스할 수 있습니다.
마이그레이션 후
마이그레이션 후 컬렉션, Artifacts 버전 및 관련 속성은 새로운 W&B Registry 내에서 완전히 액세스할 수 있습니다. 현재 워크플로우가 그대로 유지되도록 보장하는 데 중점을 두고 있으며, 변경 사항을 탐색하는 데 도움이 되는 지속적인 지원이 제공됩니다.
새로운 레지스트리 사용
사용자는 W&B Registry에서 사용할 수 있는 새로운 기능과 기능을 탐색하는 것이 좋습니다. 레지스트리는 현재 의존하는 기능을 지원할 뿐만 아니라 사용자 정의 레지스트리, 향상된 가시성 및 유연한 엑세스 제어와 같은 향상된 기능도 제공합니다.
W&B Registry를 조기에 사용해 보거나, 기존 W&B Model Registry가 아닌 레지스트리로 시작하는 것을 선호하는 새로운 사용자를 위해 지원이 제공됩니다. 이 기능을 활성화하려면 support@wandb.com 또는 영업 MLE에 문의하십시오. 초기 마이그레이션은 BETA 버전으로 진행됩니다. W&B Registry의 BETA 버전에는 기존 Model Registry의 모든 기능 또는 특징이 없을 수 있습니다.
자세한 내용과 W&B Registry의 전체 기능 범위에 대해 알아보려면 W&B Registry 가이드를 방문하십시오.
FAQ
W&B가 Model Registry에서 W&B Registry로 자산을 마이그레이션하는 이유는 무엇입니까?
W&B는 새로운 레지스트리를 통해 보다 고급 기능과 기능을 제공하기 위해 플랫폼을 발전시키고 있습니다. 이 마이그레이션은 Models, 데이터 셋 및 기타 Artifacts 관리를 위한 보다 통합되고 강력한 툴 세트를 제공하기 위한 단계입니다.
마이그레이션 전에 수행해야 할 작업은 무엇입니까?
마이그레이션 전에 사용자 의 조치가 필요하지 않습니다. W&B는 워크플로우와 레퍼런스가 보존되도록 전환을 처리합니다.
모델 Artifacts에 대한 액세스 권한이 손실됩니까?
아니요, 모델 Artifacts에 대한 액세스 권한은 마이그레이션 후에도 유지됩니다. 기존 Model Registry는 읽기 전용 상태로 유지되고 모든 관련 데이터는 새 레지스트리로 마이그레이션됩니다.
Artifacts와 관련된 메타데이터가 보존됩니까?
예, Artifacts 생성, 계보 및 기타 속성과 관련된 중요한 메타데이터는 마이그레이션 중에 보존됩니다. 사용자는 마이그레이션 후에도 모든 관련 메타데이터에 계속 액세스할 수 있으므로 Artifacts의 무결성과 추적 가능성이 유지됩니다.
도움이 필요하면 누구에게 연락해야 합니까?
질문이나 우려 사항이 있는 경우 지원을 받을 수 있습니다. 지원이 필요하면 support@wandb.com으로 문의하십시오.
12 - Model registry
트레이닝부터 프로덕션까지 모델 생명주기를 관리하는 모델 레지스트리
W&B는 결국 W&B Model Registry에 대한 지원을 중단할 예정입니다. 사용자는 대신 모델 아티팩트 버전을 연결하고 공유하기 위해 W&B Registry를 사용하는 것이 좋습니다. W&B Registry는 기존 W&B Model Registry의 기능을 확장합니다. W&B Registry에 대한 자세한 내용은 Registry 문서를 참조하세요.
W&B는 기존 Model Registry에 연결된 기존 모델 아티팩트를 가까운 시일 내에 새로운 W&B Registry로 마이그레이션할 예정입니다. 마이그레이션 프로세스에 대한 자세한 내용은 기존 Model Registry에서 마이그레이션을 참조하세요.
W&B Model Registry는 팀의 트레이닝된 모델을 보관하는 곳으로, ML 전문가가 프로덕션 후보를 게시하여 다운스트림 팀과 이해 관계자가 사용할 수 있습니다. 스테이징된/후보 모델을 보관하고 스테이징과 관련된 워크플로우를 관리하는 데 사용됩니다.
모델 버전 로깅: 트레이닝 스크립트에서 몇 줄의 코드를 추가하여 모델 파일을 아티팩트 로 W&B에 저장합니다.
성능 비교: 라이브 차트를 확인하여 모델 트레이닝 및 유효성 검사에서 메트릭 과 샘플 예측값을 비교합니다. 어떤 모델 버전이 가장 성능이 좋았는지 식별합니다.
레지스트리에 연결: Python에서 프로그래밍 방식으로 또는 W&B UI에서 대화식으로 등록된 모델에 연결하여 최상의 모델 버전을 북마크합니다.
다음 코드 조각은 모델을 Model Registry에 로깅하고 연결하는 방법을 보여줍니다.
import wandb
import random
# Start a new W&B runrun = wandb.init(project="models_quickstart")
# Simulate logging model metricsrun.log({"acc": random.random()})
# Create a simulated model filewith open("my_model.h5", "w") as f:
f.write("Model: "+ str(random.random()))
# Log and link the model to the Model Registryrun.link_model(path="./my_model.h5", registered_model_name="MNIST")
run.finish()
모델 전환을 CI/CD 워크플로우에 연결: 웹훅을 사용하여 워크플로우 단계를 통해 후보 모델을 전환하고 다운스트림 작업 자동화합니다.
W&B Model Registry를 사용하여 모델을 관리 및 버전 관리하고, 계보를 추적하고, 다양한 라이프사이클 단계를 거쳐 모델을 승격합니다.
웹훅을 사용하여 모델 관리 워크플로우를 자동화합니다.
모델 평가, 모니터링 및 배포를 위해 Model Registry가 모델 개발 라이프사이클의 외부 ML 시스템 및 툴 과 어떻게 통합되는지 확인하세요.
12.1 - Tutorial: Use W&B for model management
W&B를 사용해 모델 관리를 하는 방법을 알아보세요. (Model Management)
다음 가이드에서는 W&B에 모델을 기록하는 방법을 안내합니다. 이 가이드가 끝나면 다음을 수행할 수 있습니다.
MNIST 데이터셋과 Keras 프레임워크를 사용하여 모델을 만들고 트레이닝합니다.
트레이닝한 모델을 W&B project에 기록합니다.
사용된 데이터셋을 생성한 모델의 종속성으로 표시합니다.
해당 모델을 W&B Registry에 연결합니다.
레지스트리에 연결한 모델의 성능을 평가합니다.
모델 버전을 프로덕션 준비 완료로 표시합니다.
이 가이드에 제시된 순서대로 코드 조각을 복사하세요.
Model Registry에 고유하지 않은 코드는 접을 수 있는 셀에 숨겨져 있습니다.
설정
시작하기 전에 이 가이드에 필요한 Python 종속성을 가져옵니다.
import wandb
import numpy as np
from tensorflow import keras
from tensorflow.keras import layers
from wandb.integration.keras import WandbMetricsLogger
from sklearn.model_selection import train_test_split
W&B entity를 entity 변수에 제공합니다.
entity ="<entity>"
데이터셋 아티팩트 생성
먼저 데이터셋을 만듭니다. 다음 코드 조각은 MNIST 데이터셋을 다운로드하는 함수를 생성합니다.
다음으로 데이터셋을 W&B에 업로드합니다. 이렇게 하려면 artifact 오브젝트를 생성하고 해당 아티팩트에 데이터셋을 추가합니다.
project ="model-registry-dev"model_use_case_id ="mnist"job_type ="build_dataset"# W&B run 초기화run = wandb.init(entity=entity, project=project, job_type=job_type)
# 트레이닝 데이터를 위한 W&B 테이블 생성train_table = wandb.Table(data=[], columns=[])
train_table.add_column("x_train", x_train)
train_table.add_column("y_train", y_train)
train_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_train"])})
# 평가 데이터를 위한 W&B 테이블 생성eval_table = wandb.Table(data=[], columns=[])
eval_table.add_column("x_eval", x_eval)
eval_table.add_column("y_eval", y_eval)
eval_table.add_computed_columns(lambda ndx, row: {"img": wandb.Image(row["x_eval"])})
# 아티팩트 오브젝트 생성artifact_name ="{}_dataset".format(model_use_case_id)
artifact = wandb.Artifact(name=artifact_name, type="dataset")
# wandb.WBValue obj를 아티팩트에 추가artifact.add(train_table, "train_table")
artifact.add(eval_table, "eval_table")
# 아티팩트에 대한 변경 사항을 유지합니다.artifact.save()
# W&B에 이 run이 완료되었음을 알립니다.run.finish()
아티팩트에 파일(예: 데이터셋)을 저장하는 것은 모델의 종속성을 추적할 수 있으므로 모델 로깅 컨텍스트에서 유용합니다.
모델 트레이닝
이전 단계에서 생성한 아티팩트 데이터셋으로 모델을 트레이닝합니다.
데이터셋 아티팩트를 run에 대한 입력으로 선언
이전 단계에서 생성한 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언합니다. 아티팩트를 run에 대한 입력으로 선언하면 특정 모델을 트레이닝하는 데 사용된 데이터셋(및 데이터셋 버전)을 추적할 수 있으므로 모델 로깅 컨텍스트에서 특히 유용합니다. W&B는 수집된 정보를 사용하여 lineage map을 만듭니다.
use_artifact API를 사용하여 데이터셋 아티팩트를 run의 입력으로 선언하고 아티팩트 자체를 검색합니다.
평가할 W&B의 model version을 다운로드합니다. use_model API를 사용하여 모델에 엑세스하고 다운로드합니다.
alias ="latest"# 에일리어스name ="mnist_model"# 모델 아티팩트 이름# 모델에 엑세스하고 다운로드합니다. 다운로드한 아티팩트의 경로를 반환합니다.downloaded_model_path = run.use_model(name=f"{name}:{alias}")
# # 메트릭, 이미지, 테이블 또는 평가에 유용한 모든 데이터를 기록합니다.run.log(data={"loss": (loss, _)})
모델 버전 승격
model alias를 사용하여 기계 학습 워크플로우의 다음 단계를 위해 모델 버전을 준비 완료로 표시합니다. 각 registered model에는 하나 이상의 model alias가 있을 수 있습니다. model alias는 한 번에 하나의 model version에만 속할 수 있습니다.
예를 들어, 모델의 성능을 평가한 후 모델이 프로덕션 준비가 되었다고 확신한다고 가정합니다. 해당 모델 버전을 승격하려면 해당 특정 model version에 production 에일리어스를 추가합니다.
production 에일리어스는 모델을 프로덕션 준비로 표시하는 데 사용되는 가장 일반적인 에일리어스 중 하나입니다.
W&B App UI를 사용하여 대화형으로 또는 Python SDK를 사용하여 프로그래밍 방식으로 model version에 에일리어스를 추가할 수 있습니다. 다음 단계에서는 W&B Model Registry App을 사용하여 에일리어스를 추가하는 방법을 보여줍니다.
모델 버전은 단일 모델 체크포인트를 나타냅니다. 모델 버전은 실험 내에서 특정 시점의 모델과 해당 파일의 스냅샷입니다.
모델 버전은 학습된 모델을 설명하는 데이터 및 메타데이터의 변경 불가능한 디렉토리입니다. W&B는 모델 아키텍처와 학습된 파라미터를 나중에 저장하고 복원할 수 있도록 모델 버전에 파일을 추가할 것을 제안합니다.
모델 버전은 하나의 model artifact에만 속합니다. 모델 버전은 0개 이상의 registered models에 속할 수 있습니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다. W&B는 (동일한 model artifact에) 기록하는 모델이 이전 모델 버전과 다른 콘텐츠를 가지고 있음을 감지하면 자동으로 새 모델 버전을 생성합니다.
모델링 라이브러리에서 제공하는 직렬화 프로세스에서 생성된 파일을 모델 버전 내에 저장합니다(예: PyTorch 및 Keras).
Model alias
모델 에일리어스는 등록된 모델에서 모델 버전을 의미적으로 관련된 식별자로 고유하게 식별하거나 참조할 수 있도록 하는 변경 가능한 문자열입니다. 에일리어스는 등록된 모델의 한 버전에만 할당할 수 있습니다. 이는 에일리어스가 프로그래밍 방식으로 사용될 때 고유한 버전을 참조해야 하기 때문입니다. 또한 에일리어스를 사용하여 모델의 상태(챔피언, 후보, production)를 캡처할 수 있습니다.
"best", "latest", "production" 또는 "staging"과 같은 에일리어스를 사용하여 특수 목적을 가진 모델 버전을 표시하는 것이 일반적입니다.
예를 들어 모델을 만들고 "best" 에일리어스를 할당한다고 가정합니다. run.use_model로 특정 모델을 참조할 수 있습니다.
import wandb
run = wandb.init()
name =f"{entity/project/model_artifact_name}:{alias}"run.use_model(name=name)
Model tags
모델 태그는 하나 이상의 registered models에 속하는 키워드 또는 레이블입니다.
모델 태그를 사용하여 registered models를 카테고리로 구성하고 Model Registry의 검색 창에서 해당 카테고리를 검색합니다. 모델 태그는 Registered Model Card 상단에 나타납니다. ML 작업, 소유 팀 또는 우선 순위별로 registered models를 그룹화하는 데 사용할 수 있습니다. 그룹화를 위해 동일한 모델 태그를 여러 registered models에 추가할 수 있습니다.
그룹화 및 검색 가능성을 위해 registered models에 적용되는 레이블인 모델 태그는 model aliases와 다릅니다. 모델 에일리어스는 모델 버전을 프로그래밍 방식으로 가져오는 데 사용하는 고유 식별자 또는 별칭입니다. 태그를 사용하여 Model Registry에서 작업을 구성하는 방법에 대한 자세한 내용은 모델 구성을 참조하세요.
Model artifact
Model artifact는 기록된 model versions의 모음입니다. 모델 버전은 모델 아티팩트에 기록된 순서대로 모델 아티팩트에 저장됩니다.
Model artifact는 하나 이상의 모델 버전을 포함할 수 있습니다. 모델 버전을 기록하지 않으면 Model artifact는 비어 있을 수 있습니다.
예를 들어, Model artifact를 만든다고 가정합니다. 모델 트레이닝 중에 체크포인트 중에 모델을 주기적으로 저장합니다. 각 체크포인트는 자체 model version에 해당합니다. 모델 트레이닝 및 체크포인트 저장 중에 생성된 모든 모델 버전은 트레이닝 스크립트 시작 시 생성한 동일한 Model artifact에 저장됩니다.
다음 이미지는 v0, v1 및 v2의 세 가지 모델 버전을 포함하는 Model artifact를 보여줍니다.
Registered model은 모델 버전에 대한 포인터(링크) 모음입니다. Registered model을 동일한 ML 작업에 대한 후보 모델의 “북마크” 폴더라고 생각할 수 있습니다. Registered model의 각 “북마크"는 model artifact에 속한 model version에 대한 포인터입니다. Model tags를 사용하여 Registered models를 그룹화할 수 있습니다.
Registered models는 종종 단일 모델링 유스 케이스 또는 작업에 대한 후보 모델을 나타냅니다. 예를 들어 사용하는 모델을 기반으로 다양한 이미지 분류 작업에 대해 Registered model을 만들 수 있습니다. ImageClassifier-ResNet50, ImageClassifier-VGG16, DogBreedClassifier-MobileNetV2 등. 모델 버전은 Registered model에 연결된 순서대로 버전 번호가 할당됩니다.
import wandb
run = wandb.init(entity="<entity>", project="<project>")
run.link_model(path="<path-to-model>", registered_model_name="<registered-model-name>")
run.finish()
registered-model-name 파라미터에 지정한 이름이 아직 존재하지 않는 경우, W&B가 등록된 모델을 생성합니다.
예를 들어, Model Registry에 “Fine-Tuned-Review-Autocompletion”(registered-model-name="Fine-Tuned-Review-Autocompletion")이라는 등록된 모델이 이미 있다고 가정합니다. 그리고 몇몇 모델 버전이 연결되어 있다고 가정합니다: v0, v1, v2. 새로운 모델을 프로그램 방식으로 연결하고 동일한 등록된 모델 이름(registered-model-name="Fine-Tuned-Review-Autocompletion")을 사용하면, W&B는 이 모델을 기존 등록된 모델에 연결하고 모델 버전 v3을 할당합니다. 이 이름으로 등록된 모델이 없으면 새로운 등록된 모델이 생성되고 모델 버전 v0을 갖게 됩니다.
vague-morning-5 W&B run은 mnist_dataset:v0 데이터셋 아티팩트를 사용하여 모델을 트레이닝했습니다. 이 W&B run의 출력은 mnist_model:v0라는 모델 아티팩트였습니다.
serene-haze-6이라는 run은 모델 아티팩트(mnist_model:v0)를 사용하여 모델을 평가했습니다.
아티팩트 종속성 추적
use_artifact API를 사용하여 데이터셋 아티팩트를 W&B run에 대한 입력으로 선언하여 종속성을 추적합니다.
다음 코드 조각은 use_artifact API를 사용하는 방법을 보여줍니다.
# Initialize a runrun = wandb.init(project=project, entity=entity)
# Get artifact, mark it as a dependencyartifact = run.use_artifact(artifact_or_name="name", aliases="<alias>")
아티팩트를 검색한 후에는 해당 아티팩트를 사용하여 (예를 들어) 모델의 성능을 평가할 수 있습니다.
예시: 모델을 트레이닝하고 데이터셋을 모델의 입력으로 추적
job_type ="train_model"config = {
"optimizer": "adam",
"batch_size": 128,
"epochs": 5,
"validation_split": 0.1,
}
run = wandb.init(project=project, job_type=job_type, config=config)
version ="latest"name ="{}:{}".format("{}_dataset".format(model_use_case_id), version)
artifact = run.use_artifact(name)
train_table = artifact.get("train_table")
x_train = train_table.get_column("x_train", convert_to="numpy")
y_train = train_table.get_column("y_train", convert_to="numpy")
# Store values from our config dictionary into variables for easy accessingnum_classes =10input_shape = (28, 28, 1)
loss ="categorical_crossentropy"optimizer = run.config["optimizer"]
metrics = ["accuracy"]
batch_size = run.config["batch_size"]
epochs = run.config["epochs"]
validation_split = run.config["validation_split"]
# Create model architecturemodel = keras.Sequential(
[
layers.Input(shape=input_shape),
layers.Conv2D(32, kernel_size=(3, 3), activation="relu"),
layers.MaxPooling2D(pool_size=(2, 2)),
layers.Conv2D(64, kernel_size=(3, 3), activation="relu"),
layers.MaxPooling2D(pool_size=(2, 2)),
layers.Flatten(),
layers.Dropout(0.5),
layers.Dense(num_classes, activation="softmax"),
]
)
model.compile(loss=loss, optimizer=optimizer, metrics=metrics)
# Generate labels for training datay_train = keras.utils.to_categorical(y_train, num_classes)
# Create training and test setx_t, x_v, y_t, y_v = train_test_split(x_train, y_train, test_size=0.33)
# Train the modelmodel.fit(
x=x_t,
y=y_t,
batch_size=batch_size,
epochs=epochs,
validation_data=(x_v, y_v),
callbacks=[WandbCallback(log_weights=True, log_evaluation=True)],
)
# Save model locallypath ="model.h5"model.save(path)
path ="./model.h5"registered_model_name ="MNIST-dev"name ="mnist_model"run.link_model(path=path, registered_model_name=registered_model_name, name=name)
run.finish()
12.8 - Document machine learning model
모델 카드에 설명을 추가하여 모델을 문서화하세요.
등록된 모델의 모델 카드에 설명을 추가하여 머신러닝 모델의 여러 측면을 문서화하세요. 문서화할 가치가 있는 몇 가지 주제는 다음과 같습니다.
요약: 모델에 대한 요약입니다. 모델의 목적, 모델이 사용하는 머신러닝 프레임워크 등입니다.
트레이닝 데이터: 사용된 트레이닝 데이터, 트레이닝 데이터 세트에 대해 수행된 처리, 해당 데이터가 저장된 위치 등을 설명합니다.
아키텍처: 모델 아키텍처, 레이어 및 특정 설계 선택에 대한 정보입니다.
모델 역직렬화: 팀 구성원이 모델을 메모리에 로드하는 방법에 대한 정보를 제공합니다.
Task: 머신러닝 모델이 수행하도록 설계된 특정 유형의 Task 또는 문제입니다. 모델의 의도된 기능을 분류한 것입니다.
라이선스: 머신러닝 모델 사용과 관련된 법적 조건 및 권한입니다. 이를 통해 모델 사용자는 모델을 활용할 수 있는 법적 프레임워크를 이해할 수 있습니다.
참조: 관련 연구 논문, 데이터셋 또는 외부 리소스에 대한 인용 또는 참조입니다.
배포: 모델이 배포되는 방식 및 위치에 대한 세부 정보와 워크플로우 오케스트레이션 플랫폼과 같은 다른 엔터프라이즈 시스템에 모델을 통합하는 방법에 대한 지침입니다.
Description 필드 내에 머신러닝 모델에 대한 정보를 제공합니다. Markdown 마크업 언어를 사용하여 모델 카드 내에서 텍스트 서식을 지정합니다.
예를 들어 다음 이미지는 신용카드 채무 불이행 예측 등록 모델의 모델 카드를 보여줍니다.
12.9 - Download a model version
W&B Python SDK로 모델을 다운로드하는 방법
W&B Python SDK를 사용하여 Model Registry에 연결한 모델 아티팩트를 다운로드합니다.
모델을 재구성하고, 역직렬화하여 사용할 수 있는 형태로 만들려면 추가적인 Python 함수와 API 호출을 제공해야 합니다.
W&B에서는 모델을 메모리에 로드하는 방법에 대한 정보를 모델 카드를 통해 문서화할 것을 권장합니다. 자세한 내용은 기계 학습 모델 문서화 페이지를 참조하세요.
<> 안의 값을 직접 변경하세요:
import wandb
# run 초기화run = wandb.init(project="<project>", entity="<entity>")
# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.downloaded_model_path = run.use_model(name="<your-model-name>")
다음 형식 중 하나를 사용하여 모델 버전을 참조하세요:
latest - 가장 최근에 연결된 모델 버전을 지정하려면 latest 에일리어스를 사용합니다.
v# - Registered Model에서 특정 버전을 가져오려면 v0, v1, v2 등을 사용합니다.
alias - 팀에서 모델 버전에 할당한 사용자 지정 에일리어스를 지정합니다.
가능한 파라미터 및 반환 유형에 대한 자세한 내용은 API Reference 가이드의 use_model을 참조하세요.
예시: 기록된 모델 다운로드 및 사용
예를 들어, 다음 코드 조각에서 사용자는 use_model API를 호출했습니다. 가져오려는 모델 아티팩트의 이름을 지정하고 버전/에일리어스도 제공했습니다. 그런 다음 API에서 반환된 경로를 downloaded_model_path 변수에 저장했습니다.
import wandb
entity ="luka"project ="NLP_Experiments"alias ="latest"# 모델 버전에 대한 시맨틱 닉네임 또는 식별자model_artifact_name ="fine-tuned-model"# run 초기화run = wandb.init()
# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.downloaded_model_path = run.use_model(name=f"{entity/project/model_artifact_name}:{alias}")
2024년 W&B Model Registry 지원 중단 예정
다음 탭은 곧 지원이 중단될 Model Registry를 사용하여 모델 아티팩트를 사용하는 방법을 보여줍니다.
W&B Registry를 사용하여 모델 아티팩트를 추적, 구성 및 사용합니다. 자세한 내용은 Registry 문서를 참조하세요.
<> 안의 값을 직접 변경하세요:
import wandb
# run 초기화run = wandb.init(project="<project>", entity="<entity>")
# 모델에 엑세스하고 다운로드합니다. 다운로드된 아티팩트의 경로를 반환합니다.downloaded_model_path = run.use_model(name="<your-model-name>")
다음 형식 중 하나를 사용하여 모델 버전을 참조하세요:
latest - 가장 최근에 연결된 모델 버전을 지정하려면 latest 에일리어스를 사용합니다.
v# - Registered Model에서 특정 버전을 가져오려면 v0, v1, v2 등을 사용합니다.
alias - 팀에서 모델 버전에 할당한 사용자 지정 에일리어스를 지정합니다.
가능한 파라미터 및 반환 유형에 대한 자세한 내용은 API Reference 가이드의 use_model을 참조하세요.
OAuth 페이지에 나타나는 지침에 따라 Slack workspace에서 W&B를 활성화합니다.
팀에 대한 Slack 알림을 구성했으면 알림을 받을 Registered Model을 선택할 수 있습니다.
팀에 대해 Slack 알림을 구성한 경우 Connect Slack 버튼 대신 New model version linked to… 토글이 나타납니다.
아래 스크린샷은 Slack 알림이 있는 FMNIST 분류기 Registered Model을 보여줍니다.
새로운 모델 버전이 FMNIST 분류기 Registered Model에 연결될 때마다 연결된 Slack 채널에 메시지가 자동으로 게시됩니다.
12.11 - Manage data governance and access control
모델 레지스트리 역할 기반 엑세스 제어(RBAC)를 사용하여 보호된 에일리어스를 업데이트할 수 있는 사람을 제어합니다.
보호된 에일리어스를 사용하여 모델 개발 파이프라인의 주요 단계를 나타냅니다. 모델 레지스트리 관리자 만이 보호된 에일리어스를 추가, 수정 또는 제거할 수 있습니다. 모델 레지스트리 관리자는 보호된 에일리어스를 정의하고 사용할 수 있습니다. W&B는 관리자가 아닌 사용자가 모델 버전에서 보호된 에일리어스를 추가하거나 제거하는 것을 차단합니다.
팀 관리자 또는 현재 레지스트리 관리자만이 레지스트리 관리자 목록을 관리할 수 있습니다.
예를 들어, staging 및 production을 보호된 에일리어스로 설정했다고 가정합니다. 팀의 모든 구성원은 새로운 모델 버전을 추가할 수 있습니다. 그러나 관리자만이 staging 또는 production 에일리어스를 추가할 수 있습니다.
