Manage artifact storage and memory allocation
W&B Artifacts 의 스토리지, 메모리 할당을 관리합니다.
less than a minute
W&B는 기본적으로 미국에 위치한 개인 Google Cloud Storage 버킷에 아티팩트 파일을 저장합니다. 모든 파일은 저장 및 전송 중에 암호화됩니다.
민감한 파일의 경우, Private Hosting을 설정하거나 reference artifacts를 사용하는 것이 좋습니다.
트레이닝 중에 W&B는 로그, 아티팩트 및 설정 파일을 다음 로컬 디렉토리에 로컬로 저장합니다.
| 파일 | 기본 위치 | 기본 위치를 변경하려면 다음을 설정하십시오: |
|---|---|---|
| logs | ./wandb |
wandb.init의 dir 또는 WANDB_DIR 환경 변수를 설정하십시오. |
| artifacts | ~/.cache/wandb |
WANDB_CACHE_DIR 환경 변수 |
| configs | ~/.config/wandb |
WANDB_CONFIG_DIR 환경 변수 |
| 업로드를 위한 Staging artifacts | ~/.cache/wandb-data/ |
WANDB_DATA_DIR 환경 변수 |
| 다운로드된 artifacts | ./artifacts |
WANDB_ARTIFACT_DIR 환경 변수 |
환경 변수를 사용하여 W&B를 구성하는 방법에 대한 전체 가이드는 환경 변수 참조를 참조하십시오.
wandb가 초기화된 머신에 따라 이러한 기본 폴더가 파일 시스템의 쓰기 가능한 부분에 위치하지 않을 수 있습니다. 이로 인해 오류가 발생할 수 있습니다.로컬 아티팩트 캐시 정리
W&B는 공통 파일을 공유하는 버전 간의 다운로드 속도를 높이기 위해 아티팩트 파일을 캐시합니다. 시간이 지남에 따라 이 캐시 디렉토리가 커질 수 있습니다. wandb artifact cache cleanup 명령을 실행하여 캐시를 정리하고 최근에 사용되지 않은 파일을 제거하십시오.
다음 코드 조각은 캐시 크기를 1GB로 제한하는 방법을 보여줍니다. 코드 조각을 복사하여 터미널에 붙여넣으십시오:
$ wandb artifact cache cleanup 1GB
[i18n] feedback_title
[i18n] feedback_question
Glad to hear it! Please tell us how we can improve.
Sorry to hear that. Please tell us how we can improve.