GPUStack

约 526 字大约 2 分钟

GPU ClusterServing

2025-10-13

部署指南

单机部署

Docker

快速开始

docker run -d --name gpustack \
  --restart=unless-stopped \
  --gpus all \
  --network=host \
  --ipc=host \
  -v gpustack-data:/var/lib/gpustack \
  gpustack/gpustack

推荐配置

# Hugging Face Mirror
export HF_TOKEN=""
export HF_ENDPOINT="https://hf-mirror.com"
# settings: HF / Port / SSL / DB / OIDC and use CUDA 12.8
docker run -d \
  -e GPUSTACK_HF_TOKEN="${HF_TOKEN}" \
  -e GPUSTACK_HF_ENDPOINT="${HF_ENDPOINT}" \
  -e GPUSTACK_PORT="80" \
  -e GPUSTACK_SSL_KEYFILE="/path/to/keyfile" \
  -e GPUSTACK_SSL_CERTFILE="/path/to/certfile" \
  -e GPUSTACK_DATABASE_URL="postgresql://username:password@host:port/database_name" \
  -e GPUSTACK_OIDC_ISSUER="your-oidc-issuer-url" \
  -e GPUSTACK_OIDC_CLIENT_ID="your-client-id" \
  -e GPUSTACK_OIDC_CLIENT_SECRET="your-client-secret" \
  -e GPUSTACK_OIDC_REDIRECT_URI="{your-server-url}/auth/oidc/callback" \
  -e GPUSTACK_EXTERNAL_AUTH_NAME="preferred_username" \
  -e GPUSTACK_EXTERNAL_AUTH_FULL_NAME="name" \
  -e GPUSTACK_EXTERNAL_AUTH_AVATAR_URL="picture" \
  -v /path/to/gpustack:/var/lib/gpustack \
  -v /path/to/model:/model \
  --gpus all \
  --network=host \
  --ipc=host \
  --restart=unless-stopped \
  --name=gpustack \
  gpustack/gpustack:latest-cuda12.8

如何获取初始密码？

# 默认账户: admin
# 默认密码:
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password

如何获取工作节点加入所需的Token？

docker exec -it gpustack cat /var/lib/gpustack/token

Linux or macOS

查看命令样例

curl -sfL https://get.gpustack.ai | sh -s -

如何获取初始密码？

# 默认账户: admin
# 默认密码:
cat /var/lib/gpustack/initial_admin_password

如何获取工作节点加入所需的Token？

cat /var/lib/gpustack/token

Windows

查看命令样例

Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

如何获取初始密码？

# 默认账户: admin
# 默认密码:
Get-Content -Path "$env:APPDATA\gpustack\initial_admin_password" -Raw

(可选) 添加工作节点

前置工作：

安装Nvidia CUDA Toolkit 12.8；
安装Python 3.12；

Docker

docker run -d \
  -v /path/to/gpustack:/var/lib/gpustack \
  --gpus all \
  --network=host \
  --ipc=host \
  --restart=unless-stopped \
  --name=gpustack \
  gpustack/gpustack:latest-cuda12.8 \
  --server-url http://your_gpustack_url --token your_gpustack_token

Linux or macOS

curl -sfL https://get.gpustack.ai | sh -s - --server-url http://your_gpustack_url --token your_gpustack_token --worker-ip 192.168.100.60

Windows

Invoke-Expression "& { $((Invoke-WebRequest -Uri 'https://get.gpustack.ai' -UseBasicParsing).Content) } -- --server-url 'http://your_gpustack_url' --token 'your_gpustack_token' --worker-ip '192.168.100.60'"

Windows操作系统可能需要在高级安全 Windows Defender 防火墙添加入站规则，允许TCP端口10150访问。

下载模型

# 配置镜像代理
export HF_ENDPOINT=https://hf-mirror.com
export HF_TOKEN=hf_token
# 下载模型
./hfd.sh <model>

推荐模型

与Dify集成使用

LLM Qwen/Qwen3-8B
LLM Qwen/Qwen2.5-VL-3B-Instruct
Embedding BAAI/bge-m3
Rerank BAAI/bge-reranker-v2-m3

推荐列表

LLM unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF
ASR Systran/faster-whisper-small
TTS gpustack/CosyVoice-300M-Instruct
IMG gpustack/stable-diffusion-v3-5-large-turbo-GGUF