基于Kubernetes离线分布式部署DeepSeek-R1type
status
date
slug
summary
tags
category
icon
password
仅仅只是docker的单机部署肯定是远远不够的，再来个k8s的分布式部署，就比较接近企业环境使用了。
🧰 准备阶段
🖥️ 1. 硬件说明
- 服务器数量：3 台
- 建议配置：
- CPU：至少 8 核
- 内存：至少 16GB
- 显存：至少 24G
- 硬盘空间：500GB+
- 显卡型号：NVIDIA A10
- 网络要求：三台服务器之间可正常通信
💽 2. 软件说明
- 操作系统：CentOS 8.5
- Sealos：v5.0.1（用于快速部署 Kubernetes 集群及 GPU 组件）
- Kubernetes：v1.30.5
- LWS (LeaderWorkerSet)：v0.5.1（官方用于分布式大模型部署）
- vLLM：大语言模型推理部署工具
- DeepSeek-R1 模型：提前下载好模型文件
🚀 开始部署
📁 上传离线部署包
- 上传部署包到集群节点
- 解压离线部署包
🧩 安装 Nvidia 驱动
手动在每个节点上安装：
⚙️ 安装 Sealos
☸️ 一键部署 Kubernetes 集群
📦 加载离线镜像
🚀 部署集群
✅ 验证部署成功
✅ 验证 GPU 功能
运行 GPU Pod 进行测试：
如果日志中出现以下内容表示验证成功：
🤖 部署 vLLM 与 DeepSeek-R1 模型
1. 加载镜像到每个节点
2. 解压模型文件到 /mnt
3. 部署 vLLM
4. 查看部署状态
有关文章的任何疑问，欢迎您在底部评论区留言，一起交流~
如果文章对你有帮助，请我喝杯咖啡 赏你
- 作者:lusyoe
- 链接:https://blog.lusyoe.com/article/1da9161f-d46b-8006-899c-e23f3f26ced8
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
