type
Post
status
Published
date
Apr 19, 2025
slug
vllm-docker-deployment
summary
AI 大模型部署(1)
category
AI
tags
实用教程
vLLM
create_time
Apr 19, 2025 12:44 PM
icon
password
my_create_time
2025年4月19日 20:44
😀
本文为初始学习大模型部署时的经历，因为比较熟悉docker，并且部署起来很快，所以直接从docker部署开始。
1️⃣ 单机部署模型 🖥️
需提前部署好docker的nvidia环境，可参考官方文档：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
2️⃣ 分布式部署模型 🌐
▌Master 节点 📦
▌Worker 节点 ⚙️
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
3️⃣ 服务启动流程 🚀
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
🌰 关键参数说明
• tensor-parallel-size ➜ 显卡数量
• pipeline-parallel-size ➜ 节点数量
 
💡
有关文章的任何疑问，欢迎您在底部评论区留言，一起交流~
 
上一篇
基于Kubernetes离线分布式部署DeepSeek-R1
下一篇
路由器常用命令
评论
Loading...