vLLM 容器化部署大模型type
status
date
slug
summary
category
tags
create_time
Apr 19, 2025 12:44 PM
icon
password
本文为初始学习大模型部署时的经历，因为比较熟悉docker，并且部署起来很快，所以直接从docker部署开始。
1️⃣ 单机部署模型 🖥️
需提前部署好docker的nvidia环境，可参考官方文档：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
2️⃣ 分布式部署模型 🌐
▌Master 节点 📦
▌Worker 节点 ⚙️
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
3️⃣ 服务启动流程 🚀
┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈┈
🌰 关键参数说明
•
tensor-parallel-size ➜ 显卡数量•
pipeline-parallel-size ➜ 节点数量有关文章的任何疑问，欢迎您在底部评论区留言，一起交流~
如果文章对您有帮助，请我喝杯咖啡 赏你
- 作者:lusyoe
- 链接:https://blog.lusyoe.com/article/vllm-docker-deployment
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
