前言

在大语言模型（LLM）应用开发中，高效的推理框架至关重要。vLLM作为一款专为LLM优化的开源推理引擎，通过创新的PagedAttention技术可实现高达30倍的吞吐量提升。本文将手把手教你完成vLLM的完整安装流程，助你快速开启高效推理之旅！

一、安装前准备

环境要求

• Python 3.8+

• CUDA 12.1（推荐）

• Linux系统（Windows可通过WSL2安装）

• 良好的网络连接（建议配置镜像加速）

二、详细安装步骤

1. 创建虚拟环境（避免依赖冲突）

python3 -m venv llm

2. 激活虚拟环境

source /home/rayse/python/llm/bin/activate

3. 升级包管理工具

pip install --upgrade pip

4. 配置国内镜像源（加速下载）

mkdir -p ~/.pip
cat > ~/.pip/pip.conf << EOF
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn
EOF

5. 安装核心组件

# 安装vLLM（自动匹配CUDA版本）
pip install vllm

# 安装配套工具包
pip install transformers accelerate

6. 验证CUDA兼容性

nvidia-smi  # 确认驱动版本>=525.85.12