Skip to content

About

🔥 New Course for vLLM associated with installation, architecture, continuous batching, paged attention, distributed inference, monitoring and so on. 🔎 针对 vLLM 的新系列文档包括安装指南、架构介绍、连续批处理、分页注意力机制、分布式推理、监控等内容。

Resources

Readme
Activity

Stars

2 stars

Watchers

0 watching

Forks

0 forks
Report repository
BranchesTags

Latest commit

 

History

3 Commits

Folders and files

NameName
Last commit message
Last commit date
README.en.md
README.en.md
 
 
README.md
README.md
 
 
vLLM 性能指标（教材）.md
vLLM 性能指标（教材）.md
 
 
vLLM 架构图.png
vLLM 架构图.png
 
 
第一章 神经网络与深度学习.md
第一章 神经网络与深度学习.md
 
 
第七章 vLLM 核心技术：PagedAttention 与连续批处理.md
第七章 vLLM 核心技术：PagedAttention 与连续批处理.md
 
 
第三章 Open-webUI 部署完整指南（二）.md
第三章 Open-webUI 部署完整指南（二）.md
 
 
第三章 服务器部署指南（一）.md
第三章 服务器部署指南（一）.md
 
 
第九章 vLLM 性能基准测试与调优（vllm bench）.md
第九章 vLLM 性能基准测试与调优（vllm bench）.md
 
 
第二章 离线批量推理.md
第二章 离线批量推理.md
 
 
第五章 vLLM 推理参数精讲.md
第五章 vLLM 推理参数精讲.md
 
 
第八章 多模态输入.md
第八章 多模态输入.md
 
 
第六章 vLLM 架构概述.md
第六章 vLLM 架构概述.md
 
 
第六章 vLLM 架构解析（基于官方文档规范）.md
第六章 vLLM 架构解析（基于官方文档规范）.md
 
 
第十一章 vLLM 核心性能优化特性详解.md
第十一章 vLLM 核心性能优化特性详解.md
 
 
第十三章 性能调优实战.md
第十三章 性能调优实战.md
 
 
第十二章 vLLM 量化推理.md
第十二章 vLLM 量化推理.md
 
 
第十五章 监控与可观测性.md
第十五章 监控与可观测性.md
 
 
第十六章 分布式部署.md
第十六章 分布式部署.md
 
 
第十四章 服务化部署进阶.md
第十四章 服务化部署进阶.md
 
 
第十章 内存优化：从原理到实践（一）.md
第十章 内存优化：从原理到实践（一）.md
 
 
第十章 内存优化：从原理到实践（二）.md
第十章 内存优化：从原理到实践（二）.md
 
 
第十章 内存优化：实验（三）.md
第十章 内存优化：实验（三）.md
 
 
第四章 vLLM 模型支持与加载（一）.md
第四章 vLLM 模型支持与加载（一）.md
 
 
第四章 模型加载与管理（二）.md
第四章 模型加载与管理（二）.md
 
 

Repository files navigation

📚 简体中文 | ✒️ English

🤖 vLLM 高性能大模型推理

针对 vLLM 的新系列文档包括安装指南、架构介绍、连续批处理、分页注意力机制、分布式推理、监控等内容。

About

🔥 New Course for vLLM associated with installation, architecture, continuous batching, paged attention, distributed inference, monitoring and so on. 🔎 针对 vLLM 的新系列文档包括安装指南、架构介绍、连续批处理、分页注意力机制、分布式推理、监控等内容。

Resources

Readme
Activity

Stars

2 stars

Watchers

0 watching

Forks

0 forks
Report repository

Releases

Packages

Contributors