161、vLLM 高性能推理服务：PagedAttention、连续批处理与生产调优参数
一个让我熬夜的线上事故
上个月，我负责的AI对话服务在晚高峰突然炸了。用户反馈响应越来越慢，最后直接超时。我登录服务器一看，GPU显存被打满，推理请求排队到几百个，每个请求的TTFT（首Token延迟）从正常的200ms飙升到8秒。更诡异的是，同样的模型在测试环境跑得好好的，上线后却像吃了泻药一样崩了。
排查了一整夜，发现罪魁祸首是推理框架的显存管理——传统方案为每个请求预分配固定大小的KV Cache，结果长序列请求一多，显存碎片化严重，新请求直接OOM。当时我就在想，要是早点用vLLM的PagedAttention，这锅根本不用背。
PagedAttention：把显存当虚拟内存管
传统Transformer推理时，每个请求的Key-Value Cache是连续分配的，像一个大数组。假设一个请求生成长度为1024的序列，KV Cache就得占满1024个slot，哪怕实际只用了500个token，剩下的524个slot也白白占着显存。更坑的是，不同请求的序列长度差异巨大，显存碎片化就像硬盘碎片一样，越用越卡。
vLLM的PagedAttention借鉴了操作系统的分页管理。它把KV Cache切成固定大小的“块”（block），每个块通常包含16或32个token的KV对。请求的KV Cache不再是一整块连续内存，而是由多个不连续的块通过页表映射组成。
举个例子，一个请求生成了50个toke
