Efficient Inference with SGLang: Text and Image Generation

第1课：介绍

核心内容：课程整体介绍，讲解了LLM推理的成本问题和SGLang的核心定位，课程由DeepLearning.AI与LMSys、RadixArk联合出品，讲师为RadixArk的Richard Chen。

关键知识点：

• LLM推理是AI应用运行成本最高的部分，逐token生成的特性导致大量冗余计算
• KV缓存通过存储中间计算结果大幅降低单请求的计算量
• SGLang的RadixAttention通过基数树实现跨请求的缓存共享，进一步提升推理效率

第2课：推理概述

核心内容：建立推理的心智模型，讲解推理成本高的根本原因，课程整体学习路径规划，对比训练和推理的计算特性差异。

关键知识点：

• 推理是用户请求到获得响应的过程，是企业规模化部署AI的最大成本项
• 训练是一次性批量计算，推理是在线低延迟的逐token计算，优化思路完全不同
• 课程学习路径：心智模型→KV缓存实现→跨请求缓存→扩散模型优化→未来趋势

第3课：LLM推理基础

核心内容：从零实现注意力机制和KV缓存，理解缓存如何消除单请求内的冗余计算，这是所有LLM推理优化的基础。

关键知识点：

• 注意力机制的三个核心向量：Query（查询）、Key（键）、Value（值）
• 每次生成新token都需要重新计算所有历史token的注意力权重，导致大量重复计算
• KV缓存存储历史token的Key和Value张量，每次生成新token时直接复用，不需要重新计算

代码示例：

# KV缓存核心实现逻辑
def generate_with_kv_cache(model, prompt, max_tokens=100):
    # 首次处理prompt，生成初始KV缓存
    tokens = tokenizer.encode(prompt)
    past_key_values = None
    
    for _ in range(max_tokens):
        if past_key_values is None:
            # 首次计算：处理全部token
            outputs = model(tokens, past_key_values=None)
            past_key_values = outputs.past_key_values
        else:
            # 后续计算：只处理最新的1个token，复用历史KV缓存
            outputs = model(tokens[-1:], past_key_values=past_key_values)
            past_key_values = outputs.past_key_values
        
        # 选择下一个token
        next_token = outputs.logits[-1].argmax().item()
        tokens.append(next_token)
        
        if next_token == tokenizer.eos_token_id:
            break
    
    return tokenizer.decode(tokens)

第4课：高级LLM推理优化

核心内容：讲解SGLang的RadixAttention机制，如何通过基数树实现跨请求的前缀缓存，大幅提升多用户场景下的推理吞吐量。

关键知识点：

• 单请求的KV缓存只在请求生命周期内有效，跨请求缓存可以复用不同用户的公共前缀
• Radix树（基数树）可以高效识别不同请求的公共前缀，相同的上下文只需要计算一次
• 典型适用场景：RAG应用的相同文档上下文、多用户共享的系统提示词、批量推理任务
• 实际效果：在高并发场景下可以达到2-10倍的吞吐量提升，同时降低延迟

代码示例：

# 使用SGLang实现前缀缓存的推理
import sglang as sgl

@sgl.function
def rag_qa(s, document, question):
    s += f"请基于以下文档回答问题：\n{document}\n\n问题：{question}\n回答："
    s += sgl.gen("answer", max_tokens=200)

# 启动SGLang服务，自动启用RadixAttention缓存
runtime = sgl.Runtime(model_path="meta-llama/Llama-2-7b-chat-hf")
sgl.set_default_backend(runtime)

# 多个不同问题共享相同文档上下文，自动复用缓存
doc = "..." # 长文档内容
questions = ["文档的主题是什么？", "提到了哪些关键技术？", "作者是谁？"]

for q in questions:
    result = rag_qa(document=doc, question=q)
    print(f"问题：{q}\n回答：{result['answer']}\n")

第5课：SGLang Diffusion

核心内容：将缓存优化思路扩展到图像生成场景，实现扩散模型的推理加速，同样的优化原则适用于不同模态的生成任务。

关键知识点：

• 扩散模型是迭代降噪过程，每次迭代都需要处理整个图像张量，存在大量冗余计算
• SGLang将相同的缓存原则应用到扩散模型，复用不同采样步之间的公共计算
• 图像生成场景下同样可以实现2-3倍的加速，不需要修改模型结构
• 统一的推理引擎可以同时支持文本和图像生成，降低部署复杂度

代码示例：

# 使用SGLang加速Stable Diffusion图像生成
import sglang as sgl
from PIL import Image

# 加载扩散模型，自动启用缓存优化
sgl.set_default_backend(sgl.Runtime(model_path="runwayml/stable-diffusion-v1-5"))

@sgl.function
def generate_image(s, prompt):
    s += sgl.gen_image("image", prompt=prompt, num_steps=50)

# 生成多张相似主题的图像，自动复用公共计算
prompts = [
    "一只可爱的柯基犬在草地上奔跑，阳光明媚",
    "一只可爱的柯基犬在雪地里玩耍，雪花纷飞",
    "一只可爱的柯基犬在海边散步，海浪拍岸"
]

for p in prompts:
    result = generate_image(prompt=p)
    img = Image.fromarray(result["image"])
    img.save(f"corgi_{p[:10]}.png")

第6课：推理的未来方向

核心内容：讲解推理优化领域的前沿方向和开放问题，统一多模态推理引擎是未来的发展趋势。

关键知识点：

• 当前不同模态（文本、图像、音频）需要独立的推理栈，未来会走向统一的推理引擎
• 统一引擎可以共享GPU资源、调度系统和内存池，大幅降低部署复杂度和成本
• 前沿研究方向： speculative decoding（投机解码）、continuous batching（连续批处理）、异构硬件加速
• SGLang的架构设计已经为未来的多模态统一推理做好了准备