论文精读｜TAO：面向 LLM Agent 服务的工具感知联合调度
Agent 会话有九成以上的时间在等 CPU 上的工具调用。TAO 用一个按字典序比较的三元组给等待中的会话估值，再用多背包动态规划一次性决定谁上 GPU、上哪台。这篇精读按论文原始数据复现了关键图表，也标出了它没赢的地方。
Tag
Inference
4 posts · 3 recommended · all tags
大模型强化学习中的 KL 散度与 K3 估计器：从数学推导到训推一致性
KL 散度在大模型强化学习里既是约束策略不跑偏的那根绳，也是检验推理与训练引擎数值一致性的探针。本文从三种蒙特卡洛估计器推导到 k3 的方差优势、PPO 与 GRPO 的梯度差异，并用 PyTorch 示例与 verl 的实际实现做对照。
聊聊 KV Cache 的显存账：一张卡到底能塞多少并发
把 KV Cache 的显存占用算清楚，再看 PagedAttention 的分块管理省下的是哪一部分。含一份可以直接抄去改的估算脚本，以及几个在生产里反复踩到的坑。
Continuous batching, and where the throughput actually goes
A scheduler-level look at continuous batching: why naive static batching wastes most of the GPU, what the arrival-rate math says about queue depth, and the three places real implementations lose the throughput they just won.