Tokencake：多智能体KV缓存调度，把延迟打到 vLLM 一半以下
北航、北大、阿里提出 Tokencake，多智能体 KV Cache 框架，用时间+空间双调度、CPU 缓冲与渐进预留，在外部函数调用场景让端到端延迟相较 vLLM 降低 47%，GPU 内存利用率提升近 17%。
推理加速
共 1 篇
共 1 篇
北航、北大、阿里提出 Tokencake，多智能体 KV Cache 框架，用时间+空间双调度、CPU 缓冲与渐进预留，在外部函数调用场景让端到端延迟相较 vLLM 降低 47%，GPU 内存利用率提升近 17%。