
Tokencake:多智能体KV缓存调度,把延迟打到 vLLM 一半以下
北航、北大、阿里提出 Tokencake,多智能体 KV Cache 框架,用时间+空间双调度、CPU 缓冲与渐进预留,在外部函数调用场景让端到端延迟相较 vLLM 降低 47%,GPU 内存利用率提升近 17%。
大模型与 LLM 技术前沿、推理优化与训练实践。

北航、北大、阿里提出 Tokencake,多智能体 KV Cache 框架,用时间+空间双调度、CPU 缓冲与渐进预留,在外部函数调用场景让端到端延迟相较 vLLM 降低 47%,GPU 内存利用率提升近 17%。
用Go语言重写AI Agent框架,性能提升16倍,180纳秒启动一个智能体,内存占用只要1.2KB,这就是Agno-Go带来的极致体验

面对热火朝天的AI投资狂潮,一位华尔街老兵提出了不一样的声音:我们可能正在经历一场新的技术泡沫。从电力瓶颈到监管盲区,这篇文章用大白话告诉你,AI热潮背后可能隐藏的风险。

告别在浏览器与终端之间来回切换!Cursor CLI 将强大的 AI Agent 注入命令行,支持聊天式生成代码、文件读写、代码审查与自动化集成(CI/CD),帮助开发者在 SSH、Vim/Neovim、本地或远程环境下 …

智谱AI发布GLM-4.5系列模型,拥有3550亿参数,在SWE-bench测试中超越GPT-4.1,全球AI排名第三,支持代码生成、PPT制作、网站开发等全栈能力。
DeepSeek-V3.2-Exp重磅发布,DSA稀疏注意力技术突破,推理速度提升2-3倍,内存减少30-40%,API价格再降50%以上

深入探讨AI Agent开发的核心技巧,包括Prompt工程、上下文管理、工具设计、反馈循环等关键要素,助你快速掌握AI Agent开发精髓

OpenAI发布GPT-5.2三连发,编码测试刷新纪录,完成任务比专家快11倍还便宜99%,Altman说1月就能解除红色警报了