大模型 LLM

大模型与 LLM 技术前沿、推理优化与训练实践。

28 篇文章

真正的问题是「Sub-Agents和Agent Teams到底怎么选」。大多数人在任务复杂时立刻想到多Agent系统，但这往往是错误的起点。理解这个问题的答案，能帮你省下大量返工时间。

497 位开发者的匿名实测数据揭示：Claude Opus 4.7 因系统提示词膨胀，比 4.6 平均多消耗 37.3% 的 token，API 成本同步上涨。本文用真实数据拆解这波'隐形涨价'的来龙去脉，以及三个立即可 …

AI Agent 能推理、能规划、能对话，但每次会话结束就忘得一干二净。Ghost 项目用一套纯 PostgreSQL 的基础设施解决这个问题，让数据库变成 Agent 的记忆宫殿。

Apple 2023 年的一篇论文，让 4000 亿参数的模型跑在了普通 MacBook 上。核心技术 MoE + 量化，背后藏着一个关于'按需调用'的工程哲学。

oMLX 专为 Apple Silicon 打造，通过 MLX 框架、SSD KV 缓存和连续批处理，将长上下文场景下的 TTFT 从 90 秒降到 1-3 秒，全面超越 Ollama。

Ramp 估值 320 亿美元，每年处理 1000 亿美元交易。他们的 AI 之路不走寻常路：不建一百个 Agent，而是用一个 Agent 配一千种技能。本文是他们工程师在大会上的完整分享。

Mistral AI 发布首个开源 Lean 4 代码代理 Leanstral，让 AI 既能写代码又能自证正确性。这次我们聊聊形式化验证和 AI 编程的那些事儿。

文学编程提出40年却始终是小众玩具？AI Agent 的出现彻底改变了游戏规则——它们可以替我们维护那套令人崩溃的平行叙事。

一款让 Claude Code、Codex 等 AI 代理安全运行在沙箱中的 macOS 工具，彻底杜绝误删文件、泄露密钥等安全隐患。

Andrej Karpathy 又双叒叕搞事情了！这次他用 200 行纯 Python 代码实现了一个可训练、可推理的 GPT模型，没有任何依赖库。这可能是史上最简洁的大语言模型实现。