LLM 应用中的状态与记忆

一个越来越强的直觉：LLM 应用里被称为「记忆」的东西，九成是状态管理，一成才是记忆。

对话历史、用户偏好、任务进度、中间产物——这些都是状态。它们有明确的生命周期：什么时候写入、什么时候过期、什么时候该被压缩成摘要。这些问题在客户端开发里早就被研究透了，只是换了个名字叫 memory 之后，大家突然开始从零造轮子。

真正配得上「记忆」这个词的，只有那部分无法从规则推导、需要从经历中沉淀的东西：这个用户说的「简洁」到底是多简洁，这类任务上次失败在哪一步。

区分这两者的实际意义在于工程决策：

• 状态问题用状态的工具解决——存储、索引、生命周期管理，全部可测试；
• 记忆问题才轮到模型和检索出场，而且应该默认它会记错，任何被回忆起来的内容都要能被追问来源。

把 memory 当黑盒整体去做的系统，最后往往两头都做得不好。