AMPLIFIER / J-SYSTEM16 SEP 2026
人类 × AI⑥｜记忆篇：它不缺地方存，缺的是谁来决定记什么
说到大模型的“记忆”，你会听到一串名词：KV 缓存是临时存储，状态空间模型用循环压缩信息，MoE 是“专家记忆”，RAG 靠外部数据库检索，LoRA 能给模型补训练。清华唐杰团队今年 7 月发了一篇综述，专门给这些名词排座次。名词背后有个更根本的问题：大模型到底怎么记东西？又该怎么让它记得更好？
大模型的记忆其实只有三处：会的、正在看的、能查的。它不缺地方存，缺的是一个决定“什么该从这一处挪到那一处”的机制——人脑每天睡觉时做的就是这件事。
WEIGHTS 01 会的·改不动 |
CONTEXT 02 正在看的·会清空 |
RETRIEVAL 03 能查的·要先找到 |
AMPLIFIER / 01
一、先把名词归位：三处地方，一个问题
那篇综述用三把尺子量一切记忆：存在哪（藏在模型里，还是单独放着）、什么时候写（训练时写死，还是用的时候边用边改）、存多久（一次对话，还是长期）。用这三把尺子量一遍，那串名词其实只落在三处。
第一处，会的——参数。 模型训练时读过的一切，最后变成几千亿个数字。这是它真正的长期记忆，相当于一个学者的学问。特点是：量大、取用快、不用查；但改不动、指不出来——你没法说“它关于某件事的知识存在第几个数里”，也没法只删掉一条错的。
第二处，正在看的——上下文。 你这次对话给它的所有文字，就是它的工作台面。KV 缓存不是另一种记忆，是这张台面的“已计算版本”：模型读过的每个字，算一遍存起来，下一个字就不用重算。对话一结束，台面清空。
第三处，能查的——外部资料。 RAG、知识库、你写给它的规则文件，都在这里。相当于给学者配一个图书管理员：书架上的东西可以随时增删改，但学者本人并不“会”，每次都得先查到、再读进台面。
剩下两个名词，严格说不是新的一处：
状态空间模型是另一种台面。它不保留全部原文，而是边读边把历史压进一个固定大小的状态里——像只记笔记、不留录音。好处是再长的内容，占的地方都一样；代价是压缩有损，早先的细节会被挤掉。
MoE 讲的不是记忆，是怎么分配“会的”那一处。模型分成很多个“专家”，每次只叫其中几个出来干活。比如 DeepSeek-V3 总共约 6710 亿个参数，每个字只动用其中约 370 亿。它让学问可以存得更多，而每次思考的成本不跟着涨。
LoRA 也要说清楚：它不是把整个模型重新训练一遍。它把原模型冻住不动，在旁边加几块很小的“补丁”矩阵，只训练补丁——通常就加在注意力那几层上。这是往“会的”那一处，便宜地写一点新东西。
名词有五六个，地方只有三处：会的、正在看的、能查的。
AMPLIFIER / 02
二、真正的缺口：没有人负责“挪”
三处地方都有，而且都在变大：参数越来越多，台面从几千字扩到上百万字，外部资料想放多少放多少。那为什么用起来还是“记不住”？
因为缺的不是仓库，是搬运。
看人是怎么记的：白天的经历先由海马体快速记下，这是临时的；晚上睡觉时，大脑把其中值得留的反复回放，慢慢写进皮层，变成长期的；不值得的，就让它淡掉。（另一个系列《脑科学与AI》第 30 篇专门讲过这套双系统。）
人的记忆好，不是因为存得多，是因为每天都有一次“挑出来、挪过去、忘掉其余”。
大模型没有这一步。它“会的”只在训练时由厂商写入，部署之后就冻结了；你跟它聊了一年，它的参数一个数字都没变。它“正在看的”每次对话结束就清空。它“能查的”全靠你往里放。
所以今天你以为它“记住了”的东西，其实全是重读——要么是你每次都塞给它的规则文件，要么是检索系统替它翻出来的旧记录。它从不自己决定该记什么。
AMPLIFIER / 03
三、为什么“把台面做大”解决不了
最直觉的办法是：把上下文开到一百万字，什么都塞进去，不就记住了？
不行，有三个原因。
第一，贵。 台面上每多一个字，KV 缓存就多存一份，计算量也跟着涨。上百万字的台面能做出来，但不能天天这么用。
第二，放进去不等于看得见。 研究者早就测过一个现象，叫“迷失在中间”：关键信息放在长文本开头或结尾，模型找得到；放在中间，准确率明显下降。
第三，台面只堆不清，会自相矛盾。 去年的规则和今年改过的规则都摆在上面，它不知道该听哪条。
记忆的质量不看存了多少，看要用的时候调不调得出来。
这正是这个系列反复说的那句话：“有这条”不等于“判断时它会被调到”。 对人如此，对模型也如此。
AMPLIFIER / 04
四、怎么改善：研究在补什么，我们现在能做什么
研究这一侧，在补的正是“挪”这一步。 那篇综述把记忆的动作拆成四个：写入、路由、状态转移、巩固。前沿在做三件事：
—让台面更便宜——压缩 KV 缓存，把注意力和状态空间模型混着用。—给模型装一个可寻址的独立记忆模块，能单独增删，不必动整个模型。—让模型在使用中更新自己——比如谷歌的 Titans 架构，在推理时边读边改一部分参数。这一路最难，难在一个老问题：学新的时候容易把旧的冲掉。
使用者这一侧，“挪”这一步现在只能由人来做。 四条做法：
—先分层再存。 稳定的规则和判断，写成短文件，每次开工都让它读——这是放在台面上的；大量参考资料，进知识库让它查——这是放在书架上的；只有那些稳定、高频、而且你有一套题能考它的能力，才值得用 LoRA 写进“会的”那一处。—每做完一件事，挑一次。 这一次里有什么值得留下？写下来。写下来才存在——没写下来的，下次只能重新形成看法，留不下方向，也留不下幅度。—新规矩进来，旧规矩要划掉。 只增不删的记忆，越存越乱。这是在替它做“忘”。—定期考它调不调得出来。 用你自己的题，问它“这种情况该怎么判断”，看它能不能把该用的那条找出来。存了却调不出，等于没存。
在模型学会自己挑、自己挪、自己忘之前，这三件事是用 AI 的人的活。
AMPLIFIER / 05
五、推翻条件
这篇的判断有一个明确的前提：模型部署之后不会从使用中学习。出现下面的情况，就要改判：
—出现一个在使用中持续更新参数、而且长期不明显忘旧的模型产品——“挪”这一步开始由机器自己做，人的活要重新划分。—百万字级的台面变得便宜，而且在中间位置找信息也几乎不掉准确率——“书架”这一层会变薄，很多资料直接塞进去就行。
出现什么，就承认错了。条件先写在这里，到时候对着看。