AI记忆：从短期到长期，技术演变与挑战

记忆，一个原本属于人类的特性，如今正在被赋予给LLM（大型语言模型）。从谷歌的Gemini到Anthropic的Claude，再到OpenAI的ChatGPT，记忆功能正逐渐从理论走向实践。

谷歌的Gemini不仅能保留对话中的大量信息，还能跨越多次对话，提炼用户的偏好和细节。而Anthropic的Claude则通过检索历史聊天记录，帮助用户无缝继续之前的对话。

OpenAI在2024年便已上线ChatGPT的记忆功能，让用户可以显式记住特定内容。其CEO山姆奥特曼更表示GPT-6的核心改进也将围绕记忆展开。

除了这些大厂的努力，xAI也让其模型Grok具备了多轮对话的记忆能力，并且用户可以看到并管理这些记忆内容。

LLM记忆赛道愈发拥挤，新技术和产品层出不穷。例如，字节跳动联合高校发布了具备长期记忆能力的多模态智能体M3-Agent，让记忆扩展至视频、音频等多模态数据。

此外，一批关注AI记忆的创业公司也应运而生，如Letta AI的MemGPT、记忆张量（上海）科技有限公司的MemOS，以及国内AI创企RockAI的Yan 2.0 Preview等。

这些案例背后，记忆涉及存储、检索、提炼和遗忘等复杂机制。它正成为大模型蜕变及智能体大规模应用的关键技术。

接下来，我们将探讨LLM记忆的实现方式及其类型。

LLM记忆的类型及实现

记忆被定义为获取、存储、保留和检索信息的过程。它分为感官记忆、短期记忆和长期记忆。

• 感官记忆：学习原始输入的嵌入表示。
• 短期记忆：上下文中的记忆，受Transformer上下文窗口长度限制。
• 长期记忆：跨对话使用的记忆，包括外部向量存储。

我们重点探讨长期记忆及其实现方式。

上下文内记忆

上下文内记忆是一种短期记忆，将信息放入模型的上下文窗口。这种方法适用于有足够长上下文的LLM，但容量有限且临时性。

外部记忆

外部记忆是构建长期记忆的主流方式，将信息存储在外部数据库中，通过信息检索技术取回。它包括记忆写入、管理和读取三个操作。

参数化记忆

参数化记忆尝试将信息编码进模型参数中。它分为模型微调、知识编辑和轻量化适应等方法。

类人的分层式记忆和情境记忆

研究者从认知科学中汲取灵感，设计了分层式记忆系统。它包括情景记忆和语义记忆，使AI不仅能「记住」还能「理解」事情背后的模式和意义。

近期值得关注的记忆系统

大厂的做法

OpenAI的ChatGPT通过用户显式要求和对话历史来实现记忆功能。Anthropic的Claude则更简单地检索和引用过去聊天记录。

MemGPT与MemOS

MemGPT使用一个专门的记忆LLM智能体来管理工作LLM的上下文窗口。而MemOS则借鉴传统操作系统设计，将明文、激活状态和参数记忆统一调度管理。

MIRIX与G-Memory

MIRIX将记忆细分为六类处理，而G-Memory设计了三层图式基于模型，支持定制化记忆视角与跨智能体语义映射。

关键挑战与未来趋势

挑战：从数据堆砌到智能管理

• 遗忘机制：当前系统缺乏有效遗忘机制，需设计更精巧的记忆管理机制。
• 信息冲突与更新：需解决新旧信息冲突与更新难题。

挑战：效率、成本与可扩展性

• 外部记忆的延迟：需探索更高效混合架构和低成本参数内更新技术。