最新

记忆增强的大型语言模型（LLMs）对于开发能够长期运行的智能代理至关重要。最近，将强化学习（RL）应用于优化记忆操作，如提取、更新和检索，已成为一个极具前景的研究方向。然而，现有的实现仍然高度分散且特定于任务，缺乏统一的基础设施来简化这些复杂流程的集成、训练和评估。为了解决这一问题，我们提出了MemFactory，这是第一个专门为记忆增强代理设计的统一、高度模块化的训练和推理框架。受统一微调框架（如LLaMA-Factory）成功的启发，MemFactory将记忆生命周期抽象为原子化的即插即用组件，使研究人员能够通过“乐高式”架构无缝构建自定义记忆代理。此外，该框架原生集成了群体相对策略优化（GRPO），以微调由多维环境奖励驱动的内部记忆管理策略。MemFactory开箱即用地支持包括Memory-R1、RMM和MemAgent在内的最新前沿范式。我们在开源的MemAgent架构上使用其公开可用的训练和评估数据对MemFactory进行了实证验证。在评估集上，MemFactory的性能平均优于相应的基础模型，提升幅度最高可达14.8%。通过提供一个标准化、可扩展且易于使用的基础设施，MemFactory显著降低了入门门槛，为未来记忆驱动的人工智能代理的创新铺平了道路。