← 返回资源目录
V

VoiceMem

社区出品开源Apache-2.0APP

面向实时语音 Agent 的长期记忆系统:「流式双脑」架构在对话进行中完成记忆提取,附 arXiv 报告与开源模型、数据集。

VoiceMem 精选卡片:官方「流式双脑」架构图配深色版式,左侧 APP 徽章、一句话价值与 Apache-2.0 许可证
卡片:AIHub 编辑制作(视觉素材来自各产品官方渠道)
获取资源前往官方下载 ↗

将跳转至 github.com。本站不托管安装包,请遵循目标站点条款。

来源:github.com · 信息以官方页面为准

资源简介

VoiceMem(Apache-2.0 开源,官方声明永久保持全部开源)是面向实时语音 Agent 的长期记忆系统,核心是「流式双脑」架构:左脑用 Schema 与实体组织事实记忆,右脑用长短期情绪归因与跨实体节点管理人格、情绪与关系——不只记住「用户说过什么」,也记住「用户是谁、有什么感受」。整条流水线是流式的:用户还在说话时即完成音频分段、转写、记忆提取并写入记忆图;查询先路由再排序,只把 Top-K 条记忆注入上下文,配合 0–300 ms 投机预取,官方称几乎不增加延迟。

项目带完整研究配套:arXiv 技术报告(arXiv:2608.26005)、HuggingFace 开源模型系列(Qwen2.5-Omni、Qwen3-Omni、Step-Audio2-Mini 微调版)、ChatMem-400K 数据集与可复现评测;记忆检索完全在本地运行,仅写入时的信息提取调用 OpenAI API。官方自报基准:LoCoMo 91.2%(对比 Mem0 61.68%,仅需 Top-5 条记忆)、响应 134 ms(对比 Mem0 1,440 ms)、每次约 430 个记忆 token(对比 Mem0 6,956)。须知:研究型项目,工程化成熟度未知;评测数字为官方自报、未经独立复核;基线采集时最后 push 为 2026-09-05,其后暂无新提交。

核心能力

  • 流式双脑记忆:左脑事实(Schema/实体)+ 右脑人格情绪,说话过程中即完成检索
  • 官方自报响应 134 ms、每次约 430 记忆 token,0–300 ms 投机预取
  • arXiv 报告 + HuggingFace 模型系列 + ChatMem-400K 数据集,评测可复现

适合谁

语音 Agent 开发者与语音交互研究者,需要低延迟、带人格情绪的长期语音记忆。