Open Reality
社区出品开源BSD-2-ClauseMCP手机视频转 AI 可查询的持久 3D 场景:41 个 MCP 工具支持测量、路径规划,可导出 LeRobot/GR00T 风格机器人训练数据。

{
"mcpServers": {
"openreality": {
"command": "npx",
"args": ["-y", "openreality-mcp", "serve"]
}
}
}claude mcp add openreality -- npx -y openreality-mcp serve将跳转至 github.com。本站不托管安装包,请遵循目标站点条款。
来源:github.com · 信息以官方页面为准资源简介
Open Reality(BSD-2-Clause 开源)把「用手机拍段视频」变成「AI 能查询的 3D 场景」:上传一段普通手机视频,几分钟后得到一个持久 3D 场景,AI 助手可在其中测量距离与角度、规划路径、盘点物体、描述空间;它以 41 个 MCP 工具接入 Claude Code、Claude Desktop、Codex 与 Cursor,npm 包 openreality-mcp 即装即用。重建核心基于 MIT SPARK Lab 的 VGGT-SLAM 研究线。一个体现严谨度的细节:未校准前所有尺寸只报相对值,只有用真实距离校准后数字才允许被称作「米」;服务器的拒绝与不确定性标签会原样传达给 AI。
面向机器人场景:扫描可导出为 LeRobot/GR00T 风格训练数据集或 Isaac Sim 场景(托管服务提供)。全部工作流可自托管——自有 GPU 机器,或自己的 Modal 账号;另有内置离线模拟器,用 fixture 数据走通全流程,无账号、无 GPU 即可开发与演示。须知:生态尚小(86★,2026-09-14 快照);3D 重建是 GPU 作业,自托管依赖 GPU 或付费算力;自托管服务器下载的 VGGT-1B 重建模型按 CC BY-NC 4.0 授权、仅限非商用,商用需改用官方托管服务或自行向模型权利方取得授权;托管服务定价页面未公示(未知);server/ 与 core/ 目录为私有工作仓的手工同步镜像(各附 MIRROR.md 说明)。
核心能力
- 视频进、3D 场景出:手机视频数分钟生成持久场景,测量(校准前仅相对值)与路径规划
- 41 个 MCP 工具全暴露:Claude Code / Codex / Cursor 即装即用,离线模拟器零门槛
- 机器人训练数据导出:LeRobot/GR00T 数据集与 Isaac Sim 场景,全流程可自托管
适合谁
机器人、3D 与空间计算开发者,想把现实空间变成 AI 可查询、可训练的数据。