Matrix-Game 3.5 – 昆仑万维Skywork发布的实时交互世界模型
Matrix-Game 3.5快速摘要
Matrix-Game 3.5是昆仑万维旗下Skywork团队于2026年7月19日发布的交互式世界模型,支持实时视频生成、长时序记忆、动作控制与游戏世界模拟,适用于世界模型研究、具身智能训练、交互式游戏生成和虚拟环境构建。
- 模型名称:Matrix-Game 3.5
- 开发公司:昆仑万维 Skywork AI
- 发布时间:2026年7月19日
- 主要功能:实时交互式世界生成与动作响应
- 使用要求:需要高性能GPU与推理环境
- 开源情况:核心架构已公开,部分模型已开源
- 适用场景:游戏生成、机器人训练、虚拟仿真
- 技术特点:Patch级记忆注入、长时序一致性、实时生成
- 模型规模:5B版本支持720p实时推理
- 性能表现:单卡720p约20FPS,据2026年官方发布数据
- 记忆能力:最长约1分钟连续场景记忆,据官方技术报告说明
- 训练数据:超过500万视频切片、1万小时训练数据,据2026年官方披露

Matrix-Game 3.5的核心优势
- Patch级空间记忆:利用Depth与Pose构建三维空间记忆,动态检索历史场景信息,最长保持约1分钟连续一致性。
- 实时交互生成:通过DiT推理优化与VAE加速技术,5B模型实现720p约20FPS实时生成。
- 动作控制能力:将键盘、鼠标动作直接融入世界建模过程,提升角色移动、视角切换与场景交互的响应准确性。
- 长时序一致性:Patch Memory持续注入历史上下文信息,减少物体漂移与场景失真问题,提升长视频稳定性。
- 大规模训练数据:基于500万视频切片和1200多个场景训练,提高模型泛化能力与复杂环境适应能力。
Matrix-Game 3.5的主要功能
- 实时世界生成:输入初始画面和动作指令后,持续生成可交互场景,支持游戏世界与虚拟环境实时演化。
- 动作驱动控制:支持前进、跳跃、转向等操作输入,将用户动作转化为生成条件,提高交互可控性。
- 连续视频生成:结合长期记忆机制保持场景连续性,减少角色消失和环境结构变化等常见问题。
- 相机运动控制:基于Pose建模处理镜头轨迹变化,实现第一人称视角和自由视角的连续生成效果。
- 训练数据构建:自动生成动作标签、位姿信息和文本描述数据,支持机器人与智能体训练任务。
Matrix-Game 3.5的技术原理
- 扩散世界模型:采用DiT扩散架构学习环境变化规律,根据当前状态预测未来场景演化结果。
- Patch Memory机制:将历史帧映射到三维空间坐标,推理时动态检索可见区域,实现长期记忆保持。
- 联合动作训练:统一建模动作与状态生成过程,使用户输入能够直接影响世界状态变化结果。
- 多源数据训练:融合游戏视频、虚拟场景和真实视频数据,覆盖1200多个环境与交互场景。
- 实时推理优化:通过蒸馏、量化和VAE压缩技术降低计算开销,实现接近实时的视频生成能力。
Matrix-Game 3.5与主流世界模型对比
| 对比维度 | Matrix-Game 3.5 | Google Genie 3 | 混元3D世界模型2.0 |
|---|---|---|---|
| 开发团队 | 昆仑万维 Skywork AI | Google DeepMind | 腾讯混元 |
| 模型定位 | 交互式世界模型 | 通用世界模型 | 3D世界模型 |
| 开源状态 | 核心架构开源 | 闭源 | 部分能力开放 |
| 实时交互 | 支持 | 支持 | 支持 |
| 连续交互时长 | 分钟级 | 数分钟 | 支持长时序场景生成 |
| 记忆机制 | Patch Memory空间记忆 | 未公开 | 世界状态建模 |
| 控制方式 | 键盘、鼠标、文本提示、相机轨迹 | 导航指令与事件提示 | 文本与3D场景控制 |
| 部署方式 | 支持本地部署 | 官方服务 | 企业生态为主 |
| 主要应用 | 智能体训练、研究开发 | 虚拟世界探索 | 数字孪生与产业仿真 |
Matrix-Game 3.5、Google Genie 3和混元3D世界模型2.0均属于世界模型方向,但侧重点不同。Matrix-Game 3.5强调开源研究、实时交互和Patch Memory长期记忆机制;Genie 3更偏向通用虚拟世界生成;混元3D世界模型2.0则聚焦3D场景构建与产业应用。PixVerse Game、HappyOyster等产品主要面向AI游戏生成,与世界模型的技术路线和应用目标存在明显差异。
如何使用Matrix-Game 3.5
- 获取Matrix-Game 3.5模型:前往GitHub或Hugging Face下载模型权重、推理代码及官方文档,确认对应版本后完成本地部署准备。
- 配置运行环境:准备支持CUDA的NVIDIA GPU,安装Python环境及依赖库,加载模型权重后完成推理服务配置。
- 创建交互世界:输入初始场景、文本提示词或游戏画面,系统自动构建可探索的虚拟环境并生成连续世界状态。
- 控制角色与视角:通过W、A、S、D键控制移动,使用鼠标调整观察视角,也可导入相机轨迹实现自动探索。
- 实时生成与连续探索:模型以约20FPS速度持续输出后续画面,支持分钟级场景记忆和长时间交互体验。
Matrix-Game 3.5相关资源
- 项目官网:https://matrix-game-v3-5.github.io/
- GitHub仓库:https://github.com/Riemann-Dynamics/Matrix-Game-3.5
- HuggingFace模型库:https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base
- 技术论文:https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf
Matrix-Game 3.5的局限性
- 硬件需求较高:虽然5B版本实现实时生成,但720p实时推理仍依赖高性能GPU。普通消费级设备难以长期稳定运行,官方暂未公布轻量级移动端方案。
- 开放生态有限:目前主要面向研究与开发者社区,完整商业化平台仍在建设阶段。部分高级功能尚未开放,相关API接口信息尚未完全公开。
- 场景泛化仍受限制:虽然覆盖超过1200个场景,但训练重点仍集中于游戏环境。面对极端现实场景或专业工业场景时,生成质量可能出现波动。
Matrix-Game 3.5的典型应用场景
- 游戏内容生成:输入角色初始位置和地图截图,通过动作控制持续生成游戏画面,输出连续可交互场景,帮助开发团队降低关卡设计和测试成本。
- 具身智能训练:输入机器人任务目标与环境状态,系统生成丰富交互场景,输出训练数据和动作反馈,为机器人学习提供低成本模拟环境。
- 自动驾驶仿真:输入道路环境与车辆状态,模型生成动态交通场景,输出连续驾驶视频和行为数据,提高仿真测试覆盖率和效率。
- 数字孪生构建:输入现实场景图像和结构信息,通过世界模型生成动态环境,输出具备交互能力的虚拟空间,支持工业模拟与运营分析。
- AI智能体训练:输入任务规则和环境约束,系统生成长期交互世界,输出丰富状态变化数据,为智能体规划与决策训练提供支持。
Matrix-Game 3.5常见问题
Matrix-Game 3.5怎么用?
Matrix-Game 3.5通常通过官方代码仓库部署使用,用户需要准备GPU环境并加载模型权重,然后输入初始场景和动作信号即可生成连续世界。
Matrix-Game 3.5免费吗?
截至2026年7月,官方已开放部分开源资源和代码,但完整商业服务策略尚未完全公开。
Matrix-Game 3.5支持API吗?
公开资料暂未披露完整商业API方案,目前主要以开源框架和模型权重形式提供。
Matrix-Game 3.5和Genie 2哪个好?
两者均属于世界模型方向。Matrix-Game 3.5公开了实时推理和Patch级记忆技术指标,而Genie 2更偏向闭源生态。研究人员通常更容易验证和复现Matrix-Game系列技术路线。
Matrix-Game 3.5支持实时交互吗?
支持。据2026年官方发布数据,5B模型在720p条件下可实现约20FPS实时生成,并支持动作输入驱动场景变化。实际效果仍取决于硬件性能和部署配置。
-
07.23
智慧医院APP开发方案:互联网医院系统源码架构:功能与部署全解析
-
07.23
MAF 入门第六期:人工审核(HITL)
-
07.23
DeepSeek 和 CC Switch 开启思考模式完整配置教程
-
07.23
服务器数据恢复:RAID5上层分区丢失的XFS文件系统数据恢复案例
-
07.23
Higress v2.2.3 发布:正式入驻 CNCF Sandbox:AI Gateway 与 Ingress 迁移能力双向加固
-
07.23
AI英语在线考试平台的研发
推荐专题
热门阅读
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏