AI已经能实时生成游戏世界了,传统游戏引擎还有必要吗?3 个世界模型实测指标对比

摘要:世界模型擅长生成可交互的环境画面,传统游戏引擎擅长执行精确规则、物理模拟和状态管理。两类技术处在不同层面,最合理的方向是组合使用。

结论先行:传统游戏引擎仍然必要。Genie 3、WHAM-RT/WHAMM、Oasis 三个代表性世界模型已经能在 10 到 24 FPS 的帧率下实时生成可操作的画面,但它们的连续一致性以秒或分钟计,并且在物体记忆、伤害结算、生命值统计等规则层面会出错。游戏引擎提供的是确定性的规则执行、物理计算、状态持久化和多人同步,这些正是商业游戏运行的底座。现阶段的世界模型适合承担环境生成、视觉预测和内容创作辅助,引擎继续负责核心规则,两者组合成混合架构。

下文先说明世界模型与传统引擎在运行逻辑上的差别,再用三个模型的公开指标判断它们走到了哪一步,然后拆解 WHAMM 公开披露的具体失败案例,接着列出成熟引擎承担的工程职责,最后给出混合架构的分工方式、场景选择和一段可运行的代码示例。

ai-world-models-vs-traditional-game-engines-image-0

To Know:世界模型与游戏引擎术语预备

术语 解释
世界模型 根据当前画面和玩家操作,预测并生成下一时刻环境状态的 AI 模型
FPS 本文指每秒呈现的画面帧数;在游戏类型语境中也指第一人称射击游戏
分辨率 画面横向和纵向的像素数量,例如 640×360、720p
上下文窗口 模型预测后续状态时能参考的历史信息范围,世界模型里常以秒或帧计
自回归生成 每一帧都以前面生成的帧为依据继续生成,误差会逐帧累积
物理引擎 计算碰撞、运动、受力等物理约束的系统
状态持久化 把玩家、任务、世界对象的状态保存下来,随时可以读取和继续
多人同步 让不同玩家看到并操作同一份一致游戏状态的机制
确定性 相同输入总是得到相同结果,是调试、回放和联机的前提
游戏引擎 组织渲染、输入、物理、动画、网络和资源管理的开发与运行系统
混合架构 由传统程序系统掌管规则和状态、由生成模型提供内容的组合方案

1 AI 实时生成游戏世界:世界模型与游戏引擎的运行逻辑差异

1.1 世界模型从生成素材走向生成世界

过去 AI 在游戏开发中主要生成贴图、模型、配音等素材,素材最终仍交给引擎组装运行。世界模型改变了这个分工:模型直接接收玩家的键盘或手柄输入,预测下一帧画面,循环往复,形成一个“可以玩”的环境。Google DeepMind 的 Genie 3、微软研究院的 Muse 系列(WHAM-RT/WHAMM)、Decart 与 Etched 的 Oasis 是这一方向的三个代表。

传统游戏的运行逻辑是开发者预先定义场景、模型、规则和物理系统,玩家操作触发预设逻辑,引擎计算出新状态后再渲染画面。世界模型的逻辑是“观察 + 动作 → 预测下一帧”,规则隐含在训练数据学到的视觉动态里。前者的画面由状态计算而来,后者的画面本身就是模型对状态的近似。

1.2 AI 写代码和 AI 生成画面属于两条路线

2026 年 11 月 9 日,Anthropic 工程师 Felix Rieseberg 发布的 Saltline 常被拿来和世界模型一起讨论。这是一款可在浏览器运行的小规模第一人称射击可玩原型,场景是雨夜集装箱港口,包含一个任务关卡。按开发者本人自述的估算,Claude Fable 5.2 在单次提示词、无人工反馈的条件下用了约 8 小时,消耗约 4.45 亿输入 Token(大量为缓存读取)和约 270 万输出 Token,按 API 定价估算约 550 美元;这些数字来自开发者公开帖子,属于自述估算。

Saltline 的“3A”只是开发者设定的实验目标和视觉类比。它的技术路线是 AI 生成约 1.4MB 的 HTML/JavaScript 代码,模型、纹理和声音都由代码与 Shader 程序化生成,运行时由浏览器通过 Three.js 和 WebGL 在本地渲染。这条路线里,AI 在开发阶段工作,运行阶段仍是确定性的程序,本质上沿用了“引擎式”运行逻辑。世界模型则让 AI 在运行阶段逐帧生成画面,两者的成本结构和可靠性截然不同。

ai-world-models-vs-traditional-game-engines-image-1

2 三种世界模型实时生成游戏世界的技术指标

2.1 三个模型的公开指标对比

下表中的数字均为各团队在官方技术演示环境下公布的指标,测试条件互不相同,适合判断量级,不适合直接横向排名。

指标 Genie 3(Google DeepMind) WHAM-RT/WHAMM(Microsoft Research) Oasis(Decart & Etched)
公布时间 2025 年 8 月 5 日 2025 年 2024 年 10 月
演示环境 文本提示生成的通用环境 类 Quake II 交互环境 类方块沙盒世界
帧率 最高 24 FPS 10 FPS 以上 20 FPS
分辨率 720p 640×360 官方未作为重点指标
一致性/记忆 环境保持数分钟一致,视觉记忆约回溯一分钟 上下文约 0.9 秒(10 FPS 下约 9 帧) 依靠 Dynamic Noising 等技术抑制误差累积
模型规模/开放度 未公开权重 研究演示 500M 参数,开源代码与权重
生成方式 实时自回归世界生成 基于 MaskGIT 的生成 Transformer 潜空间扩散 + 自回归

2.2 Genie 3:面向通用环境的可控世界生成

Genie 3 的目标是通用世界模型:用户用文字描述一个世界,就能实时进入探索,向前走模型生成前方,转身模型生成新视角。它还支持 Promptable World Events,用文字提示改变天气、出现物体等世界事件。Google 也展示了 Genie 3 与 SIMA 智能体结合的实验,智能体在生成的世界里通过导航动作完成目标,这说明世界模型有望成为训练智能体的环境。

2026 年 1 月 29 日,基于 Genie 3 的实验性网页应用 Project Genie 面向美国地区 18 岁以上的 Google AI Ultra 订阅用户开放,提供世界草绘、探索和重混功能。官方披露每次生成体验有 60 秒限制,角色控制可能有延迟,物理规律不一定准确,Promptable World Events 当时尚未集成。

2.3 WHAM-RT/WHAMM:用少量数据迁移到新游戏

微软的 Muse(World and Human Action Model)最初用 Ninja Theory 的 Bleeding Edge 训练,数据包括超过 10 亿张游戏图像和控制器动作,约合 7 年连续游戏时间。实时版本把同类技术迁移到 Quake II,新游戏只用了约一周经过整理的游戏数据,生成速度达到 10 FPS 以上,分辨率提升到 640×360。

“一周数据”描述的是迁移到新游戏时使用的数据规模,与训练时长或从零训练的成本无关。它的意义在于:已有世界模型可以用相对少量的新数据适配新的交互环境,这是降低数据门槛的重要信号。

2.4 Oasis:开源的 20 FPS 实时交互实验

Oasis 由空间自编码器、基于 Transformer 的潜空间扩散主干、自回归生成和用户输入条件控制组成,支持移动、跳跃、拾取物品和破坏方块。官方给出的实时性约束很直观:20 FPS 意味着每帧 50 毫秒,要达到 25 FPS 则需在约 0.04 秒内生成一帧。

Oasis 是技术演示,未获得微软或 Mojang 的 Minecraft 授权。官方也表示,要进一步提速并降低大规模服务成本,需要更高效的推理基础设施。这点揭示了世界模型的成本特征:每一帧都是一次推理,玩家玩多久,GPU 就要算多久。

3 世界模型生成的游戏世界为什么会出错

3.1 WHAMM 公开披露的具体失败案例

微软在 WHAMM 技术文章中详细列出了模型的局限,这份清单是判断世界模型成熟度最有价值的一手证据。

失败现象 具体表现 根源
对象遗忘 超出视野的物体会被模型忘掉 上下文仅约 0.9 秒(9 帧)
敌人凭空消失/出现 玩家低头看地面再抬头,敌人可能消失或重新出现 画面之外没有持久化的对象状态
生命值统计不准 血量数字可能出现错误变化 数值由画面“猜”出,缺少计数逻辑
敌人交互错误 伤害计算与命中判定存在偏差 规则从数据中近似学习,缺少确定性结算
关卡边界冻结 只训练了 Quake II 一个关卡的一部分,到达训练数据终点后生成可能冻结 生成范围受训练数据覆盖
大规模延迟 大量用户同时在线体验时可能出现明显延迟 每帧实时推理的服务压力

微软对此的定性很准确:这是生成式模型对环境的近似,玩家是在体验模型,而原版 Quake II 的完整体验仍由原游戏提供。

3.2 一致性问题来自自回归结构本身

3.2.1 记忆长度决定世界能“记住”多久

世界模型只能依据上下文窗口里的历史帧预测未来。WHAMM 的 0.9 秒窗口意味着一个敌人离开视野约 9 帧后,模型就失去了它存在的依据。Genie 3 把视觉记忆延伸到约一分钟、一致性维持到数分钟,已是明显进步,但游戏常需要玩家几小时后回到同一房间仍看到被打开的箱子,这要求的记忆尺度高出几个数量级。

3.2.2 规则以“看起来合理”为目标

模型的训练目标是让下一帧看起来合理。扣血、弹药计数、任务进度这类需要精确累加的规则,在画面上只占几个像素,模型很容易把它们生成得“像样但错误”。引擎里一行 hp -= damage 就能保证正确的事情,在世界模型里需要大量数据和结构设计去逼近。

3.3 Genie 3 的动作空间与交互时长限制

Genie 3 官方承认的限制包括:智能体可直接执行的动作范围有限,多个独立智能体之间的复杂交互仍有困难,现实地理位置无法精确还原,文字渲染不稳定,连续交互主要以数分钟计。动作空间有限意味着复杂的技能组合、背包操作、对话分支难以直接表达;多智能体交互困难则直接影响联机和群体 AI 场景。

4 传统游戏引擎提供的核心能力

4.1 以 Unreal Chaos Physics 为例看引擎的工程深度

Unreal Engine 的 Chaos Physics 系统覆盖刚体动力学、破坏系统、网络物理、布料模拟、布娃娃系统、车辆物理、流体模拟、物理动画和头发模拟。这些模块的价值在于可控、可重复、可调试:同一颗子弹以同样角度命中同一面墙,碎片的计算结果可以复现,开发者能逐帧定位问题,网络物理还能让多台机器上的结果保持一致。

4.2 游戏引擎承担的八类系统职责

引擎系统 主要作用 世界模型目前的对应能力
场景系统 管理地图、对象和层级 由画面隐式表达,对象缺少独立身份
物理系统 处理碰撞、运动和受力 从数据中近似学习,准确性有限
动画系统 管理角色骨骼和动作 画面级生成,难以精确控制骨骼
网络系统 处理多人同步 多智能体复杂交互仍是难点
资源系统 管理模型、贴图和音效 资源即模型权重,难以单独替换
状态管理 保存玩家、任务和世界状态 受上下文窗口限制,WHAMM 约 0.9 秒
渲染系统 稳定输出指定画质的画面 720p/24 FPS 量级,受推理算力约束
调试工具 定位错误和性能瓶颈 输出为概率生成,难以逐步断点调试

4.3 确定性是商业游戏的生命线

确定性让游戏可以录制回放、做自动化测试、复现玩家提交的 Bug,也是帧同步联机和反作弊的基础。世界模型的输出带有随机性,同一输入可能生成不同结果,这对创作探索是优点,对需要公平竞技、存档读档、平衡性调优的商业游戏则是障碍。从这个角度看,引擎和世界模型的差异不在画质,而在“结果是否可承诺”。

ai-world-models-vs-traditional-game-engines-image-2

5 世界模型与传统游戏引擎的融合:混合架构

5.1 混合架构的分工原则

混合架构的核心原则是:凡是需要被“承诺”的东西交给引擎,凡是需要“多样”和“生成”的东西交给模型。引擎持有权威状态(血量、背包、任务、坐标、联机数据),模型负责动态环境、内容生成、NPC 行为和创作辅助,模型的输出必须经过引擎校验后才能写入状态。Saltline 已经展示了这种思路的一个变体:大语言模型在开发阶段生成全部代码,运行时完全由确定性程序执行。

ai-world-models-vs-traditional-game-engines-image-3

5.2 用 LLM 驱动 NPC 行为的极简示例

下面的示例演示混合架构中最容易落地的一环:引擎保存 NPC 的权威状态,大语言模型只负责“提议”下一步行为,引擎按白名单和数值边界校验后再执行。接口采用 OpenAI 兼容格式。

import json, openai

client = openai.OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apiyi.com/v1")

state = {"npc": "港口守卫", "hp": 80, "player_distance": 12, "alert": False}
prompt = f"根据状态给出NPC下一步行为,只输出JSON,action取值 patrol/chase/talk:{json.dumps(state, ensure_ascii=False)}"

resp = client.chat.completions.create(
    model="YOUR_MODEL_NAME",  # 在控制台选择可用模型
    messages=[{"role": "user", "content": prompt}],
)
print(resp.choices[0].message.content)
查看完整实现:引擎校验 + 模型提议的 NPC 决策循环
import json
import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1",  # OpenAI 兼容接口,可切换不同模型对比效果
)

ALLOWED_ACTIONS = {"patrol", "chase", "talk", "retreat"}


class EngineState:
    """引擎侧的权威状态:所有数值只在这里修改"""

    def __init__(self):
        self.npc = {"name": "港口守卫", "hp": 80, "max_hp": 100, "alert": False}
        self.player_distance = 12.0

    def snapshot(self) -> dict:
        return {"npc": self.npc, "player_distance": self.player_distance}


def propose_action(state: dict, model: str) -> dict:
    """让模型提议行为,模型只能读状态,不能直接改状态"""
    system = (
        "你是游戏NPC的决策模块。只输出一个JSON对象,"
        '格式:{"action": "patrol|chase|talk|retreat", "line": "一句台词"}'
    )
    resp = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": json.dumps(state, ensure_ascii=False)},
        ],
        max_tokens=200,
    )
    text = resp.choices[0].message.content.strip()
    try:
        return json.loads(text)
    except json.JSONDecodeError:
        return {"action": "patrol", "line": ""}  # 解析失败时回退到安全默认行为


def validate_and_apply(engine: EngineState, proposal: dict) -> str:
    """引擎校验:白名单 + 规则约束,模型输出不合法则拒绝"""
    action = proposal.get("action")
    if action not in ALLOWED_ACTIONS:
        action = "patrol"
    if action == "chase" and engine.npc["hp"] < 20:
        action = "retreat"  # 规则由引擎决定,低血量禁止追击
    if action in {"chase", "retreat"}:
        engine.npc["alert"] = True
    line = str(proposal.get("line", ""))[:60]  # 限制台词长度,防止 UI 溢出
    return f"{engine.npc['name']} -> {action}:{line}"


if __name__ == "__main__":
    engine = EngineState()
    proposal = propose_action(engine.snapshot(), model="YOUR_MODEL_NAME")
    print(validate_and_apply(engine, proposal))

这个模式和 WHAMM 的失败案例形成对照:血量、警戒状态由引擎保存,模型“忘了”也不会让敌人凭空消失;模型输出非法动作时,引擎回退到安全行为。

🚀 快速开始:搭建 NPC 决策原型时,可以通过 API易 apiyi.com 用同一个 API Key 调用 OpenAI、Claude、Gemini 等模型,新用户有免费测试额度,便于比较不同模型的台词质量、响应延迟和 JSON 输出稳定性。

5.3 场景推荐:何时选择世界模型,何时坚持游戏引擎

5.3.1 适合世界模型的场景

  • 概念验证与灵感探索:用文字快速生成可走动的世界,验证美术方向和氛围,Project Genie 的草绘与重混功能就面向这类需求。
  • 智能体训练环境:Genie 3 与 SIMA 的实验说明,生成式世界可为 AI 智能体提供大量多样化的训练场景。
  • 短时互动体验:一分钟级别的互动展示、营销体验、研究演示,和当前数分钟的一致性上限相匹配。

5.3.2 必须依赖游戏引擎的场景

  • 有存档和长线进度的游戏:任务、背包、成长数值需要状态持久化。
  • 竞技与联机游戏:需要确定性结算、多人同步和反作弊。
  • 物理玩法驱动的游戏:破坏、载具、布料等玩法依赖 Chaos Physics 这类可调试系统。
  • 需要上线运营的商业项目:测试、性能分析、补丁更新都依赖引擎工具链。

5.3.3 适合混合架构的场景

  • 开放世界的动态内容:引擎负责地形与规则,模型生成支线事件、NPC 对话和环境描述。
  • AI 辅助开发:像 Saltline 那样由大模型在开发阶段生成代码、Shader 和关卡逻辑,运行时交给确定性程序。

5.4 决策建议:按技术指标判断成熟度

判断维度 世界模型当前水平(官方披露) 商业游戏的典型要求 结论
帧率 10 到 24 FPS 通常 30 FPS 以上,动作游戏追求 60 FPS 引擎胜出
分辨率 640×360 到 720p 1080p 及以上 引擎胜出
连续一致性 0.9 秒上下文到数分钟 数十小时的游玩与存档 引擎胜出
内容生成速度 文字提示即时生成世界 传统管线需要建模与关卡制作 世界模型胜出
运行成本 每帧一次 GPU 推理 玩家本地硬件渲染 引擎更省
落地方式 研究原型、实验性产品 可上线运营 混合架构

💡 选择建议:如果团队想先把 AI 接入现有引擎,最稳妥的切入点是 NPC 对话、任务文本、关卡描述这类“可校验的生成内容”。可以在 API易 apiyi.com 上用统一接口并行测试多个模型,按输出质量和单次调用成本选型,再决定接入方案。

6 世界模型与游戏引擎常见问题 FAQ

Q1:什么是 AI 世界模型?它和视频生成模型有什么区别?

世界模型根据当前环境状态和用户操作,预测并生成下一时刻的环境。视频生成模型输出一段固定视频,用户无法中途干预;世界模型每一帧都接收新的输入,用户可以持续控制方向和动作,Genie 3 就是这类模型的代表。

Q2:世界模型实时生成游戏世界和传统游戏引擎有什么本质区别?

引擎依据明确规则计算状态,再把状态渲染成画面,结果可复现;世界模型从数据中学习视觉动态,直接生成画面,结果带有随机性。引擎在确定性、状态持久化、物理准确性和多人同步上领先,世界模型在内容生成速度和创作门槛上占优。

Q3:Genie 3、WHAM-RT、Oasis 分别何时公布?现在能体验吗?

Oasis 于 2024 年 10 月公布,提供开源代码、500M 参数模型权重和在线体验。Muse 于 2025 年 2 月公布,其 Quake II 实时版本随后发布。Genie 3 于 2025 年 8 月 5 日发布,基于它的 Project Genie 于 2026 年 1 月 29 日面向美国地区 18 岁以上的 Google AI Ultra 订阅用户开放,单次体验限 60 秒。

Q4:游戏团队现在接入 AI 的成本主要花在哪里?

取决于 AI 在哪个阶段工作。像 Saltline 这样在开发阶段由大模型生成代码,成本集中在一次性的 API 调用上,开发者自述估算约 550 美元,之后玩家在本地运行不再调用模型。世界模型在运行阶段逐帧推理,玩家每次游玩都持续产生 GPU 成本。用大模型做 NPC 对话等运行时功能时,按调用量计费,可以通过 API易 apiyi.com 的按量计费方式先小规模测试,估算单玩家的调用开销。

Q5:如何快速给现有游戏原型加上 AI 驱动的 NPC?

推荐按本文 5.2 节的“模型提议 + 引擎校验”模式实现:

1. 在 API易 apiyi.com 注册并获取 API Key 和免费测试额度;
2. 将示例代码的 base_url 设为 `https://api.apiyi.com/v1`,填入可用模型名;
3. 把引擎中的 NPC 状态序列化为 JSON 传给模型,只接受白名单内的动作;
4. 切换不同模型对比延迟与输出稳定性,再确定线上方案。

Q6:世界模型目前有哪些已知限制?

WHAMM 上下文约 0.9 秒,会遗忘视野外物体,生命值统计和伤害计算存在错误,到达训练数据边界后生成可能冻结;Genie 3 的连续交互以数分钟计,动作空间有限,多智能体复杂交互仍有困难;Oasis 官方表示需要更高效的推理基础设施来提速和降低服务成本。这些限制都指向同一结论:世界模型目前适合作为内容层,规则层仍需引擎。

7 世界模型 vs 游戏引擎核心要点 Key Takeaways

  • 指标定位:Genie 3 达 720p/24 FPS,WHAM-RT 为 640×360/10 FPS 以上,Oasis 为 20 FPS。
  • 记忆短板:WHAMM 上下文约 0.9 秒,视野外的敌人和物体会被遗忘。
  • 规则短板:生命值、伤害结算等精确规则由画面近似生成,容易出错。
  • 引擎价值:物理、状态持久化、多人同步和调试工具构成商业游戏底座。
  • 两条路线:Saltline 是 AI 写代码、程序运行;世界模型是 AI 逐帧生成画面。
  • 融合方向:引擎掌管权威状态,模型负责环境、内容和 NPC 行为提议。
  • 上手方式:先从可校验的 NPC 对话切入,可借助 API易 apiyi.com 统一接口对比多个模型。

8 总结:传统游戏引擎在 AI 世界模型时代的位置

AI 世界模型已经能实时生成可交互的游戏世界,三个代表模型把帧率推到 10 到 24 FPS、分辨率推到 720p,迁移新游戏所需的数据也降到约一周。与此同时,WHAMM 的对象遗忘、生命值错误、关卡冻结等问题说明,模型生成的是对游戏的近似体验,规则、状态和联机仍需引擎保障。

未来几年的主线是混合架构:引擎守住确定性,模型扩展内容的规模和多样性,开发阶段的大模型代码生成则持续压缩原型制作周期。对开发团队而言,最实际的一步是把 AI 接入现有引擎中可校验的环节,用真实调用数据评估效果和成本。推荐通过 API易 apiyi.com 快速验证,平台提供多模型统一接口和新用户免费额度。

📚 参考资料

  1. Google DeepMind – Genie 3 技术发布:Genie 3 的帧率、分辨率、一致性及限制
  2. 链接: deepmind.google/blog/genie-3-a-new-frontier-for-world-models
  3. 说明: Genie 3 指标与官方承认限制的一手来源

  4. Google – Project Genie 官方公告:基于 Genie 3 的实验性网页应用

  5. 链接: blog.google/innovation-and-ai/models-and-research/google-deepmind/project-genie
  6. 说明: 开放范围与 60 秒体验限制

  7. Microsoft Research – WHAMM 实时世界建模:Quake II 实时演示及局限

  8. 链接: microsoft.com/en-us/research/articles/whamm-real-time-world-modelling-of-interactive-environments
  9. 说明: 0.9 秒上下文、对象遗忘等失败案例的出处

  10. Microsoft Research – Muse / WHAM 项目:世界与人类动作模型

  11. 链接: microsoft.com/en-us/research/project/wham/wham
  12. 说明: Bleeding Edge 训练数据规模

  13. Decart – Oasis 项目页:开源实时交互世界模型

  14. 链接: oasis-model.github.io
  15. 说明: 500M 参数、20 FPS 与架构细节

  16. Epic Games – Physics in Unreal Engine:Chaos Physics 功能概览

  17. 链接: dev.epicgames.com/documentation/unreal-engine
  18. 说明: 成熟引擎物理系统的能力范围

  19. Saltline 代码镜像与 README:开发者自述数据归属说明

  20. 链接: github.com/realcodebear/saltline-fable-5.2
  21. 说明: 文件大小与 AI 生成代码路线的参考

作者: APIYI 技术团队
技术交流: 欢迎在 API易 apiyi.com 首页联系我们,交流 AI 接入游戏开发的实践经验

发表评论