谷歌刚刚推出Genie 4，迄今为止最逼真且最具交互性的世界模型。
Genie 4 的最新功能：
🔵 照片级真实感：基于 Gemini Omni 构建，在空间和主题中呈现逼真的细节
🔵 高级物理效果：空气动力学、碰撞以及自然移动的人物
🔵 实时控制：通过提示更改场景、添加元素，或与角色互动
🔵 原生音频：环境音、音乐、背景噪音以及互动对话
🔵 Gemini 推理：规划多步骤事件，以在场景演变时保持连贯性
这些功能是朝着开发安全虚拟环境迈出的一步，用于观察Agent和机器人如何在周围环境中导航。
目前普通用户还用不到这个模型。
它现在只开放给少数测试人员，之后会陆续给Google AI Ultra的订阅用户，以及Gemini API和Google AI Studio的部分开发者使用。
以下是详细信息
Genie 4最大的变化是用户可以用键盘在生成的画面里自由走动，还能随时打字改动场景，里面的NPC甚至能现场张嘴和你对话。
当你输入一段话之后，屏幕上出现的是一个正在实时运转的立体环境。
你可以按着键盘上的方向键，带着镜头在场景里四处转悠。
如果觉得眼前的景物不够满意，直接敲一行字，比如把晴天换成阴天，或者在路边加一个正在走动的人。
后台的模型会一边保持原本的画面不崩，一边把你新加的东西融合进去。
按住画面移动小窗
声音
Genie 4直接在生成画面的同时，把声音一起算了出来。
水流的声音、风吹草地的声音，包括乐器发出的声音，都是伴随着画面一起出来的。
比如画面里有一个中年男人在湖中央的平台上吹萨克斯。
镜头可以绕着他转，画面里能听到水浪拍打的声音，也能听到男人吹奏的乐曲和换气的声音。
里面的角色也不是单纯的木偶。
他们能在场景里走动，遇到障碍物会绕开，最关键的是能跟人交流。
你在输入框里对他们说话，他们可以在这个模拟环境里张嘴回答你。
Gemini大模型在后台负责逻辑和纠错
生成这种能互动的画面，最大的麻烦在于逻辑容易乱套。
比如走着走着墙壁没了，或者刚放下的杯子凭空消失了。
谷歌在Genie 4背后接入了Gemini大模型。
Gemini Omni负责画面的真实度，让光影、材质看起来像现实世界。
Gemini 3.8 Flash则像一个监工，在后台一帧一帧盯着画面看。
它会把用户的要求拆成几个具体步骤，确认每一步有没有做对，再决定下一秒怎么演变。
如果你中途突然插手改了要求，它就会马上重写接下来的逻辑，防止画面乱套。
谷歌还测试了另一个模型Gemini 4 Argon。
在展示的测试里，Argon把下跳棋的任务一步步分解开，文字指令一条条传给Genie 4。
最后屏幕上的Apollo人形机器人就真的在棋盘上，一步接着一步下完了跳棋。
还没解决的问题
项目负责人Raia Hadsell、Diego Rivas和Hang Qi表示，以后的目标是做混合世界模型。
也就是把代码和语言模型的逻辑推导能力，和像素生成模型合在一起。
一个负责在幕后写好规则和走向，一个负责在台前把画面和声音算出来。
不过Genie 4目前也有明显的缺陷。
如果是短时间体验，画面还能维持稳定。
但如果运行时间太长，或者你中途连续修改了太多次，场景里的东西还是会出现错位和变形。
此外，更复杂的物理对抗、清楚地渲染文字、以及超长时间的空间记忆，团队还在继续研究。
为了防止有人拿生成的画面造假，Genie 4输出的所有画面和音频，都加上了看不见的SynthID水印。
--end--
最后记得⭐️我，每天都在更新：如果觉得文章还不错的话可以点赞转发推荐评论
/...@作者：心兰