加州大学伯克利分校的研究人员开发了一种名为Dynalang的智能体，它可以从在线体验中获取世界语言和视觉模型，并利用这些模型来理解人类行为。

Dynalang可以在单一模式（纯文本或纯视频数据）上进行预训练，无需活动或任务奖励。此外，其语言生成框架是统一的，即代理的感知可以影响其语言模型（即对未来标记的预测），从而允许其通过在动作空间中生成语言来交流环境。

研究人员在具有不同语言环境的广泛领域中测试了Dynalang。他们发现，Dynalang能够利用未来观察、环境动态和纠正的语言线索，更快地完成家务等任务。在Messenger基准测试中，Dynalang表现优于其他算法。此外，Dynalang还可以在视觉语言导航中接收复杂的指令，并展示了超越其他算法和任务特定架构的能力。

Dynalang论文地址：https://arxiv.org/abs/2308.01399。