发帖
雷达卡
导言
本文阐述从多模态经验到Agent行动，再到科学认知与智慧的演进路径设想，从What到How与Why建设世界模型，推动智能的持续发展。
当前，以数据驱动为核心的深度学习模型，尤其是规模700B以上的大语言模型，受到全球学术界和产业界的高度关注，正超越单纯的模式识别，发展对环境的深度理解、因果推理与高效行动的能力，这不仅关乎技术突破，更承载着“从经验到行动，再到科学认知与智慧”的演进使命。然而，当前模型普遍存在可解释性不足与严重幻觉问题，制约了其进一步发展与大规模产业化应用。为应对这些挑战，“世界模型”概念应运而生：通过对复杂真实世界进行高层次表征建模，压缩物理规律与知识，从而有效提升大型语言模型的性能与可靠性。
“一花一世界，一叶一菩提”，不同生命与智能体因环境、感知机制和目标各不相同，所需的世界模型也有所差异。无论是天上飞的鸟、水里游的鱼、地上行走的人与动物，还是智能汽车与家庭机器人，都必须依赖符合自身场景的世界模型。基于此，从应用角度出发，我们需要结合消费、生产、科研、社会治理等不同应用场景，构建契合的世界模型与智能系统，以不断拓展认知边界，创造价值。
具备多元结构和多样认知能力的世界模型是融合性的新技术范式。人类对世界的理解涵盖空间与时间、概念与属性、关系与演变、原因与意义等维度。面向未来，能不能构建一个适合人类活动的结构化世界模型，进行更准确与高效的表征？以人为例，我们依赖视觉、听觉、嗅觉、味觉和触觉的多模态感官，并能在理念空间中自由思考，由此形成了独特的多模态世界模型与多元智能。哈佛大学教授Howard Gardner提出的多元智能理论进一步说明，人类除了语言智能，还有视觉与空间、自然观察、自省、人际、音乐、身体动觉、数理逻辑等多样能力。这启发我们考虑未来的世界模型也应具备类似的多元结构和认知能力。
世界模型的意义已经超越了单一技术层面，它应被视为一种融合了人工智能、认知科学、数学、计算科学、信息技术以及系统工程等多学科的新型技术范式，旨在更全面地反映并辅助管理复杂巨系统的运行。世界模型的使命在于构建数字世界与物理世界的映射，通过对真实世界的深度模拟与交互，为智能系统提供强有力的推理和决策支持。Richard Sutton在和我们讨论OpenMind的推进中（2024），建议进一步发展持续强化学习，从离线数据走向在线经验，从数字环境走向物理环境，实现与世界更好的交互，走向实战的智能。希望将系统科学、系统工程与当代人工智能技术相结合，构建出真正能够在现实世界的复杂环境与有限条件下，改变自身与工具，理解、适应、利用和发展环境，高效达成目标的先进智能。
世界模型的本质与科学内涵
世界模型需要将系统科学和人工智能有机地结合起来，对环境的状态进行压缩表征与抽象、推理与行动。在系统科学中，早在1971年Forrester就指出：“一个人在头脑中不会想象全部的世界……他只是用少量被选取的概念及其关系来表征真实系统”。这种思想与现代世界模型契合，智能体通过内部模型抽象地表达环境，将观测数据映射到概念表示，并以此推演未来情景。在人工智能中，世界模型首先体现在强化学习和预测学习中。Ha和Schmidhuber（2018）提出将生成神经网络用于强化学习环境建模，他们定义世界模型为“一个生成式神经网络模型，可以无监督地学习环境的时空压缩表示”，并借此训练策略网络。
实现从“What”到“How”再到“Why”的转变是世界模型的现实价值与科学使命。传统人工智能模型侧重于回答“What”，是对数据和现象的描述性建模，实现知其然。要打造真正智能的系统，就要迈向“How”，主动采取行动来达成目标，并最终到“Why”，能设想和发现原因，知其所以然。人工智能的发展需要数据驱动（侧重于回答What的问题）、目标驱动（侧重于解决How的问题）、思想和规则驱动（侧重于回答Why的问题），希望世界模型能将三者有机整合起来。世界模型既要洞察万物运行之理，又要学会驾驭万物运行之道。
世界模型的本质在于对复杂系统的高级建模，它天然需要系统科学的理论与系统工程的方法整合，以支撑对现实世界多层次、多尺度的动态刻画与模拟。与简单线性系统不同，真实世界中的复杂系统具有局域性、变化性、周期性，以及更加复杂的非线性、涌现性与跨尺度交互等特征，单一学科往往难以充分刻画这些动态特性。系统科学的发展恰恰为世界模型提供了多样化、可互补的研究工具与方法论。例如，复杂性理论能够帮助研究者揭示系统中不可预期的涌现行为；系统动力学可用于建模内部的正负反馈回路、时滞效应及因果链条，使得模型对长期演化趋势的模拟更具可信度；而演化博弈论则擅长刻画多智能体之间的互动演化过程，提升经济社会等领域决策模拟的合理性。
世界模型的观点洞察
在全球人工智能领域，世界模型已成为炙手可热的话题，当前的主流人工智能（尤其是大语言模型与多模态）虽然强大，但在物理世界理解、长期记忆、因果推理、复杂规划等方面存在明显短板。要迈向更高水平的智能，人工智能系统亟需内置对现实世界运作的模型，即世界模型，以弥补现有系统仅靠模式识别而缺乏常识和推理的不足。
me ta首席人工智能科学家、图灵奖得主Yann LeCun是世界模型理论最坚定的倡导者之一，他明确预言，未来三五年内会出现一种全新的人工智能架构范式，以世界模型为核心，突破当前系统在常识、推理和计划上的局限。他指出，世界模型即“形成结构、动力学和因果关系的内部表征的系统”，可能是推进人工智能发展的关键。他强调，当前人工智能需要像动物一样通过感知学习世界规律，而非仅仅训练语言模型。LeCun甚至形容，这场即将到来的革命可能促成“类人智能”机器人时代的开启，因为有了世界模型，人工智能将具备理解和适应现实环境的基础。LeCun提出了联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA）作为构建世界模型的关键。JEPA是一种非生成式、自监督学习方法，其核心思想是在抽象表征空间中预测缺失或被遮蔽的部分，而不是直接生成原始像素。这种方法能够灵活地丢弃不可预测的信息，从而显著提高训练和样本效率。
DeepMind的CEO Demis Hassabis也强调世界模型的重要性。他认为，生成式模型（例如谷歌最近的视频模型Veo 3）正在“挖掘物理世界的直觉物理规律”，从而逐渐触及现实世界的结构。Hassabis总结认为“构建世界模型一直是DeepMind走向AGI的计划”，这与其长期以来试图让人工智能“理解和行动于现实世界”的愿景一致。Hassabis与Richard Sutton、David Silver共同主张AI需要从依赖人类提供的数据转向通过与环境互动学习，世界模型是实现这一范式转变的核心技术，强调“经验是基础”。
斯坦福教授李飞飞认为，仅有语言模型不足以承载人类智能，她在接受采访时提出“语言并不存在于自然界……人类不仅生活工作，更在语言之外建设文明”的观点。她将成熟的世界模型划分为四个不可或缺的模块：感知、记忆、模拟、行动。她创办的World Labs正聚焦构建“世界模型”：在二维图像之上赋予人工智能对三维空间的空间智能，使系统能够理解和生成完整3D世界。
产业界的一些领军公司也在尝试将世界模型思想付诸实践。例如，Google最新发布的 Genie 2 被称为“基础世界模型”，能够从一张图生成可交互的3D虚拟世界，用于训练和评估具身智能体。这意味着人工智能可以借助世界模型生成的逼真模拟环境来进行学习，而不局限于互联网文本或二维图像数据。这与自动驾驶领域的做法异曲同工。例如Waymo等公司采用模拟城市环境，让无人车人工智能在虚拟世界模型中经历海量驾驶场景，从而大幅提高训练效率和安全性。同样，OpenAI等也在关注具身智能和机器人领域的突破，组建团队研究通用机器人，期望赋予其人类般理解现实的能力。所有这些探索表明，世界模型正逐渐成为人工智能下一个竞逐的制高点。从学术研讨到工业实现，全球人工智能领域正在形成一种共识：赋予智能体一个可以“理解”与“想象”世界的模型，将是迈向更高级人工智能的关键一步 。
世界模型的战略价值与产业应用前景
世界模型将为人工智能带来质的飞跃，蕴含着巨大的价值和广阔的应用前景。首先，世界模型使人工智能具备了全局观和前瞻性，能够在复杂环境中进行模拟试验和预判决策，这对各行各业的数字化转型都有深远意义。利用世界模型，我们可以在虚拟空间中重现现实系统的运行，提前洞察风险、优化方案，从而指导现实中的行动。这种“先知先觉”的能力在国家战略和企业决策中尤为宝贵：它相当于为决策者提供了一个功能强大的“沙盒”，可以高效、准确、安全地演练各种情景，从而寻找最佳策略。具体而言，世界模型的产业应用几乎遍及所有复杂系统领域，下面举几个例子：
在能源与电力领域，电力系统是全球最复杂庞大的工程网络之一，新型电力系统面临分布式能源接入、电力市场博弈、极端天气应急、随机故障、波动使用等众多挑战。引入世界模型后，我们可以模拟各种风险故障和供需情境，进行反事实推理和方案优化。例如，在电网调度中，世界模型可预演不同故障场景下的系统状态，并给出比人类专家更优的应急调度方案。在电力规划中，模型可以根据社会经济发展的假设，预测未来负荷增长和设备需求，优化电力基础设施布局。这些应用将大幅提升电力系统的安全性、可靠性和效率。
在交通与城市治理领域，现代城市充满了高度复杂的动态系统，例如交通流、公共设施、应急响应等。通过城市级的世界模型，管理者可以模拟交通拥堵演化、公共卫生事件传播等情况，提前评估不同调控措施的效果。比如，世界模型可在虚拟城市中测试新的交通信号配时或限行政策对拥堵的影响，找出最优方案后再应用实施，从而减少试错成本。此外，在智慧城市规划中，世界模型还能综合考虑人口分布、资源供给、环境变化等多因素进行仿真，辅助制定长远的发展策略。
在智能制造与供应链方面，工业生产和供应链网络也是复杂巨系统。利用世界模型构建数字工厂或供应链孪生，企业可以对生产流程、库存物流进行端到端仿真优化。模型可以预测产线上某设备故障对整个生产的连锁反应，并提前安排维护；或模拟全球供应链中某环节中断时如何调配资源以降低影响。这为制造业提供了全局优化和风险预判能力，提高抗风险能力和运营效率。
在机器人与自动驾驶领域，自主机器人和无人车要安全高效地工作，离不开对所处环境的理解和对未来的预测。世界模型为具身智能体提供了一个受控的训练场。比如，无人驾驶可在世界模型模拟的城市中经历数百万公里驾驶，学习应对各种复杂路况与突发状况，然后再应用到现实车辆。这种仿真训练大幅减少了在真实道路上测试的风险和成本。同样，服务机器人可以在虚拟家庭环境中练习导航、操控物体等技能。当它们最终投入现实应用时，已具备相当可靠的行为策略和常识。可以说，世界模型是加速机器人走进生活的“加速器“。
在科学研究方面，在医疗、生物等领域，世界模型有望成为强大的科学发现与决策支持工具。在药物研发中，可利用世界模型模拟蛋白质与药物分子的相互作用，预判药效和副作用，筛选出更有前景的候选药物。在气候科学中，世界模型则可以融合物理定律与海量观测数据，创建“数字地球”来模拟气候变化趋势，帮助制定碳中和策略。这些应用表明，将人工智能与科学计算深度融合，使模型既遵循科学规律又能从数据中学习，是世界模型的重要价值所在。它有望突破传统科学计算在高维非线性系统上的瓶颈，以全新的范式解决复杂科学问题。
世界模型的战略价值在于赋予我们更强洞察全局、掌控未来的能力。从企业角度，它是实现生产智能化、决策智能化的利器；从社会角度，它可以提升城市、能源、交通等基础设施的智慧水平；从人类整体看，它是我们应对气候变化、公共安全等全球挑战的新型工具。可以预见，在“万物智联”的未来社会中，拥有先进世界模型技术的国家和企业将具备显著的竞争优势--因为他们不仅能更好地理解复杂世界的运作，还能通过模拟优化来引领世界的发展方向。
世界模型的理想架构设想
关于世界模型的构建，我们基于当前人工智能与系统科学发展的前沿思考，提出了三个互为支撑的核心假设：
图1 假设一：基于结构化信息开发更优的世界模型
第一，基于更全面的结构化信息建设更好的世界模型。
除了语言文字与互联网信息，我们建议在多模态感知和人类知识体系的基础上，充分利用更全面的结构化信息，开发能够更好反映时、空、人、物、概念、属性、关系及其演变等的世界模型。世界模型要将人类的视觉、听觉、嗅觉、味觉与触觉，以及机器感知等结构化信息汇聚为与环境相关的多模态大模型，并继承人类在科学、工程、数学、人文与艺术等领域的历史累积的结构化知识，纳入同一表征空间。
已有研究为这一设想提供了可借鉴的技术基石：在多模态感知层面，一些工作尝试构造把视觉、听觉等感知通道汇聚为统一表征的多模态架构：CLIP、ALIGN、Florence等工作通过对比学习把视觉与文本对齐、Perceiver、Perceiver‑IO提供可扩展地接入任意模态的通用编码器、Gato展示了单一模型处理图像、控制信号与文本等多任务多模态能力；同时，其他工作尝试将结构化学科知识纳入同一表征空间：K‑BERT、KnowBERT等经典算法与最近流行的RAG、REALM类检索增强生成，通过将知识图谱与外部结构化知识应用到大模型推理中有效提高推理性能与事实性。两方面思路的结合催生出视觉‑语言与检索工具能力整合的微软Kosmos系列模型，以及将形式化数学、物理知识用专门数据与约束注入的谷歌Minerva模型。上述研究表明，将多模态感知通道与结构化知识共同映射到统一表征空间在可以有效提升模型解决复杂问题的性能，但数据可用性、模态稀缺性以及保持形式化科学推理能力仍是亟待解决的关键挑战。
图2 假设二：基于更广泛知识体系丰富世界模型
第二，基于更广泛知识体系丰富世界模型。
单纯依赖统计相关性不足以支撑对复杂世界的深入理解，必须引入更广泛的知识体系，兼顾明知识（如牛顿定律、相对论，可用严谨公式表述与验证）、默知识（如写作、绘画等技能，更多依赖经验与直觉积累）和暗知识（如文化习俗、复杂系统中的混沌行为，无法形式化表述），从而更好地刻画与掌控确定性、统计性与随机性的多样行为。在人工智能的多个流派中，现有的深度学习与联结主义主要擅长处理统计与相关关系的知识，未来需要向上扩展至因果推理与机制解释，向下延伸到不确定性和随机性，拓展知识的边界，实现对更广泛知识的理解与整合。
图3 假设三：基于经验引擎、行动引擎到理念引擎构建世界模型
第三，基于经验引擎、理念引擎到行动引擎构建世界模型。
首先，通过观察与互动，形成数据驱动的经验引擎，进行感知与学习、理解与生成，通过语言文字、多模态与预测模型等，实现见多识广。数据可以来自互联网、与其他机器和人的交互、环境感知及人的多模态感知等。经验引擎侧重从多模态感知数据中构建压缩而可预测的表征，例如PlaNet和Dreamer（潜在时序动力学与想象）、CLIP（跨模态对比表征）、NeRF（空间连续表征）等方法共同展示了如何用潜变量、对比学习与对象化分解提升样本效率、跨模态对齐与可组合性。在有限数据集上，基于统计与相关计算的深度学习形成的经验智能存在盲人摸象（OOD）、张冠李戴与虚有其表（Potemkin式理解）、刻舟求剑（时过境迁）与以讹传讹（不辨真伪）等挑战，可以通过对数据进行分类、分级并优化分布、交叉验证、检测幻觉、管理置信度、引入人为纠正对齐、发展持续强化学习等方法来提升准确性；同时，深度学习需要大量的数据与能耗，在一些方面效率很低，可以采用多表征、多模态、多专家、多模型架构，更充分利用数据的稀疏性与可组合性；可以借鉴人脑的浅层与异构特征，系统优化计算模式、系统、芯片与软件。通过这些方法，对数据进行更加高效、集约的深加工，而不仅仅是靠大力出奇迹。
其次，在现实世界的实践应用中，Agent是面向生活消费、千行百业生产、科研等的落地载体，将智能转化为实际价值，是目标驱动的行动引擎。Agent要考虑通过目标管理与规划、推理与反思等，来解析、编排和执行任务，并与人、机器、环境以及其他Agent等进行交互与协同，迭代优化并提升适应能力，熟能生巧、举一反三地解决问题。对于复杂、长周期任务，业务主体、环境与动作的组合状态空间呈指数爆炸，要能采取有效手段来消除多任务偏差叠加问题，持续进行策略优化，提升泛化性与效率。要建设好人类与智能体的关系，从“人机分工”到“人机共生”，智能体不只是新型生产力工具，更是人类的新伙伴，要建设共同的三观，把智能体演进路径与科技向善价值深度融合起来。
第三，面临现实世界的丰富多彩、日新月异与鱼龙混杂，要应对不足够、不准确、不稳定、不可知甚至不可判定的挑战，仅靠有限数据集驱动的统计与相关计算来进行深度学习与采取行动是不够的，那只能看见手电筒能照到的范围，容易局限于以往的经验，犯经验主义的错误（例如人类历史上，曾经出现过关于抽烟、喝酒、吃脂肪的错误认知），因此要通过假设与验证、抽象与求解等，建立起思想与规则驱动的理念引擎，实现跨越时空的更高层次认知，以及化繁为简、扬长避短与另辟蹊径等创造性达成目标的智慧。
理念引擎可以通过因果表示学习与因果推理框架（例如可微因果发现方法 NOTEARS、因果生成模型如CausalVAE），以及工程化手段（RAG、链式思维、调用外部验证工具与接口如ReACT、Toolformer等）实现对推理路径的证据回溯与自动验证，降低幻觉与错误传播，实现与人类知识的对齐，这样有助于形成更鲁棒、可解释且可控的高阶认知能力。图灵奖得主Judea Pearl最早提出的结构因果模型（SCM）与 do-calculus 提供了从相关到因果、干预与反事实推断的理论基础，使统计模型可上升为可解释的机制模型。近年来，将因果推理应用于世界模型的研究逐渐增多，例如，CausalBench构建了一个基于因果研究社区数据的评测基准，涵盖了相关性、因果骨架和因果识别等任务，表明LLMs在简单因果链上表现优异，但在复杂网络中存在短板；CInA方法展示了通过自监督学习实现零样本因果推断的可行性；而ALCM框架则结合数据驱动的因果结构学习与LLM的协同作用，推动了因果发现的有效性。这些工作共同推动了因果推理在大模型中的应用，为构建更加可靠和具备可解释性的世界模型进行了探索和尝试。
在理念引擎上，希望充分学习借鉴人类历史积累的数/理/化/生等自然科学与技术、哲学/心理学/教育学等人文社会科学、音乐/绘画/舞蹈等艺术的宝贵财富。思想与规则驱动的理念引擎要能在开放的环境下探索未知与惊喜，并不断演进。
总而言之，仅凭现有数据驱动的大语言模型与多模态大模型、以及统计与相关关系的知识，不足以支撑人类对复杂世界的深入理解，我们需要以更全面的结构化信息为基础，以多元化知识体系为支撑，并以“经验--行动--理念”多层次模型为目标，构建具备因果推理、机制解释与决策行动能力的世界模型。这是推动人工智能从感知走向行动、再走向科学认知与智慧的路线假设。
世界模型发展愿景与未来图景展望
我们对未来人工智能及其所支撑的世界模型有着清晰而坚定的愿景，那就是发展多元智能，持续拓展人类文明演化的可能边界。面向未来，人工智能的研究不只是在单一任务上追求极致性能，更应探索支持多种智能形态的全新计算模式、架构与组件。在这一进程中，前沿研究已充分揭示了在数学表征和算法层面存在巨大的潜在改进空间。例如，在视觉计算中，如果将像素表示改为高效的流形表示，可能在提高准确度的同时降低能耗100倍到1000倍。2024年ISCA会议上有多个关于稀疏矩阵计算的讨论，如果我们能够将矩阵计算从稠密矩阵内积计算扩展到稀疏矩阵外积计算以及 Gustavson 计算，那么在一些场景下，可能将效率提高几十倍。这些思路也启示我们，在4DGS（4D高斯泼溅）、VGGT等之后，是否还有更高效的泛化表征模式？能否通过引入稀疏性注意力和前馈网络结构、层次化和多路径的推理等，将每个Token的计算复杂度从O(nn)降低至O(nlog(n))、乃至更低，极大释放算力与能效潜力。
图4 探索支持多种智能形态的全新计算模式、架构与组件
要推动多元智能真正落地，必须突破现有算力和能效的技术瓶颈，重新审视底层架构与核心组件的设计逻辑，进行物理和化学的改进。人脑是自然界极高效的异构计算体系，既有并行也有串行，既有同构也有异构，语言处理主要集中于左脑区，逻辑推理多位于额叶前部，视觉则在枕叶上方，运动控制则在后脑下部，且层次清晰、分工明确。相比之下，当下主流的Transformer模型却往往需要上百层的同构堆叠结构来逼近人脑的某些功能，但在能效上，远不及人脑高度整合、层次分明的架构，如果能在物理上实现类似人脑六层大脑皮层的架构，相比当前大语言模型的一百多层架构，效率可能提升几十倍。打开Transformer的计算实现过程可以看到，一个计算单元执行一次，本身只需一个时钟周期，pJ级能耗（如32位加法≈0.1pJ，32位乘法≈3.1pJ~3.7pJ），但相关数据的读写却需耗费高达200个时钟周期及约640pJ能量，在耗时和能耗均远超计算单元的200倍以上。因此，若要成就新一代世界模型与多元智能，建议发展面向人工智能的新型存储部件与联接来替代传统的HBM与DRAM，若能将数据读写时延缩减至两个时钟周期、能耗降至数皮焦耳，仅仅是通过材料与化学创新推动的突破，人工智能算力效率就有望实现上百倍的提升。还有其他可能的方案，例如存内计算、近似计算、模拟计算、量子与光计算、低温系统等，也值得探索。如果将所有这些潜在创新有机地整合起来，将来有可能将智能计算的效率提升上百万倍。
世界模型的最终目标是把技术红利切实转化为对人类创造力的支撑，塑造一个人与智能共生、文明可持续发展的美好未来。回顾历史，300年前90%以上的人都在田野劳作，很难想象工业革命之后的生活；30年前移动通信和互联网尚处萌芽阶段，很难想象如今人们手持一部小小的终端，便可随时连接全球，沟通千里之外的亲人、访问海量知识与数据。这些跨越式变化展示出科学与技术的进步从长远来看，可能远超我们的想象。放眼未来，我们完全有理由相信，高效且具性价比的世界模型将推动城市环境与社会服务的全面升级，打造更加宜居的生态空间，发展立体交通网络，甚至助力人类探索太空与深海的未竟疆界。我们可以想象这样一幅未来图景：城市有自己的智能“副本”供管理者试验政策，工厂在虚拟空间中优化每一道工序，医生能够借助数字患者模拟来制定个性化治疗方案，无人车和机器人则生活在与现实平行的虚拟世界中不断学习。这些场景的背后，都是功能强大的世界模型在发挥作用。它将成为数字时代的重要基础设施，如同过去电力和互联网之于工业时代与信息时代的地位。拥有世界模型能力的智能系统，会更好地理解人类的意图和价值观，从而与我们进行更高层次的协同。
面对日益加剧的内卷，包括地缘冲突、环境污染、能源危机、粮食短缺、以及工作焦虑、学习焦虑等，我们更需要重新审视技术进步的真正价值。正如历史学家阿诺德·汤因比所言，文明演进的关键在于能否将科技进步转化为人类的创造力与精神活力。惟其如此，我们才能打破焦虑与资源内耗的恶性循环，形成面向全人类的正向发展动力。因此，愿景的落脚点不应仅是性能与成本的优化，而应是通过高效普惠的人工智能，共同拓展世界模型与多元智能的边界，将人类文明的进化从蓝色星球延展至无垠宇宙。
”
原文作者： 周红 00861895
来源： 《科技愿景》
推荐学习书籍 《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~ !
京公网安备 11010802022788号
