本帖最后由 tonylevin 于 2026-4-29 10:48 编辑 % o. N; v$ g. q. n7 I0 l; s
' K5 Z5 F. p4 C
苏昊的分享全文
# X" ^: Y( @8 @*整理：上海交通大学助理教授穆尧，小红书@穆尧_YaoMarkMu
4 }' v, K( z# g9 v/ P7 I3 {! yGibson 在 1979 年《The Ecological Approach to Visual Perception》中的观点 “We must perceive in order to move, but we must also move in order to perceive.” 四十多年前，这句话其实已经点明了今天我们讨论的核心问题。
( K, Y, n0 m2 P" y& }* A! y它的结构是一个闭环，而不是单向链条：不是“先感知、再行动”这么简单，而是感知与行动彼此依赖、相互塑造。今天我想讲的，正是这个闭环到底断裂在什么地方。
# `' t0 K, p1 x2 ?) i过去几十年，很多研究都集中在让机器“看得更清楚”：更清晰的图像、更精确的重建、更细致的表征。但我们反而忽略了另一半——理解如何在世界中行动，以及世界会如何对行动作出响应。 8 g$ U( o' a& H5 N
感知本身并不是目的，感知是为了行动。我们真正需要理解的，不是世界的外表，而是世界对行动的响应。这就是物理理解的核心。 . M1 X- u6 h' m5 ]% Y3 o
你永远无法直接“看到”质量。只有当你真正去搬一个物体时，质量才会显现出来。
8 [/ G2 U4 m7 n% C; K! U7 T一个大纸箱和一个空心金属柜，外表可能很像，但一上手搬，差别立刻就出来了。你也永远无法直接看到摩擦。桌面看起来一模一样，但如果表面有一层看不见的油膜，或者刚刚打过蜡，推同一个杯子时阻力就完全不同。 ! h, e9 U6 @6 o1 G/ F
你同样无法直接看到刚度。橡胶和钢材在视觉上都可能只是灰色的物体，但只有在施加作用、观察响应时，你才真正知道它们的差别。也就是说，很多关键的物理属性，都是在行动中才显现出来的。
$ W) q+ S+ v* Y8 ]7 k6 \所以，物理问题的本质是什么？就是：给定一个动作，预测它会带来什么后果。这是今天整个报告最基础的定义。
: J7 x2 h/ N3 a4 Y: a; o B0 x, H如果回到认知发展的视角，Piaget 在《儿童对现实的构建》中讨论了婴儿认知发展中的几个关键概念。按照一个比较直观的整理，可以对应为：物体、空间、因果、时间。 1 j: p* `% Y2 t4 b5 ^, A3 @1 \
第一层可以理解为对“物体”的感知与识别；第二层是空间理解，理解相对位置与空间关系；第三层是物理因果，也就是理解“施加动作之后会发生什么”；第四层则是时间维度上的行为规划与执行。 e% j9 K) o- {, B" s
需要特别说明的是，这四层并不是彼此孤立、线性展开的模块，而是共同发展、相互交织的。我们今天之所以把它们分层，是为了帮助理解。 0 o0 d2 ?# V& |0 `, F8 [3 E' x
从现代认知科学和神经科学的证据来看，物理理解并不只是视觉识别的延伸。它激活的并不只是视觉皮层，而更接近与动作规划、前运动系统相关的脑区。换句话说，物理理解在大脑里不是“看见了什么”的问题，而是“如果我做点什么，会发生什么”的问题。
* A2 L, _! f+ N" I; d- v z k如果缺失了第三层——物理智能——会怎么样？那感知就只剩下重建。 3 J8 M1 {; K: T6 I t! K
你可以重建一个厨房，知道杯子在哪里、盘子在哪里、抽屉在哪里，但你不知道什么东西会碎、什么东西可以推、什么东西需要多大的力才能拉开。你也可以记录别人的动作序列，但如果背后没有物理模型来支撑泛化，那么一旦环境变了、物体变了，这个行为就失效了。
) z1 d$ e4 e" T) x7 b所以我一直强调一句话：没有交互，就没有理解；没有交互，就没有泛化。
* Q* [" l: H- n0 J回头看过去二十年的研究路线，我自己其实也是一步一步被这个问题推到这里来的。 6 Q( R" i, R" b# J
早期做视觉的时候，我们解决的是“让机器看清楚”的问题：识别猫、识别车、识别椅子。后来深度学*起来以后，工具变得更锋利了，但新的问题也变得更尖锐：
" B& s. k4 u! V4 V机器知道这是椅子，可它知道椅子能干什么吗？知道该怎么用吗？知道什么时候能坐、什么时候不能坐吗？它知道“看起来像椅子”和“能够支撑一个人坐下去”之间的区别吗？
9 @* L) A" ]! d: U/ R8 t6 K5 Y3 V再往后走到 3D，我们开始真正接近世界中的操作。 7 Q( {( z/ G! N" G0 _5 w
因为在 3D 世界里做事情，就必须理解物体的几何结构、空间结构、朝向、支撑关系。3D 确实让我们更进一步，但它解决的仍然主要是静态结构问题。它能告诉你形状，却不能直接告诉你行为；能告诉你表面，却不能直接告诉你因果。
4 v+ ~ S% |0 C, K5 |+ c到了2020 年前后，这种“静态理解”的边界已经越来越清楚了。抽屉可以打开，门也可以打开，微波炉按下按钮后门也会打开，但这些并不只是“形状不同”，它们本质上是行为模式不同。如果你不知道该做什么动作，那么仅仅知道形状并不够。
# ^7 D# E" }6 C- s. `同一时期，世界模型和强化学*给了另外一个重要启发：物理理解不能只靠观察，它需要在内部模型中进行预测、规划和试验。
' I7 X4 L6 G3 Y$ w o一个真正的世界模型，不只是生成像素，而是能够在内部模拟“我这样做会怎么样”，然后再决定是否在现实中执行。
# B$ s3 ?9 G( D- G8 N/ j! ]) N3 M X这个方向非常重要，但它也有根本脆弱性：只要一离开训练分布，视觉稍微变化、视角稍微变化、物理参数稍微偏移，模型就可能崩掉。也就是说，我们看到了“对行为后果进行预测”的方向是对的，但泛化仍然是没有解决的问题。 9 l# @& V N4 F, S
进一步地，仿真训练的发展又暴露出另一个现实：在仿真里学得很好的策略，到了真实世界，性能会明显下滑。 6 k2 b& T/ C0 P/ r' [3 L F
我们也看到一个清晰的规律：简单技能，例如基本抓取、放置，往往主要卡在视觉上——位置估计、实例分割、关键点检测这些如果做得足够好，问题就能缓解。但到了更复杂的任务，例如高约束空间中的避障、小接触操作、工具使用、柔性物体处理，瓶颈就开始转向物理层面了。
: r1 ~: _- p- b5 M' @比如一个门如果真实阻力比训练时大 20%，机器人就可能拉不开。问题不在于它“没看见”，而在于它没有真正学到这个物理世界。 + b% ~: g0 c" `; e3 X! u2 l ^( g
所以我后来越来越清楚地意识到：我自己的研究路径，某种意义上正好对应了“感知—空间—物理—行为”这一条链条。更重要的是，我发现这并不是我一个人的问题，而是整个社区都在不同路线下撞到了同一堵墙。 7 ], x; _+ U( y( r- w
今天大致有三条重要路线。 2 s6 d: W4 ` X8 d. {' O
第一条是几何重建。
" [! d/ r: n9 N2 m8 g" s这条路线把几何精度推到了前所未有的高度，能够生成非常细致、可交互的 3D 表征，看起来很强大。但它本质上仍然是在做几何层面的世界表征，而不是物理建模。它告诉你“东西长什么样”，但不告诉你“推一下会怎样”。 , P+ o7 X( P7 y
第二条路线是视频生成。 ! N. s9 F6 s( r. X4 r9 T
它做的是物理现象的生成，而不是物理世界的建模。它可以把玻璃碎裂、液体飞溅之类的现象生成得非常逼真，但它回答不了真正的干预问题：如果我用两倍的力推，会不会碎？如果材质换了，还会不会一样？因为它学到的是统计共现，而不是因果机制。它看到的是“什么通常和什么一起出现”，而不是“因为什么导致了什么”。
8 P- l/ }. I2 [# K) n# |第三条路线最接近行为，是把大模型、视觉语言模型和动作模型接起来，朝着 VLA 的方向走。
' Z6 c. u; G% Q9 ]这条路当然很重要，但也存在两个根本问题： $ ~4 J6 F) f. O! `
第一，它的物理直觉很多仍然是从语言和图像中间接学来的，而不是从真实交互中打磨出来的；第二，在把语言模型往动作上迁移的过程中，经常会出现已有能力退化、而真正缺失的物理能力又没补上的情况。 1 @: Z. s4 z: P. m" h* o
于是最后三条路线虽然形式不同、工具不同、数据不同，但都在同一个地方撞墙：缺少真正的物理层。 6 p; l @* C' l
这里特别关键的一点是，我们不能把“看起来很像”误认为“已经理解”。 . x9 d" j: z% T4 u& N4 Q
从因果角度讲，被动观察得到的是条件概率，回答的是“看到 x 时，y 往往会怎样”；而物理理解真正需要的是干预分布，回答的是“如果我主动做 x，那么 y 会怎样”。这是两种完全不同的问题。
6 Q6 g% c$ _& r" X/ F) W你看到一个杯子从桌上掉下来摔碎，只是观察；你主动把它推下去，并且控制施力方式、方向、起点，这才是干预。没有干预数据、没有相应的模型结构，很多物理问题原则上就是学不会的。这不是“数据还不够多”的问题，而是结构性问题。
; {/ C/ A) b$ N* ]( w8 P. iPearl 的因果层级框架把这个问题讲得非常清楚：第一层是关联，第二层是干预，第三层是反事实。
3 C, @3 u* H) @% N现有很多模型停留在第一层，最多在表面上摸到第二层的边缘。但如果我们要真正解决物理理解问题，至少必须走到第二层。只靠看更多视频，不可能直接恢复出干预分布。 ) v3 m. {3 ]) Q- c! c* A
这也是为什么婴儿的发展路径、进化路径都值得我们认真看。
) F3 A6 x( B/ g4 ?2 m* W& ^9 Z4 V婴儿不是靠“看更多视频”来理解物理世界的，而是靠抓、扔、推、放、咬、试错，在主动交互中建立直觉。
2 }1 c D; t! A这里至少说明两件事。
/ H0 @& v3 r. z0 g. C6 N! o第一，行动总是发生在 3D 空间中的具体位置上，而后果也是沿着 3D 结构传播的；施力点、方向、接触位置都极其关键，所以物理因果天然具有空间结构。 ( e4 u4 Q1 q% D0 l6 l$ e
第二，具身不是简单地“给 AI 加一个身体”，而是一种更深的立场：承认没有交互就没有物理理解。就算你给系统一百个身体，如果它学*物理的方式仍然只是被动看数据，那问题本质上没有变。 9 P5 O% G& G3 t9 B( \ |1 U0 F
接下来就会遇到一个现实问题：主动交互当然重要，但干预数据从哪里来？真实世界数据当然很宝贵，但它有明显的效率上限：成本高、速度慢、存在安全风险，很多物理实验根本不可能在真实世界中大规模做。
$ A6 v" Z4 c6 g所以我现在越来越倾向于一个判断：高质量的虚拟物理世界，是目前唯一可扩展的替代方案。
5 x) w. p) Y+ @0 I9 B% b. n真正的物理理解应该是一个闭环：感知环境，构建内部物理模型，预测行为后果，执行动作，观察结果，再反过来修正模型。 9 e4 M$ u! `4 C& Q% h' L) |$ ]
这个循环必须转起来。每一次交互都在修正内部模型，而更好的内部模型又会带来更好的行动和更有信息量的观察。这是一个自我强化的循环。
* B8 \ M, Y' o- G9 |4 F目前社区里已经出现了一些积极信号：当系统使用大规模虚拟交互数据进行训练时，在零样本泛化和迁移上已经显示出一定潜力。 . k, n2 R; h: P; N8 O0 P5 T& Y& J
这至少说明一件事：在虚拟世界中学*物理，不是没有价值的，它在某些任务上确实能够转移到真实世界。
7 ^' V( u! G" Z) Q当然，这还远远不是终点。接下来更重要的问题，是怎么构造正确的表征、怎么设计正确的评测、怎么判断我们到底有没有学到物理理解，而不是只在做表面的拟合。 ; y4 c% s" x, E& U
所以到最后，我会把物理理解需要满足的条件概括为三点。 ; z* C/ f% c, V& v' @
第一，必须在交互中学*，而不是只通过观察学*；第二，必须编码物理因果的空间结构；第三，必须优先建模行动的后果，而不是只建模视觉外观的统计规律。 $ c: [0 W, j7 g! @) S: j, r
对应到今天的研究，这其实意味着一个非常明确的方向：下一代关键突破口，可能不在语言、不在搜索、不在对话本身，而在真实世界中的可干预交互，在能够把 3D 理解、物理因果和行动规划真正闭环起来的系统上。
/ E6 X4 Z3 u* Z5 v8 n- U# s" P6 `从这个意义上说，3D 重建、视频生成、VLA 都不是没有价值，它们都很重要，但它们都还不是终点。真正的终点不是 PSNR，不是生成得更真，不是看起来更像，而是：系统能否在未知的物理任务中成功行动。 3 I% @- l& b( B) M$ j# K
如果我们认同这一点，那么接下来的工作重点就应该非常明确：去寻找一种既能从数据中学*、又真正匹配物理世界结构的通用方法，去构建下一代通用物理智能系统。 4 k% y' e3 i3 M C; x: L# U) A# n3 T
这件事值得我们认真做好多年。
& l3 V4 G" D) d7 c$ y" L! @6 A* ^' \' D | 
发表于 2026-4-29 10:44:49
