在Arxiv.org印前服务器上发表的一篇论文中，来自CSAIL、英伟达、华府大学和麻省理工学院多伦多大学的研究人员描述了一个AI系统，该系统通过观看视频来学习织物等材料的物理交互。他们声称，该系统可以推断出以前从未见过的相互作用，例如涉及多件衬衫和裤子的相互作用，从而可以进行长期预测。
因果关系理解是反事实推理的基础，或者是对已经发生的事件的可能替代方案的想象。例如，在包含一对通过弹簧相互连接的球的图像中，反事实推理将需要预测弹簧将如何影响球的相互作用。
研究者的系统——视觉因果关系发现网络(V-CDN)——通过以下三个模块猜测交互：一个用于视觉感知，一个用于结构推理，一个用于动态预测。感知模型被训练为从视频中提取一些关键点(感兴趣区域)，干扰模块识别控制关键点对之间交互的变量。同时，动力学模块使用推理模块创建的图形神经网络来学习和预测关键点的未来运动。
研究人员在模拟环境中研究了V-CDN，它包含各种形状的织物：衬衫、裤子和毛巾，外观和长度各不相同。它们在织物轮廓上施加力，使其变形并四处移动，以产生能够处理不同类型和形状织物的模型。
研究人员表示，结果显示，V-CDN的性能随着观察更多的视频帧而提高，这与直觉有关，即更多的观察结果可以更好地估计控制织物行为的变量。他们写道：“这个模型既不假设访问基本事实因果图，也不……描述物理相互作用的动力学。”“相反，它学会了以无监督的方式从图像中发现依赖结构，并对端到端的因果机制进行建模。我们希望这种方法将有助于未来更通用的视觉推理系统的研究。”
研究人员仔细注意到，V-CDN无法解决因果建模的巨大挑战。相反，他们认为他们的工作是朝着更广泛的目标迈出的第一步，即建立基于物理的“视觉智能”，可以模拟动态系统。他们写道：“我们希望引起人们对这一巨大挑战的关注，并启发未来基于视觉输入和物理推理的泛化研究，而不需要特定领域的特征工程。”
标签：