论文信息
信息概览
NIPS 2024 Oral
论文题目： GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation
论文单位： The Hong Kong University of Science and Technology
是否开源： 是
总结：
之前如PAC-NeRF采用NeRF表示隐式形状，几何精度不高，且在大变形下容易引入纹理扭曲，影响物理属性估计。 GIC使用3D高斯点云显式建模，通过运动分解学习动态形变，提升几何重建精度，同时提供更稳定的输入用于物理属性估计。
从多视图视频中重建各种对象类型的几何形状和物理属性 假设：物体类型（例如，弹性、颗粒、牛顿/非牛顿、塑性）是已知的，并且物理现象遵循连续介质力学
在机器人抓取场景下，GIC可用于识别真实物体的物理属性，实现虚实一致的变形模拟，为数字孪生提供了实际价值。
目前还有哪些不足之处: 1 依赖于多视图输入和已知相机姿态：要求多视图视频和精确的相机内外参：
2 系统不能自动识别材料种类，需要人为指定（如弹性、非牛顿流体等），降低了通用性
3 模拟假设局限于连续介质：框架基于连续介质力学，难以处理断裂、分离等非连续变形现象。
4计算资源消耗大：每个物体从几何重建到系统识别耗时约1.5小时，不适合实时或大规模部署。
论文细节
背景知识
用传统高斯的方法渲染深度图和前景的mask，但是这里的高斯核是各项同性的，也就是协方差矩阵RS分解后的S是单位矩阵（为什么呢？）;
然后用splat的方式渲染每个视图下的深度，颜色，前景mask；
方法
目标还是，输入连续的视频，给定相机内参/外参，目标是重建物体的几何+物理属性
motion-factorized dynamic 3D Gaussian network