https://Peraspera1.github.io/tags/qifeng-chen/ Recent content in Qifeng Chen on Xiong Jia Hugo -- gohugo.io zh-cn xj Mon, 17 Mar 2025 20:43:53 +0800 https://Peraspera1.github.io/p/gic/ Mon, 17 Mar 2025 20:43:53 +0800 https://Peraspera1.github.io/p/gic/ <img src="https://Peraspera1.github.io/images/GIC/cover.png" alt="Featured image of post GIC" /><h1 id="论文信息">论文信息 </h1><h2 id="信息概览">信息概览 </h2><p><strong>NIPS 2024 Oral</strong></p> <p><strong>论文题目：</strong> GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation</p> <p><strong>论文单位：</strong> The Hong Kong University of Science and Technology</p> <p><strong>是否开源：</strong> 是</p> <p><strong>总结：</strong></p> <p>之前如PAC-NeRF采用NeRF表示隐式形状，几何精度不高，且在大变形下容易引入纹理扭曲，影响物理属性估计。 GIC使用3D高斯点云显式建模，通过运动分解学习动态形变，提升几何重建精度，同时提供更稳定的输入用于物理属性估计。</p> <p>从多视图视频中重建各种对象类型的几何形状和物理属性 假设：物体类型（例如，弹性、颗粒、牛顿/非牛顿、塑性）是已知的，并且物理现象遵循连续介质力学</p> <p>在机器人抓取场景下，GIC可用于识别真实物体的物理属性，实现虚实一致的变形模拟，为数字孪生提供了实际价值。</p> <p>目前还有哪些不足之处: 1 依赖于多视图输入和已知相机姿态：要求多视图视频和精确的相机内外参：</p> <p>2 系统不能自动识别材料种类，需要人为指定（如弹性、非牛顿流体等），降低了通用性</p> <p>3 模拟假设局限于连续介质：框架基于连续介质力学，难以处理断裂、分离等非连续变形现象。</p> <p>4计算资源消耗大：每个物体从几何重建到系统识别耗时约1.5小时，不适合实时或大规模部署。</p> <h1 id="论文细节">论文细节 </h1><h2 id="背景知识">背景知识 </h2><p>用传统高斯的方法渲染深度图和前景的mask，但是这里的高斯核是各项同性的，也就是协方差矩阵RS分解后的S是单位矩阵（为什么呢？）; 然后用splat的方式渲染每个视图下的深度，颜色，前景mask； <img src="https://Peraspera1.github.io/images/GIC/the1.png" loading="lazy" alt="psc" ></p> <h2 id="方法">方法 </h2><p>目标还是，输入连续的视频，给定相机内参/外参，目标是重建物体的几何+物理属性</p> <p>motion-factorized dynamic 3D Gaussian network</p> <h2 id="code">code </h2>