https://Peraspera1.github.io/categories/3dgs/ Recent content in 3DGS on Xiong Jia Hugo -- gohugo.io zh-cn xj Mon, 17 Mar 2025 20:43:53 +0800 https://Peraspera1.github.io/p/gic/ Mon, 17 Mar 2025 20:43:53 +0800 https://Peraspera1.github.io/p/gic/ <img src="https://Peraspera1.github.io/images/GIC/cover.png" alt="Featured image of post GIC" /><h1 id="论文信息">论文信息 </h1><h2 id="信息概览">信息概览 </h2><p><strong>NIPS 2024 Oral</strong></p> <p><strong>论文题目：</strong> GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation</p> <p><strong>论文单位：</strong> The Hong Kong University of Science and Technology</p> <p><strong>是否开源：</strong> 是</p> <p><strong>总结：</strong></p> <p>之前如PAC-NeRF采用NeRF表示隐式形状，几何精度不高，且在大变形下容易引入纹理扭曲，影响物理属性估计。 GIC使用3D高斯点云显式建模，通过运动分解学习动态形变，提升几何重建精度，同时提供更稳定的输入用于物理属性估计。</p> <p>从多视图视频中重建各种对象类型的几何形状和物理属性 假设：物体类型（例如，弹性、颗粒、牛顿/非牛顿、塑性）是已知的，并且物理现象遵循连续介质力学</p> <p>在机器人抓取场景下，GIC可用于识别真实物体的物理属性，实现虚实一致的变形模拟，为数字孪生提供了实际价值。</p> <p>目前还有哪些不足之处: 1 依赖于多视图输入和已知相机姿态：要求多视图视频和精确的相机内外参：</p> <p>2 系统不能自动识别材料种类，需要人为指定（如弹性、非牛顿流体等），降低了通用性</p> <p>3 模拟假设局限于连续介质：框架基于连续介质力学，难以处理断裂、分离等非连续变形现象。</p> <p>4计算资源消耗大：每个物体从几何重建到系统识别耗时约1.5小时，不适合实时或大规模部署。</p> <h1 id="论文细节">论文细节 </h1><h2 id="背景知识">背景知识 </h2><p>用传统高斯的方法渲染深度图和前景的mask，但是这里的高斯核是各项同性的，也就是协方差矩阵RS分解后的S是单位矩阵（为什么呢？）; 然后用splat的方式渲染每个视图下的深度，颜色，前景mask； <img src="https://Peraspera1.github.io/images/GIC/the1.png" loading="lazy" alt="psc" ></p> <h2 id="方法">方法 </h2><p>目标还是，输入连续的视频，给定相机内参/外参，目标是重建物体的几何+物理属性</p> <p>motion-factorized dynamic 3D Gaussian network</p> <h2 id="code">code </h2> https://Peraspera1.github.io/p/decoupledgaussian/ Sat, 15 Mar 2025 20:32:40 +0800 https://Peraspera1.github.io/p/decoupledgaussian/ <img src="https://Peraspera1.github.io/images/decoupledgs/cover.png" alt="Featured image of post Decoupledgaussian" /><p>这篇工作主要解决的是物体表面分离 在physgaussian的基础上</p> <p>相关论文 Vismay Modi, Nicholas Sharp, Or Perel, Shinjiro Sueda, and David IW Levin. Simplicits: Mesh-free, geometry-agnostic elastic simulation. ACM Transactions on Graphics (TOG), 43(4):1–11, 2024. 2</p> <p>Ying Jiang, Chang Yu, Tianyi Xie, Xuan Li, Yutao Feng, Huamin Wang, Minchen Li, Henry Lau, Feng Gao, Yin Yang, et al. Vr-gs: A physical dynamics-aware interactive gaussian splatting system in virtual reality. In ACM SIGGRAPH 2024 Conference Papers, pages 1–1, 2024. 1, 2, 4, 5, 6,</p> https://Peraspera1.github.io/p/physgaussian/ Wed, 19 Feb 2025 00:00:00 +0000 https://Peraspera1.github.io/p/physgaussian/ <img src="https://Peraspera1.github.io/images/physgaussian_cover.jpg" alt="Featured image of post Phygaussian" /><h1 id="论文信息">论文信息 </h1><h2 id="信息概览">信息概览 </h2><p><strong>CVPR 2024 Highlight</strong></p> <p><strong>论文题目：</strong> PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics</p> <p><strong>论文单位：</strong> UCLA</p> <p><strong>是否开源：</strong> 是</p> <p><strong>总结：</strong> PhysGaussian是第一篇将3D高斯核（用于渲染）与物理属性（如速度、应变、应力）相结合，使其能够模拟牛顿力学中的动态行为，适用于多种不同材料（如弹性物体、金属、非牛顿流体等）。</p> <h2 id="论文思路">论文思路 </h2><p>核心思想是what you see is what you simulate。</p> <p>传统的图形学物理引擎往往会导致模拟与可视化之间的差别，但自然界中材料的物理特性与视觉外观本质上也是交织在一起的，受此启发，本文将物理学赋予 3D 高斯核，赋予它们运动学属性（如速度和应变）以及机械属性（如弹性能、应力和塑性），进而弥补这一差别。</p> <p><img src="https://Peraspera1.github.io/images/physgaussian/methodoverview.jpg" loading="lazy" alt="代码整体框架" ></p> <p>首先需要输入一个物体的多视角图片，然后按照传统3DGS的方式重建物体，得到物体的3DGS表示(不要渲染)，即把物体离散为了一个个高斯（高斯的中心、不透明度、协方差矩阵和球谐系数）</p> <h1 id="代码debug记录">代码debug记录 </h1>