4DGS-JEPA:面向动态高斯泼溅的时序组合联合嵌入预测架构
动态高斯泼溅能显式表征随时间演化的3D场景,但现有方法多针对重建、未来状态生成或渲染进行优化,缺乏对可复用预测动力学的学习。对此,研究人员提出了 4DGS-JEPA,一种用于动态高斯场景因果多时域预测的原生联合嵌入预测架构。该模型构建了涵盖场景级、运动群级及高斯级的层次化表征,并结合时域条件转移算子,能够同时支持直接预测与递归推演。
动态高斯泼溅能显式表征随时间演化的3D场景,但现有方法多针对重建、未来状态生成或渲染进行优化,缺乏对可复用预测动力学的学习。对此,研究人员提出了 4DGS-JEPA,一种用于动态高斯场景因果多时域预测的原生联合嵌入预测架构。该模型构建了涵盖场景级、运动群级及高斯级的层次化表征,并结合时域条件转移算子,能够同时支持直接预测与递归推演。
该研究推出了全模态嵌入模型家族 Ovis-Embedding,实现对文本、图像、视频和音频的原生整合。不同于将各个独立的模态塔简单组合,Ovis-Embedding 采用共享的多模态骨干网络,将不同模态编码至统一的表征空间中。该模型以预训练的 Qwen-omni 为骨干网络,通过低秩初始化的对比训练完成适配,并引入了以数据为中心的全模态训练策略。