4DGS-JEPA:面向动态高斯泼溅的时序组合联合嵌入预测架构
动态高斯泼溅能显式表征随时间演化的3D场景,但现有方法多针对重建、未来状态生成或渲染进行优化,缺乏对可复用预测动力学的学习。对此,研究人员提出了 4DGS-JEPA,一种用于动态高斯场景因果多时域预测的原生联合嵌入预测架构。该模型构建了涵盖场景级、运动群级及高斯级的层次化表征,并结合时域条件转移算子,能够同时支持直接预测与递归推演。
动态高斯泼溅能显式表征随时间演化的3D场景,但现有方法多针对重建、未来状态生成或渲染进行优化,缺乏对可复用预测动力学的学习。对此,研究人员提出了 4DGS-JEPA,一种用于动态高斯场景因果多时域预测的原生联合嵌入预测架构。该模型构建了涵盖场景级、运动群级及高斯级的层次化表征,并结合时域条件转移算子,能够同时支持直接预测与递归推演。
该研究推出了全模态嵌入模型家族 Ovis-Embedding,实现对文本、图像、视频和音频的原生整合。不同于将各个独立的模态塔简单组合,Ovis-Embedding 采用共享的多模态骨干网络,将不同模态编码至统一的表征空间中。该模型以预训练的 Qwen-omni 为骨干网络,通过低秩初始化的对比训练完成适配,并引入了以数据为中心的全模态训练策略。
该研究针对可解释性与表征学习中的“线性表征假说”提出了理论层面的反思。作者指出,要让关于表征的结论跨越具体训练模型实现泛化,必须明确两个表征何时被视为等价。由于现有讨论普遍缺乏对等价性的明确定义,导致看似研究同一表征的指标、探测器和干预手段实际上可能对应着不同的假设。研究认为,线性表征假说并非单一假设,而是由不同表征等价性所区分的一个假说家族。
针对自回归语言模型仅能通过序列分解间接表示全局结构、缺乏类似图像领域的忠实连续表征这一问题,研究人员提出了LLMAE方法。该方法将预训练的仅解码器(decoder-only)大语言模型重新利用为连续文本自编码器,通过在其内部激活状态中构建一个中间固定长度的潜在瓶颈(latent bottleneck),成功为文本生成提供了可操作的高保真连续潜空间表征。
柏拉图表征假设提出高能力模型会趋向于收敛至共享表征,而近期研究将其范围缩减为共享局部邻域关系,并认为校准后全局相似性趋势大多消失。该研究对这一解读提出质疑,指出以往的局部与全局对比混淆了结构尺度(局部与全局)与对比对象本身的差异,即由样本关联定义的“关系结构”和由距离等量化关系表征的“度量几何”被混为一谈,重新澄清了模型表征收敛的实质。