Skip to content

关于训练的几个细节想进一步了解一下 #51

Description

@LaFeuilleMorte
  1. Holobrain做了多种异构数据集的预训练,有没有对这些异构数据(EgoDex,仿真)做ablation实验,来验证加入这些数据混训对模型效果提升还是下降。
  2. 训练config里,predict类型默认写了relative_joint_relative_pose. 看起来是相邻帧的差分,这种方式是不是会随着轨迹不断累积误差,改成类似Pi0.5那种chunk-wise relative会不会更好一些(相对chunk第一帧差分)。
  3. relative joint减去上一帧没有问题,但是relative pose是四元数表示,减去上一帧貌似在数学上会有问题,应该算相邻帧pose的相对旋转矩阵。
  4. 看训练的时候denoise是用DDPM,推理用DPM-Solver,为啥不用主流的Flow matching,训推速度会更快,效果也不错?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions