PR Category

Execute Infrastructure

PR Types

Performance

Description

SOT 目前对于 layer 的参数/sublayer 的加载是直接走的 layer.weight 的这种方式，这样是会走 Layer.__getattr__ 的 dispatch 的，因为 layer.weight 实际上会存在 layer._parameters["weight"] 上，因为不在 layer.__dict__ 里，所以一定会 dispatch，但我们完全可以生成 layer._parameters["weight"] 这样的加载方式，以消除掉 __getattr__ 的开销，这是通过构建 tracker 的方式实现的（同理，guard 开销也会降低）

经过测试，layer._parameters["weight"] 会比 layer.weight 快 10 多倍，这对 guard 开销和加载参数开销都会有大幅降低

当然，我们后面也可以在 VariableBase 上直接实现 __getattr__ 的 inline call，以避免每次都要重新实现类似逻辑，现在的实现是不够通用的

另外顺带优化了下 dataclass 的 utilities