DDP1 篇实战文章

一个优化器单步慢 25%,到七步累积的窗口里,整体开销只多 4%。这不是玄学,是摊薄。但摊薄具体发生在哪一行,多数人停在“累积步数大了自然就小”这种直觉上,没有再往下挖。