750B 的柜子，37B 的袋子——MoE 这笔账我第一次画错了
EXAONE 2.0 的技术报告前几天刚出来（8 月 5 号，LG 那边的），我扫了一眼参数表就停住了：总参数 750B，每 token 激活 37B。 就这两个数字。我先撂一句：MoE 被讲得太玄了，它其实没那么难——但“750B 里只用 37B”这句话，我第一次听到是真没懂。账对不上啊，剩下那 713B 在干嘛？
MoE1 篇实战文章
EXAONE 2.0 的技术报告前几天刚出来（8 月 5 号，LG 那边的），我扫了一眼参数表就停住了：总参数 750B，每 token 激活 37B。 就这两个数字。我先撂一句：MoE 被讲得太玄了，它其实没那么难——但“750B 里只用 37B”这句话，我第一次听到是真没懂。账对不上啊，剩下那 713B 在干嘛？