速评：tokenizer 这门玄学，终于有人正经做度量了
速评：TokEval 这篇,我看了两遍，第一遍想挑刺，第二遍想挑没挑成。COLM 2026 上的这篇东西，可能是今年 tokenizer 方向最有分量的一次尝试。 先说它做了什么。Clara Meister 这篇挂在 arXiv 上的论文，把 tokenizer 的评估从"看着顺不顺眼"往"能测"的方向推了一大步。
速评：TokEval 这篇,我看了两遍，第一遍想挑刺，第二遍想挑没挑成。COLM 2026 上的这篇东西，可能是今年 tokenizer 方向最有分量的一次尝试。 先说它做了什么。Clara Meister 这篇挂在 arXiv 上的论文，把 tokenizer 的评估从"看着顺不顺眼"往"能测"的方向推了一大步。