logprobs1 篇实战文章

为什么有人要费劲让大模型一次只吐一个字母？ 简单说，因为你要的不是它的句子，是它的概率。让它写一整段再去解析，又慢又容易崩格式。让它只回一个 A，那一个 token 的概率本身就是一个分数。 上周看到一篇博客，标题是给 LLM 做一个 Jev 风格的封装，顺带把视觉模型也接上了。