一个 2847 道题的基准,公开六天,15 个 star,0 次运行
速评:2847 道题、197 万 token 的长期记忆基准,公开六天,15 个 star,0 次运行。 问题不在公不公平。在没人跑得动。 9 月 28 日,作者 woochan 在 DEV 发了篇自述,说自己尽量公平地做了个长期记忆基准,叫 Glasshouse。基准本身是发帖前六天公开的。
速评:2847 道题、197 万 token 的长期记忆基准,公开六天,15 个 star,0 次运行。 问题不在公不公平。在没人跑得动。 9 月 28 日,作者 woochan 在 DEV 发了篇自述,说自己尽量公平地做了个长期记忆基准,叫 Glasshouse。基准本身是发帖前六天公开的。
先说结论:Glasshouse 我给偏正面。但它现在最值钱的东西不是那份横跨 17 个月、103,572 轮的语料。 是评论区。有人拿它自己公开的逐题记录,把它量了一遍。 仓库在 github.com/wontopos/glasshouse,Apache 2.0。
