速评：这篇论文最值钱的不是它的benchmark，是一条被数字盖住的反直觉结论——最强的代码生成器，不是最快的架构优化器。
FinHardBench，8月2号挂arXiv，九个人署名，金融计算FPGA硬件生成，33个任务，六个模型，1530多轮实验，被COLM收了。最近半个月看了一圈"LLM写硬件"的报道，基本都是瞟一眼摘要就开写：19%到61%的功能正确率，时序退化最高13.7倍，策略级规格变更对大多数模型来说压根没解决。数字一出，标题党连稿子都起好了——"LLM做硬件纯属口嗨"。
但你要是只盯这组数字，就漏了整篇论文最扎眼的部分。
第二组实验是系统级设计空间探索：给模型24轮预算找最优配置，表现最好的模型5/5种子全收敛到最优，而随机搜索、模拟退火、贝叶斯优化这些经典算法，只有0到4/5。
注意对照组不是别的LLM，是正经的优化算法。翻译过来就是：LLM在大方向的粗判断上，干过了模拟退火。
第一组实验惨成那样，第二组又惊艳成这样，这反差怎么解释？论文给的答案很直白：任务难度跟训练数据模式的可用性关系更密切，跟抽象层级没啥关系。人话版本就是——模型在硬件上压根没有"理解"逻辑，它就是在调取见过的模式。逐字对齐生成代码是细活，模式匹配在这种细活上容易露怯；但判断"哪个配置方向值得试"这种粗活，反而靠模式匹配就能蒙对。
这话落到AI编程的语境里，有点讽刺。
全行业现在卷的是代码生成通过率、benchmark排名、context window长度。但这篇论文里藏着个更耐看的细节：六个模型的代码生成排名和设计空间探索排名，重叠度只有中等。最强的代码生成器在架构优化上没拿到第一；而最弱的生成器MiniMax M2.7，在优化任务上5个种子做到4/5系统最优，只比最强那家差一个种子。
生成能力是生成能力，探索能力是探索能力。这两个能力在模型里是解耦的。
我平时不怎么看硬件方向，这篇是被人转过来才点的。硬着头皮读完附录，反倒觉得场景选得妙：硬件是个context window受限、反馈信号极度明确的场景——时序违例能算出来，布线能跑出来，对错不靠评委打分，由工具链说了算。恰恰是这种场景，才可能测出LLM真实能力的边界。论文选的赛道是金融FPGA，不性感，但真实。真实的场景才能测出真实的本事。
33个任务样本量不大，COLM评审也未必揪出所有问题，这类benchmark的结论通常会被后续复现修正。这个我不抬杠。
但"生成能力和探索能力解耦"不是靠一个数字撑起来的。排名的中等相关性、最弱生成器在搜索任务上逼近最强、模型在两个任务上各自高方差——这些是结构性信号，不是换个seed就会散的波动。
插一句：这论文能被COLM收下而不是挂在arXiv吃灰，至少说明一批同行认了这套实验设计。更关键的是FinHardBench直接开源，代码和基准都摆出来了。任何人拿这33个任务去测别的模型都行——这个"可复现"的动作，放在一个什么都在刷榜、什么都在比分的行业里，本身就该点个赞。
最后立个flag：接下来半年，会有越来越多的人反应过来，"能生成多少代码"和"能不能找对设计方向"是两码事，会有人专门做新benchmark把这两个能力拆开测。到时候看吧，那些只堆代码质量、不碰搜索策略的模型，在架构级任务上会集体吃瘪。
这不是FinHardBench一家之言，是解耦这事的必然走向。
半年后回来收。
