跟 AI 聊久了，关掉窗口会有点恍惚。
觉得对面好像真的明白你在说什么。这种感觉有名字。LLMentalist Effect。
三年多前有人专门写长文给它命名。作者 Baldur Bjarnason，文章发在他自己的站点上。核心判断一句话：所谓智能，幻觉在用户这头，不在模型那头。
我当时读过，觉得是个聪明的比喻，就放下了。最近翻出来重看，才发现它讲的不是比喻，是机制。
这名字在说什么
灵媒。他为什么拿这个来类比？因为冷读那套手艺，被意外地自动化了一遍。
之前一年他主要在盯语言模型和扩散模型怎么进软件公司。看下来的结论很硬：LLM 内部没有支持思考或推理的结构。
可以理解为，它是一套对语言 token 的数学模型。你给一段文本，它回一段数学上合理的接续。
合理，不等于想过。
验证性陈述
一句话讲清楚：验证性陈述是听着很准、其实对谁都准的说法。
星座运势是同一个东西。Forer 效应、巴纳姆陈述，心理学里早就有。他是看到一个博客在统计聊天机器人回复里的巴纳姆陈述，才把两条线接上的。
冷读不靠超能力，靠流程。挑观众，铺垫气氛，缩小范围，试一句，看反应，再顺着反应调整。对方一点头，就继续往下推。最后听众自己会回去，把散落的碎片拼成一个完整的故事。
这一步叫主观验证。一句话只要对本人有个人意义，人就更倾向于认为它准。
对着聊天机器人，流程几乎一样，只是方向反过来。你先开口，它接住。你觉得它准，就多聊两句。它看你下一句，再调。
作者点了个挺扎的地方：本来就怀疑 AI 的人，不太会用。真正会走进长时间对话的，是早期采用者、技术爱好者和 AGI 信徒。
越希望它懂你的人，越容易走进那个循环。
这话不温和，但很难反驳。
RLHF 这一段
前面都是心理学。这段是技术上真正要紧的。
RLHF 的流程不复杂。人给模型生成的几段文本排序，排序数据训出一个奖励模型，奖励模型再参与强化学习。
问题出在排序的人看什么。
作者的说法是，做反馈的人薪酬不高，没有主题专业知识，也没有时间逐条核查事实。那他们排的到底是什么？是语气。是句式。是这段读起来像不像一个准确的陈述。
所以奖励模型更擅长奖励风格和结构，不擅长纠正具体事实。作者由此推了一句很重的话：RLHF 实际上是把语言模型优化成了一台生成验证性陈述的机器。
不是优化成理解文本的东西，是优化成听起来像理解文本的东西。
这两者差得很远。而且这个方向不是谁故意选的。他说 AI 行业有意制造错觉的可能性极低，更可能是从业者自己也没吃透机制，把灵媒的手艺复现了一遍。
这段我读完不太舒服。因为我平时判断一条回复好不好，第一反应也是它读起来对不对。
越聪明越容易中招
这条反直觉，但他讲得清楚。
自认聪明的人不会因此免疫。他们更可能用智力去替对面编一套合理解释。解释编得越顺，越不愿意承认自己上头了。
他还提了一句我没想到的：有些干这行的人，可能自己也没意识到在冷读。在客户持续的正面反馈里，先把自己说服了。
那怎么衡量这事有多严重？他说不能靠用户报告。信的人只会给好评，差评那部分根本不会出现。
那该拿它当什么用
他的建议很硬：不要在产品、网站或者组织流程里集成 LLM，说语言模型几乎总是错误的工具。他还把"把决策、排序、评估、战略分析交给聊天机器人"，直接等同于打电话问灵媒。
后半句我认。前半句我留个问号。
这篇文章是三年多前的。那时候的工具、上下文长度和能干的活，跟今天不是一回事。我不打算替他改口，但我自己不会把话说死到不用。把"它懂我"这个感觉摘掉之后，它当生成工具是很顺手的。
他自己其实也留了这条缝。他说多数用户就是拿它当生成工具，拿到答案就走。这拨人不在他批评的范围里。
所以剩下的事挺简单。你是拿它当工具，还是在跟它聊天。前者拿到东西就关窗口。后者容易聊到忘了自己本来要干什么。
一句话收：它没有懂你，它生成了一段听起来像懂你的文本。知道这一点不影响你用，只是不用再替它编解释了。
本周就这些。
上面 RLHF 那一段我是按自己的理解转述的。哪里讲错了，欢迎告诉我，我改。
下周见。