怎么判断一段文字是不是 LLM 写的。
Fowler 上周给的答案是,不用判断。你读到一半开始怀疑的那一刻,事情已经发生了。
他那篇叫《LLM Voice》,不长。我看了两遍,第二遍是回头去翻脚注的。
这期本来排了六条。看完之后我撤了五条。撤掉的原因不是它们不重要,而是这篇说的东西,比那五条加起来更值得多说两句。
他在意的不是破折号
网上判断 AI 文风的土办法有一堆。破折号、排比三个、太工整的转折。
Fowler 说他看的是整体语感。这个我信。真人写的句子读起来多少都有点毛病,长短不齐,偶尔岔出去一句,偶尔一句本该说完的又没说尽。机器写的东西,毛病不在句子本身,而在句子和句子之间,那口气太平了。
补充一句我自己的土判据:一篇文章如果每一段都能单独拎出来当结论用,一段不落地成立,那多半有问题。真人写东西,总会有几段是给下一段铺垫的,而且铺得还挺笨。
他不太信检测工具
这条我最认同。
他说了两个担心。一是准不准。二是把判断整个交给一个工具,这件事本身就把问题带偏了。你都已经觉得不对味了,还去跑一遍检测器,图什么。
顺着往下推一步,我的看法比他还狠一点:这东西根本不是拿来用的,是拿来给自己找台阶的。稿子读着别扭,检测器跳出来说这段大概率是 AI,于是就有了一个可以指认的对象,好像问题出在工具身上。
问题不在工具身上。文本就在你眼前,你读着不舒服,这就够了。
写完这段我回头看了一眼,觉得自己说得太满。检测器在某些场景里确实有用,比如编辑处理一批来稿,比如学校里要筛一批明显交作业的。我说的是“自己读”这个场景,工具没什么位置。把这两个场景混在一起谈,是我在偷懒。
他给作者的建议,和一堆例外
他建议作者别让 LLM 写初稿。理由是,初稿一旦是机器写的,后面人再怎么改,那股味道也去不掉。连“接受 LLM 的改写建议”他都不太赞成。大纲和结构可以让它帮,正文自己写。
这条我本来准备直接抄下来当结论用。看到后面脚注,就抄不动了。
脚注里有个反例。某篇稿子的初稿完全由 LLM 写成,但经过一家大刊的专业编辑处理后,最终发出来的文本他读着没察觉。他自己也老实承认了这条。
另外还有两个例外。一个是 Jim Highsmith,因为帕金森病,写作要靠 LLM,Fowler 说他愿意接受这种文本里的机器味。另一个是非英语母语的同事用 LLM 做翻译,他理解这个沟通需求,但他还是更愿意读真人写的、粗糙一点的英文。
我的看法是:第一个例外才是整篇文章的钥匙。
不是“LLM 不配写正文”,而是“想事情这一步别外包出去”。Highsmith 想的事情还在他自己脑子里,他只是手不方便,所以机器味可以接受。初稿交给 LLM 再由人来改,麻烦在于骨架是别人搭的,你改的是皮。皮改得再干净,架子还是那个架子。
那家大刊的例子也不矛盾。专业编辑干的不只是改字,是把文章重搭一遍。这活不叫润色,叫重写。
他更愿意读粗糙的真人文字,这条我同意一半
剩下那一半我不同意。
粗糙本身不是价值。粗糙里面得有人在想事情,才值钱。我见过太多“人写的”东西,粗糙是真的粗糙,想法也是真的没有,那种东西比流畅的机器文本更浪费时间。
所以“流畅但没人味”这个说法,我建议换成“流畅但没人在想”。人味这个词太软,容易变成腔调问题。有没有人在想,才是硬指标。
他自己的写法
他说自己不靠 AI 生成正文,也不靠它搭结构,只拿它当搜索工具,搜完回到原始来源核实。写作习惯是先在脑子里把句子成形,再写下来,然后改已经写下的东西。
他还说了一句,写作是整理思想、获得理解的方式。他担心的是把写作交出去,顺带把思考和理解也一起交出去。
这句是全文最重的一句,也是最容易被当成鸡汤的一句。我说个具体的:你试过让 LLM 帮你写一段自己还没想清楚的东西吗。它写得挺好,你也看懂了,过三天有人问你这段什么意思,你答不上来。这不是记忆问题。你从来没想过,所以没有可以忘的东西。
然后我得算自己的账
我这行当本身就是二手。一周里挑几条别人的动静,配上自己的一句话点评。按 Fowler 的标准,我这种东西离“自己想事情”很远。
所以我给自己划了条线。工具名、参数、谁发了什么,这些可以去搜,去核对。判断必须是我自己的。这期撤掉五条,就是因为那五条我只有转述,没有判断。硬写出来,就是一份读着通顺、其实什么也没说的清单。
披露
Fowler 说他所在的站要求用 AI 辅助写作的人披露使用方式,一般写在致谢里。这条我抄不了,我这个博客没有致谢栏目,也没有编辑。
不过可以照做一遍:这期正文里没有一个字是让 LLM 写的。搜过两次,一次查他那篇的发布时间,一次核对 Highsmith 那段的措辞。两次都回到原文看了。
最后一个值得单独拎出来的场景
他提到有一类文档适合让 LLM 写正文:格式化的公函、可能没人读的报告,以及未来主要给 LLM 看的文档。还引了 Michael Nygard 的一句评论,说这类写作面向的是流程,不是人,收件人可能只是系统里的一个环节。
这条我一开始当玩笑看。想了两天,觉得不是玩笑。已经有一批文字是写给机器读的了,接口文档、结构化说明、给 agent 吃的上下文,都算。只是我们还没习惯把“给机器读的写作”和“给人读的写作”分开看。
真分开之后,很多争论就没了。给机器读的,怎么写省事怎么写。给人读的,回到上面那几条。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
