跳到主要内容

让 Claude 帮我总结评论区,它把一条评论的意思拧了

阿舟
阿舟

· 阅读约 6 分钟

上个月写一篇稿子,需要参考那篇在 dev.to 上吵翻天的文章——就是 Daniel Nwaneri 七月初发的那篇,说手打的空话不比 AI 写的空话更真诚。我懒得逐条翻 52 条评论,想着这活儿正好扔给 Claude,让它帮我按观点把评论区归个类。

claude -p "summarize the comment section of this post, group by stance: supporting / skeptical / other. Preserve who said what."

它给了我一个很干净的总结,每一条都标了评论者名字。其中一个观点是这么写的:

Mica: doubts the author needed AI to write the post, describing the piece itself as low-effort.

看着没毛病,我差点就把它当素材写进自己的稿子里。但那天晚上不知道怎么想的,多花了五分钟去翻了原评论区——Mica 的原话根本不是"怀疑作者需要 AI",而是直白地在问 Nwaneri 是不是非得靠 AI 才写得出来,还说这帖子是 slop。这个差异太大了。"低效劳动"和"slop"完全不是一个攻击方向,更别说原回复的语境,实际上包含了对着一个技术社区常见论调的反讽——被 Claude 一总结,棱角全没了。

我盯着那段总结看了好久,脑子里的第一反应竟然不是生气,而是:如果我引用的是 Claude 的版本,读者会怎么想?他们会觉得 Mica 是个温和的质疑者,而实际她是在骂人。我差点让一个活生生的评论者声音被"标准化"了。

画外音:这已经不是它第一次在总结时把锋利的话磨平了。但这次发生在"读评论",而评论本来就是为了听不同的声音。

Nwaneri 那篇文章我在读的时候其实是有共鸣的。他有个观点我当时认同,现在也认同:问题不在 AI 本身,而在于缺少对思考、具体性、和利害关系的筛选机制。他还拿了自动纠错来比喻——自动纠错没有让人变不会发短信,只是让本来就不擅长的人发得更快。说实话,这个比喻不错。而且他自己在文末也交代了:AI 帮他做了研究、结构化、编辑,但论点和观点是他自己的。

Ingo 在评论区引了斯特金定律,说的是任何东西百分之九十都是垃圾。Adam 的批评更尖锐——他认为评论区正变成 AI 生成赞美的回音室,机器人吹捧机器人。BestCodes 直接把自己的文章链接贴出来了,标题我印象很深:《Dead Internet Theory is Happening to dev.to》,讲的就是 bot 跟 bot 互动的现象。Mykola 的观点跟 Nwaneri 的态度刚好成镜像:AI 降低了"听起来投入"的成本,但并没有降低真实投入的成本——这两个是反的。

所以你看,评论区本身就是这篇文章的绝佳注脚:一群真人(以及可能的 bot,谁知道呢)在争论"AI 写作是否让一切变得更空",而这个争论用的语言和方式,恰好能看出 AI 时代如何改变了人们说话的方式。

但我那个晚上的经验让我想对 Nwaneri 补一刀——他说的"缺少筛选机制"是成立的,只是筛选机制不能停留在"作者自觉声明用了 AI"这一步。恰恰因为 AI 参与了写作,读者更得学会自己动手复核,因为 AI 的产出有一个很隐蔽的特点:它"看起来是对的"的时候,特别难让人产生怀疑。我自己亲手写下"它看起来没毛病"这句话的时候,才意识到这有多危险——因为我的工作习惯一向是:AI 生成的代码,我要比手写代码审得更严。可换到"读文章"这件事上,我的戒心明显松懈了。

这引到我真正想说的那点:我敢打赌,很多人对 AI 生成文本的信任度和对 AI 生成代码的信任度不是一回事。代码我们是会盯 diff 的,会跑测试的。但面对一段 AI 写的总结、摘要、概述,我们有时候甚至忘了去对原始出处。

Conny 在评论区说她用 AI 做研究和事实核查,每篇文章还是要花四五个小时。这个数字很有意思——四五个小时不变,变化的是时间花到了哪里。她后来在追问"Nwaneri 你到底是真人还是 bot"?这让我笑了:一个诚实声明了自己使用 AI 的作者需要回答这个问题——这不能怪读者,AI 写出来的东西在某些层面上确实异乎寻常地"平滑",平滑到像人的声音的时候反而让人警惕。后来 Nwaneri 的回答是承认自己用 AI 帮助写作。诚实,但在那本文的上下文里,这个回答好像又给这场争论添了新的燃料。

我得承认,用 AI 总结评论这个习惯,在这件事之后我改了。倒不是彻底不用,而是加了规则:

# prompt 里永远加这一行
"quote the original text verbatim before summarizing each comment."

先引用原文再总结。这样就算总结得不够准,至少原文还在那里,跑不掉。粗暴但有效。

还有一条规则是给另一个方向的——我读别人的文章时,如果这篇文章声明用了 AI 辅助,我会更仔细地看它的信息来源和引用的准确性,因为"研究和编辑"这两个词没有看起来那么无害。Nwaneri 自己说得很坦白:观点是他的。但我们刚刚不是看到 Mica 的例子了吗——一个人可以坦率地承认自己用了工具,而工具给的结果依然是错的。

其实我后来在想另一个问题:AI 生成的总结之所以危险,不仅仅因为它会出错,还因为它出错的方式特别刁钻——在无关紧要的地方错,然后在你最关键的地方给你一条"看起来对"的东西。我那天晚上翻回去核对 Mica 的原话,是因为我发现了一个词的时态不对,一个极其细微的察觉。如果那天我没注意到呢?我的稿子就会带上一个不存在的援引,而几乎没有人会去查证。

说真的,我已经经历了太多这种时刻:差点把一个不存在的东西当成真的写下来。上次那次数据库迁移翻车是技术上的,这次是文字上的。两码事,但底层都是同一个教训:AI 比自己想象的要容易相信,自己比想象中要懒。

最后想说一句为 Nwaneri 辩护的话。评论区有人说他这文章本身就很水——Mica 的原话"slop",给了这个词原本的攻击力。但我看了文章,它至少有立场、有具体的观点、而且诚实。我试过让 AI 来写"AI 让写作更空"这个话题,写出来的东西都是四平八稳、滴水不漏、什么都没说。Nwaneri 的文章不像那个样,这本身就很难得了。

本期缴税:让 AI 总结别人的话之前,先想想自己能不能接受它替你听人说话。

下次我会先看原文。

阿舟
阿舟

写代码写到一半开始怀疑人生,靠 AI 工具续命,顺手把踩过的坑都记下来。

查看主页 →