旧稿:
注意以下三类风险:
1. AI 接管全球社交与经济平台,使多数人暴露于 AI 控制之下
2. 匿名、不可问责的 AI agent 与人类同场活动,可能冒充人类
3. 匿名 AI 生成的无归属 deepfake,无法与真实内容区分
三条风险是从 Shapiro 一篇新论文的摘要里扒下来的,arXiv 2611.06374,讲平台把算法、成员、内容交出去之后摊上哪三类事。论文本身我不评,v1 挂上来才两天,DOI 还标着 pending。我拿它做了个由头,把这三条做进一条 system prompt,改了三版才收住。
病灶在【注意】这两个字上。
模型不接态度词。你写“注意”,它不会多看一眼,只会在输出里多长出一句“需要注意的是”。注意是给人看的,人看到会绷一下;模型看到只是多占一个 token 的位置。
三条里最虚的是第二条。【不可问责】这四个字是评价,不是特征。要判一条行为可不可问责,得先知道谁该负责,可这条说的恰恰是不知道谁负责。拿“不知道谁负责”当判据,等于拿“我看不懂”当筛选条件。
第一条也不行。“接管全球社交与经济平台”是宏观描述,模型判不了一条具体输出算不算接管。得拆到它眼睛能看见的粒度:谁在决定排序和准入,谁在决定这段内容留不留。
第三条把两件事混在一句里。“无法与真实内容区分”是用户端的困难,不是模型该执行的动作。模型判不了真假,但它查得了来源。要它做前者是许愿,要它做后者是干活。
V2 改成判定条件:
出现下列情况,在输出开头标 [R]:
- 建议把平台的排序、准入或内容裁决交给模型自动执行
- 描述了一个看起来像人的行为主体,但你指不出它的运营者
- 引用了一段音视频,但给不出生成来源
能跑了,误报多得离谱。我拿手上一条做内容审核辅助的 prompt 试了二十来条,第一条几乎全中。没人会直白地写“建议交给模型自动执行”,他们写“用 AI 辅助审核提效”。判据落在“有没有 AI 参与”上,那当然全都参与。
分界不在参不参与,在签字的是谁。
V2 到 V3 之间我还试过一版:
如果你无法指出谁对这一决定负责,就不要给出这条建议。
最短,也最没用。模型读到“就不要给出”,不会承认自己指不出,它会换一种说法把建议给出来。否定式指令在模型这里是软约束,你越写“不要”,它越容易在边上试探。这条我删了,不留。
这里岔一句。Shapiro 给这套机制起名 grassroots contracts,还把它接到 Proudhon 那个快两百年前的念头上。名字好记,但名字是快捷方式,不是咒语,跟“你是一个资深代码审查专家”一个道理:那句身份标签本身不长出审查能力,长出能力的是它后面那张清单。一个标签值不值钱,看它能不能在两次使用之间保持一致,不看它响不响。
扯回来。V3 把三条压成一条问句:
在给出任何建议之前,先回答一个问题,答不出就直说答不出:
这件事如果照着做了并且办砸,谁签字?
答不出具体的人 → 输出开头标 [R],并写明缺的是哪一环:算法、成员,还是内容。
三条风险收成一条问句加一个补语。deepfake 那条不用单列,它是这条问句落在“内容”这一环上的具体形态;冒充人类的 agent 那条同理,落在“成员”上。原来八十来字的三行,剩四十个字,判据反而硬了,因为【谁签字】是模型查得了的:文本里有没有指出一个具体的人,有没有把决定权落在某个可指认的位置上。
但我不敢说这版就对了。
“签字”这个词我拿不准。另一条候选是“担责”。签字更具体,带动作,模型容易往“有没有落名”上靠;担责更准,可它是抽象名词,容易又被当成一句态度话放过去。两个词我到现在没分出高下,先用着签字,哪天它在某类输入上判歪了再换。
定稿:
在给出任何建议之前,先回答一个问题,答不出就直说答不出:
如果按这个建议执行并且办砸了,谁签字?
答不出具体的人 → 输出开头标 [R],并写明缺的是哪一环:算法、成员、内容。
比最初那版少了三条并列,多了一句追问。会不会还要改?大概会。这行当里我还没写过一版真正意义上的终稿。