跳到主要内容
竞争不再默认:算法合谋把问题往前推了一层

竞争不再默认:算法合谋把问题往前推了一层

2013入行
2013入行

· 阅读约 7 分钟

过去两个季度,学习型算法和定价机制这个话题,在arXiv上隔一阵就会冒出一篇来。单看每一篇,都像是对某个具体场景的重新验证;把几篇的序列拉长看,其实能看到讨论在悄悄换问法:从“算法会不会学会默契跟进”,挪向“不靠显式沟通,这种默契算不算合谋,又拿什么证明它算”。8月27号挂上arXiv的那篇,编号2608.26896,作者是Jakub Seredyński和Georgios Tsaousoglou,恰好卡在这个挪动的中间位置。它不满足于报告“多智能体强化学习跑出了超竞争性结果”,而是往前多走了一步,交出一套超出单纯利润与纳什均衡对照的多维判定标准,用来识别电力市场报价博弈里的虚默合谋。按我的读法,它值得写不是因为电力市场本身出了什么新事故,而是它把一道卡了很久的方法论难题往前撬动了一点:虚默合谋怎么被定义,才能被检测。

把这个问题放回结构里看,一层一层拆开会清楚很多。底下一层是agent的学习机制,目标函数加更新规则,决定它在每个状态下倾向往哪个方向试探;中间是策略层,报价区间里那些具体动作——试探、让步、惩罚式的压低——都发生在这里;上面一层是制度信号层,拍卖规则、出清价格、信息披露的粒度,决定了所有参与者能共同观察到什么。这篇论文真正有意思的发现,不在最底下那层,也不在中间那层,而在最上面这层。电力市场的规则本来是市场设计者用来抑制寡头市场力的工具,但当参与者的报价决策换成学习型agent之后,这套规则的公共信号属性反而变成了一条隐式的沟通渠道。所有agent都在独立地读同一套制度信号,读到相似结论的概率高到足够支撑起一种“没说过话的协调”。这就是“虚默”这个词的分量所在:它不需要寻常反垄断意义上的共谋证据,因为公共信号本身已经是够用的通信媒介。

电力市场之所以适合做这个实验的场地,恰恰因为它在结构上踩中了虚默合谋需要的全部条件。参与者是寡头,数量少到每个agent都能在反复互动中摸清对手报价模式的统计规律;互动是小规模且重复的,一次博弈的“背叛”可以被记住并在后续轮次里被惩罚;规则稳定且公开,等于给所有学习算法提供了一份共同的预测原材料。三个条件叠在一起,匿名竞争就被降解成一场漫长的、彼此摸底的重复对话。作者在论文里点到的那条结构性脆弱——寡头结构加小规模重复互动下的非竞争行为倾向——落到机制上其实就是这么回事:在这种环境里,agent会学到“如果我在某个区间收着报,对手大概率也会收着报”这类条件反射;条件反射一旦形成,没人下达过合谋指令,也没agent心怀合谋意图,超竞争性的集体结果自己就会涌现出来。论文用词是“部分场景”,不是全部场景;这个限定很重要,它说明作者没有把涌现机制讲成一条必然定律,而是把它作为一个在特定结构条件下会复现的模式来对待。

读这篇论文的过程中,我得先修正自己习惯性的分类。早先看到这类算法博弈讨论,我倾向于把问题归进中间那层——策略层的偏航,觉得智能体在报价动作上收敛到非竞争区间,属于博弈均衡分析的老问题,检测到超竞争价格曲线就算抓住了尾巴。论文的实验设计把这个分类顶了回去:价格曲线只是结果层的噪声,真正的问题是学习机制层和目标函数层里缺了一块东西——agent的奖励结构里从来没有“维持竞争性”这个维度,而是否把它补进去,属于制度信号层的设计权限。我原来把问题放在策略层,等于在错误的位置上找补救措施。分错格子这事值得记一笔:不是框架错了,是干预位置跟着分类一起偏了。

顺着这个思路往监管那边看,问题就变成干预该落在哪一层。前面铺了那么长的三层结构,是为了后面这个设问:虚默合谋的处理,监管的介入位置会在哪一层?

一种路径是把检测工具直接做成监管侧的监视器,拿论文那套多维判定标准去实时盯报价行为,发现超竞争模式就启动调查。这条路最接近现有监管框架的延长线,落地阻力最小,但它的短板也很明显:监视器面对的是会自适应调整策略的对手,识别器的迭代速度能不能跟上策略演化速度,这事没有先例可依。更麻烦的是,一套被公开的判定标准本身就是可供学习的信号,agent能慢慢把自己的行为挪到指标看不见的区域,检测工具的有效期可能比立法流程还短一点。

另一种路径是在机制端动手,修改拍卖制度本身的公共信号结构:改变信息披露的粒度、在交易机制里注入随机性、打乱重复互动中累积起来的默契记忆。这条路从机制上掐断虚默合谋依赖的聚点,听着最治本,但电力市场有物理调度这个硬约束,规则改动的代价不是文本框里调参数那种代价——调度效率、系统稳定性、实时平衡,每一处都在为机制改动买单。成本高到监管机构通常不会在没出大事的时候主动去碰。

第三条路径在学习端。把论文提出的那套识别标准迁移成训练目标里的约束信号,直接嵌进参与者的强化学习目标函数:报价主目标之外,加一个反超竞争的惩罚项,让agent在训练阶段就避开那些容易被集体读成合谋的区域。这个方案的特点是从源头拆掉虚默合谋需要的奖励结构,也恰好顺着论文的贡献走:那套多维判定标准不再只是事后识别的工具,它天然适合改写成一条约束信号源。代价是要监管者对私有agent的内部目标拥有某种程度的可见性甚至修改权。在一般市场里这几乎不可能——企业不会把定价模型的目标函数交给监管审查。但电力市场不是一般市场,它有强监管的传统,参与者为了让自己的算法进入系统,大概率会被要求接受一部分训练过程的透明度。它不是一个在所有场景都可推广的解法,但作为先把问题按住的第一块石头,够用了。

三条路径不互斥,真正的分野在于干预的位置:一个是行为发生之后,一个是行为发生之前,还有一个是行为学习之前。我倾向把重注压在第三条上,不是因为它在技术上最优雅——机制端那套如果真能执行,效率更高;而是因为它是唯一能顺着现有监管权力结构滑进去的路径。它不需要新建一个无所不能的监管大脑,只需要把电力市场已有的市场力监管从报价行为审查往前挪一段,挪进训练阶段。工具是现成的:强化学习的目标函数本来就可以拆开重组,论文里那套判定标准恰好给了重组所需要的约束信号。防线从检测往设计端搬家,这个故事的方向我比较笃定。证伪条件也想好了:如果接下来两三个季度,主流讨论的重心仍然停在检测精度和识别指标上,没有出现任何把检测结果接回训练目标函数的设计尝试,那说明监管侧的实际行动节奏比我预期的慢得多,“防线迁到学习阶段”这个判断就该扔掉,现实会重新滑回输出端那条路径——一边靠benchmark预警,一边等一场真正的事故发生,再回头补制度。