10 月 30 号翻 arXiv 的 cs.SE 列表,看到一篇标题里带 Cognitive Inclusivity 的,编号 2610.41192。点进去是因为关键词里出现了 GenderMag——那个框架我印象里一直待在需求调研那边,拿来对照 AI 编程助手的交互,第一反应是这俩能对上吗。作者四个人:Grace Kerr、Aarushi Parasrampuria、Faith Culas、Kelly Blincoe。找原文用 DOI 比搜标题稳,标题里那个 Cognitive Inclusivity 我第一次拼成了 Inclusivityy,搜了半天没结果:
10.48550/arXiv.2610.41192
白折腾一场。
他们干的事本身不复杂:20 个学生,受控实验室,用 GitHub Copilot 做代码生成、调试、重构三类任务,全程出声思维,做完再半结构化访谈,最后归纳式主题分析,并用 GenderMag 的维度去对照不同认知风格下的互动模式。五类问题归出来了:Copilot 怎么解释它给的这段建议、怎么支持人验证、怎么促进学习、怎么呈现功能、怎么影响整个解题过程。
五类里我只认两类
「支持验证」和「解释建议」这两类,是真的碰在痛点上。它们合起来决定一件事:我拿到那段补全之后,有没有能力判断它对不对。这个能力不是均质的,跟一个人习惯先看整体还是先看局部、习惯从抽象往下推还是从例子往上凑,有关系。之前记的另一篇笔记里我写过一句「看不懂的代码不该用,哪怕它能跑」,放到这里就是同一件事的另一面:看不懂不是态度问题,是路径问题,而路径是 Copilot 的交互范式默认了某一条。
作者的判断我信——常见交互范式更有利于某些认知风格,同时给其他风格加了一层额外认知负担。这话换成一个具体场景就很好懂:默认交互是甩给你一整段以结果为导向的补全,然后等你按 Tab。它默认你拿到结果就能自己判断。判断路径短的人拿到的是效率,判断路径长的人拿到的是「我还得再倒回去确认一遍」,这一遍不是免费的。
剩下三类我保留意见。「呈现功能」那类,我看下来更像是 IDE 层面的老问题换了个名字,跟 AI 掺不掺进来关系不大;「影响解题过程」这类则太宽,宽到不太好证伪。这里有我自己看论文的偏好问题——论文那部分只给了主题和引语片段,没给完整的编码本,我可能把他们的归类看轻了。
设计启示那节我读得最快
论文最后给了面向更包容的 AI 编程助手的设计启示。这一段我不太买账。五类问题里真正能落到产品改动上的,我数下来大概只有一两类——比如解释建议的呈现方式、验证环节的引导;其余几类落到的是流程,得靠使用者自己补,工具补不了。
但论文最值钱的地方本来就不是结论,是那套做法。二十个人、一次出声思维、一套现成的对照框架,成本很低,任何一个团队都可以照着自查一遍。这比再写十篇「AI 编程助手提效 XX%」有用。
想自己跑一遍的话
复现顺序我建议按这个来:
- 先看方法节和编码那一节,别从摘要开始。摘要里那五类问题的名字写得很整齐,整齐的东西容易让人以为已经懂了。
- 出声思维这一步别省,也别让人事后补写「我刚才在想什么」——事后补写的全是整理过的版本,没价值。当场记,记时间点。
- 对照维度别自己发明。GenderMag 已经给了一套能横向比较的走查方式,直接拿来用,省得二十个人的记录各说各话。
- 归纳式主题分析最容易做歪的一步是「先有类别再往里塞」。让两个人各自过一遍原始记录、各自出类别,再对,对不上的那部分往往才是真东西。
出声思维的记录我自己是这么记的,时间点、操作、当场说的话、我事后补的判断,四列,第四列一定要隔开写,不然分不清哪句是当时的、哪句是回去想的:
0:42 接受补全 "这里应该是想让我传 id" 事后:猜的,没验证
1:10 Ctrl+Z "不对,它把我上面的 null 检查改了" 事后:这才是卡点
1:35 重看 diff "……"(沉默 20 秒) 事后:在读,不是在改
对,第三行那个沉默 20 秒是我特意留的。出声思维里最值钱的就是这种「说不出话」的段落,它标记的是认知负担真正压下来的位置,而访谈里几乎没人会主动提这一段——他自己都不觉得那算个事。
💡 小技巧:访谈提纲里加一句「刚才有没有哪一刻你觉得它答的不是你问的」,比问「你觉得好用吗」能挖出东西得多。
两处我没完全想明白
第一处,为什么要用 GenderMag 而不是直接用现成的认知风格量表。我一开始没搞懂,后来觉得可能是这么回事:量表给的是一个分数,分数没法告诉你下一步该改哪个界面;GenderMag 给的是一套可操作的走查流程,走一遍能指到具体位置。但这个解释我自己也只信七成,作者在文里没展开讲选型理由,我也没去翻他们之前的相关工作。
第二处,20 个学生这个样本量。撑方向性的信号够用,撑显著性不够,这一点作者自己是清楚的,措辞上也留了余地。但这类研究一旦被转述,余地通常第一个掉。
划重点
第一,这篇真正能带走的是方法不是结论——出声思维加一套现成的对照框架,成本低到你下周就能在自己团队里跑一遍;第二,五类问题里我只认「支持验证」和「解释建议」两类是硬伤,其余几类我倾向于当参考不当结论;第三,别指望设计启示那节能直接落地,能落地的部分通常得你自己在流程里补。
你可以挑一个下午,找两三个同事各自用 Copilot 做同一个调试任务,全程出声,记上面那个四列的表,然后对一遍——对不上的地方,大概率就是这篇论文说的那层认知负担。跑完要是发现我把哪类问题判轻了,回来告诉我,我补一条。