你好,欢迎来到采通通网 · 产业资讯!

当AI优化代码时,为什么真正的难题不是优化,而是评估

2023年前后,几乎所有做自动化代码优化的团队都撞上了同一堵墙。

你给一个AI编程助手一个任务,让它去优化vLLM这种大型推理引擎的性能。听起来很美好:AI不眠不休地试各种改法,理论上应该能找到人类想不到的优化点。但现实是,优化vLLM的一次完整评估要跑85分钟。一个20小时的搜索预算里,满打满算也就能测十几次。

十几次是什么概念?

**你让一个厨师改良一道菜,但规则是他每做一次只能尝一口,而且尝一口要等85分钟。**

一个晚上下来,他最多尝八九次。要是这道菜有四个维度要兼顾(咸淡、火候、摆盘、成本),厨师连每个维度单独调一次的机会都不够。这就是真实工程系统里自动化发现面临的核心困境:不是AI不够聪明,是它根本没有足够的"试吃"机会去学习什么改法有效。

Google这篇论文提出的DuoDiscover,就是奔着这堵墙去的。

问题到底卡在哪

先说清楚为什么这事棘手。

学术界做自动发现(比如用AI找数学猜想的反例、找算法优化),往往默认评估是"免费"的,跑一次结果几秒钟搞定。但一旦你把AI扔进真实的工程系统,评估突然变得极其昂贵。

论文里给了一组具体数字:SWE-fficiency基准任务,一次真实评估中位数15分钟,最长93分钟;SOL-Exec的GPU内核评估,中位数14分钟,最长1小时;而那个CPU微架构的数据预取器设计任务,一次评估居然要跑28小时,涉及1700次模拟。

**评估慢,意味着搜索能试的次数极其有限,而试的次数少,意味着AI很难靠"多试几次总能撞上好方案"这种暴力方法取胜。**

那怎么办?一个自然的想法是:造个便宜的替代品来代替真实评估。比如不要真的跑vLLM的完整服务流程,而是写个脚本粗略估算一下性能变化,几秒钟出结果,这样就能疯狂试错了。

这个想法听起来简单,但执行起来有两个大坑。

第一个坑:便宜的替代评估器(论文里管这叫yardstick,直译"标尺")通常只对特定的优化目标有效。

>
















yardstick*:论文提出的核心概念,指针对某个具体优化目标专门设计的、运行速度远快于真实评估的代理打分器。它不需要和真实分数的绝对值一致,只需要能把不同方案按真实表现的高低顺序排对就行。

你没法为整个vLLM写一个万能的快速评估器,因为vLLM里有调度器、有KV缓存、有网络通信,每个部分影响性能的方式完全不同。一个针对调度逻辑设计的快速打分脚本,根本测不出KV缓存优化的效果。

第二个坑更隐蔽:就算你造出了一个一开始很准的标尺,AI在拿它当目标疯狂优化的过程中,标尺会慢慢"失真"。

这个现象在强化学习里有个专门的名字叫reward hacking(奖励黑客)。

> reward
















hacking*:指优化过程钻了评估指标和真实目标之间的空子,让指标分数越来越高,但实际效果并没有真正变好,甚至更差的现象。

**标尺和真实评估之间总会存在缝隙,而搜索算法天生就擅长找到并利用这些缝隙,哪怕它根本不知道自己在"作弊"。**

这就好比你用体重秤的误差来"减肥":你发现秤放在瓷砖缝上读数会偏低0.5公斤,于是每次称重前都把秤挪到那条缝上。体重秤的数字确实变好看了,但你的体重纹丝未动。如果不持续检验标尺跟真实体重的对应关系还成不成立,你会一直被这个虚假的"进步"蒙在鼓里。

DuoDiscover怎么解决这个问题

论文给出的答案围绕三个机制展开:让每个智能体自己去发现"优化什么"和"怎么快速评估",持续检验这些快速评估器有没有失真,以及用一个轻量的协调者来统筹整个智能体团队,而不是提前规划好每个人该干什么。

### 第一招:目标和标尺一起发现

DuoDiscover部署了一支由多个编程智能体组成的队伍,每个智能体各自独立工作,在代码库的一份拷贝上折腾。

关键设计在于,每个智能体不是被告知"去优化X",而是自己去探索代码库,自己决定要优化哪一块(论文称之为target,目标区域),然后再为这个目标区域现场写一个专属的快速评估脚本。

>
















target*:智能体自主选定的一块代码区域,可以是一个函数、一个模块,也可以是内核代码里的某个计算阶段。优化只在这个区域内的代码上进行。

这个"一起发现"(co-discovery)的逻辑其实很自然:一个优化目标只有在能配上一个又快又准的标尺时才有价值,而一个标尺也只有对准了一个真能改变最终结果的目标时才有意义。两者缺一不可。

论文里举了个vLLM优化的真实例子。某个智能体盯上了调度器里的预填充(prefill)批处理逻辑,然后它给自己写了一个decode步骤耗时的简化模型,这个模型几秒钟就能跑完一次,而完整的真实评估要85分钟。这个智能体后续就在这个几秒钟的模型上反复试验,试出满意的方案后才送去跑那个昂贵的85分钟评估确认。

**这就是整个系统的分层架构:内层循环几秒钟一轮,疯狂试错;外层循环几小时一轮,只用来确认内层循环挑出来的最好方案到底行不行。**

打个比方,这就像一个作曲家先在钢琴上反复试弹一段旋律的几个变体,确定自己最满意的那个,再去花大价钱租交响乐团把它完整录成管弦乐版本。如果没有钢琴这个廉价的试错环节,作曲家只能直接带着不确定的草稿去租乐团,每改一个音符都要重新花一整天预约录音棚。代价不是贵一点,而是整个创作过程会被拖慢几十倍,大部分灵感根本没机会被尝试。

### 第二招:持续验尸,抓出失真的标尺

光靠智能体自己发明标尺还不够,因为标尺会"学坏"。

DuoDiscover引入了一个叫fidelity
















test(保真度测试)的机制,用来持续检查每个标尺打出来的分数排序,是不是还跟真实评估的排序一致。

> fidelity test*:用统计方法(Kendall's
















τ秩相关系数)检验代理评估器和真实评估器对一批方案的排序是否一致的检验程序,每次真实评估完成后都会重新跑一次。

这个检验只看那些真实分数差异大到超过评估本身噪声的方案对,避免拿真实评估都分辨不出差别的两个方案来强行判断对错。只有当足够多的方案对被确认(至少6对),而且排序一致程度达到阈值时,这个标尺才被标记为"validated"(已验证);如果后续排序出现明显倒退,就被标记为"invalidated"(已失效)。

论文给了一个生动的例子。vLLM优化过程中,有个智能体用一次短时间的负载压力测试构建了标尺,一开始验证通过,后来换成更高负载测试时发现排序反了,标尺被判定失效,智能体重新基于两种负载重建标尺,再次通过验证才继续用。

这个机制的意义在于**它不要求标尺永远正确,只要求系统能及时发现标尺什么时候开始撒谎。**

想象你雇了个翻译帮你谈判,一开始他翻得又快又准,你就放心让他全权代理。但如果你从不核实他翻译的内容是否和原意一致,他完全可能在某次谈判中悄悄替你做出了错误的让步,而你毫不知情,直到合同签完才发现吃了大亏。DuoDiscover相当于定期拿一句关键话去对照原文核实,一旦发现翻译走样立刻叫停重新培训,而不是等到生米煮成熟饭。

数据层面,论文统计了20个SWE-fficiency任务和50个SOL-Exec内核的搜索日志:标尺比真实评估平均快22到53倍,但有41%的代码库标尺和45%的内核标尺在搜索过程中因为漂移被判定失效。这个失效率看起来挺高,但重点是,每一次报告的最终收益都经过真实评估确认过,所以失效的标尺只会浪费一点算力,不会导致虚假的进步被当真。

### 第三招:不做中央规划,让团队自己长出结构

DuoDiscover最反直觉的一个设计是,它刻意不做"问题分解"。

你可能以为优化一个大型代码库,最合理的方式是先搞清楚这个系统有哪些模块,画出一张任务地图,再把每个模块分给一个智能体。但DuoDiscover反其道而行,采用bottom-up(自下而上)的搜索方式。

> bottom-up
















search*:没有中央预先规划的搜索方式,每个智能体自主探索代码库,自己决定要优化哪块区域,整个团队的工作分布是涌现出来的,而不是提前设计好的。

协调这件事交给了一个orchestrator(协调者),它本身也是一个大模型,加上一些支持代码。它不规划任务,只做三件轻量级的事:终止没有进展的智能体,给有潜力的方向派出新的智能体,以及把已确认的进展简要告知给仍在运行的智能体。

这个设计听起来有点冒险,毕竟没有中央规划,万一几个智能体都扑向同一个地方,岂不是白白浪费算力?论文的消融实验(ablation)数据显示,正是这套协调机制让多智能体之间重复劳动的比例大幅降低:在内核任务中,DuoDiscover的智能体扎堆在同一目标上的比例只有5%到15%,而没有协调的Claude
















Code能到40%到60%。

> ablation*:指对一个系统逐步拆掉某个组件,看看整体效果下降多少,用来验证这个组件到底有没有用的实验方法。

这就像一支没有队长指挥的街舞团队,每个人都凭直觉找空当发挥,偶尔两个人会撞上同一个动作,但旁边有个眼尖的编导随时提醒"你俩别重复了,去试试别的"。如果真要提前给每个人分配固定动作,反而可能让队伍错过那些意料之外但效果惊艳的即兴发挥。协调者的角色不是指挥每一步,而是防止明显的浪费,同时保留探索的自由度。

在vLLM的真实优化案例里,这套机制体现得很具体。四个智能体一开始都在研究吞吐量这个目标,直到有个智能体分析发现瓶颈其实在显存访问延迟上(流处理器利用率只有7.8%,显存读取达到峰值的21%),协调者立刻放弃吞吐量这条路,终止一个智能体,把另外三个智能体引向延迟、功耗、首token延迟这些新方向。后来还把一个智能体验证过的方案直接移植给第四个新派出的智能体,省去了重复发现的功夫。

实验结果:数字说话

DuoDiscover在两个代码库级基准、四个GPU/TPU内核套件和五个真实系统案例研究上做了测试,结果在下表汇总。

| 基准测试 | Claude Code | OpenEvolve | PerfAgent | DuoDiscover |

| FormulaCode(倍数) | 1.778 | 1.161 | 1.774 | **2.156** |

| SWE-fficiency(倍数) | 12.81 | 3.76 | 12.27 | **15.02** |

| SOL-Exec(SOL百分比) | 67.31 | 52.36 | 64.10 | **79.74** |

| FA4(百分比提升) | 7.05 | 1.48 | 6.86 | **11.97** |

| JAXBench(倍数) | 3.82 | 2.66 | 4.08 | **4.62** |

| TPU-Inference(倍数) | 2.38 | 1.14 | 2.14 | **2.68** |

在真实系统上的几个案例研究数字更能说明问题。

vLLM多目标服务优化上,Claude
















Code跑了四个智能体20小时,最后只拿到1.07倍的综合提升,而且连p99解码延迟和功耗都没能改善。DuoDiscover只用了7次真实评估,拿到1.92倍综合提升,p99解码延迟降低2.94倍,首token延迟降低3.61倍,功耗降低21%,吞吐量不变。这个解决方案大约500行代码,全部是系统层面的调度和调频逻辑,不碰任何底层内核代码。

> p99解码延迟*:指在所有解码请求的延迟分布中,排在后1%最慢的那批请求所对应的延迟数值,常用来衡量系统最差情况下的用户体验。

FreeToken这个在单张GPU上跑超大混合专家模型的推理引擎上,DuoDiscover找到了1.44倍的综合提升,部分方案已经被合并进了这个开源项目的主干代码。SQLite和zstd这两个被打磨了十几年的成熟代码库上,DuoDiscover分别拿到1.38倍和1.16倍提升,用的真实评估次数只有Claude
















Code的三分之一到五分之一。

最让人意外的可能是CPU微架构设计任务。数据预取器的评估一次要跑28小时,涉及1700次模拟。此前最好的系统是基于AlphaEvolve构建的ArchAgent
















v2,它光是第一阶段搜索就跑了40多天,评估了超过12000个候选方案。DuoDiscover用大约8000个候选方案,花16.7天就超过了ArchAgent
















v2,而且在多核场景下的表现超过了人类专家设计的最佳方案,这是自动化系统第一次在这类任务上做到这一点。

这套方法的代价在哪

论文也诚实地提到了两个局限。

第一个局限是,当某个优化目标实在找不到一个靠谱的快速标尺时,系统只能退回到用真实评估去硬搜索,这时候它并不比普通的智能体快多少。

第二个局限是,构建标尺和跑初步的保真度测试本身需要一定的时间成本,这意味着如果整个任务的评估预算本来就很紧(比如只给半小时),DuoDiscover反而可能因为前期"磨刀"花掉的时间而显得不划算。磨刀不误砍柴工这句话是有前提的,前提是你真的有足够多的柴要砍。

写在后面

读完这篇论文,我印象最深的不是那些倍数提升的数字,而是论文里反复强调的一个细节:**每一次标尺报告的进步,最终都必须经过真实评估确认才算数。**

这个设计选择看起来朴素,但背后藏着一种对AI自主性的清醒认知:你可以让AI自己去发现目标、自己去发明评估方法,但你不能让它自己判断自己是否成功。这个判断权必须保留给那个昂贵但不会说谎的真实评估。这跟现在很多讨论AI自我迭代、自我进化时容易忽略的一点呼应上了:自主探索的空间可以很大,但验证的锚点必须钉死。

另一个让我多想了一会儿的地方是,论文提到标尺有41%到45%的概率会"漂移失效"。这个数字初看挺吓人,但细想一下,这恰恰说明了持续检验机制的必要性,而不是标尺这个想法本身有问题。如果没有保真度测试,这些失效的标尺会悄无声息地把搜索引向歧途,而系统完全不会意识到自己在浪费时间做无用功。换个角度看,这个41%到45%其实是系统主动捕获到的"潜在错误",比起那些压根没有检验机制、错误静默发生的系统,这反而是一种更健康的状态。

还有一点值得琢磨:DuoDiscover不做中央任务分解这个设计,某种程度上是在赌"涌现的协调比预先的规划更高效"。这在复杂系统设计里不算新鲜话题,但把它用在"AI团队怎么分工优化代码"这个具体场景里,而且真的拿出了数据支撑,还是挺有说服力的。

如果有一天,这套机制不只用来优化已有的代码和芯片,而是用来发现人类还不知道该优化什么的全新问题,会发生什么?

Q&A

Q1:DuoDiscover是什么?

A:DuoDiscover是Google提出的一套自动化代码优化搜索系统,核心思路是让AI智能体自己发现要优化的代码区域,同时自己发明一个廉价的快速评估脚本去代替昂贵的真实测试,大幅提升搜索效率。

Q2:DuoDiscover解决了什么核心问题?

A:它解决的是自动化优化中真实评估成本太高导致搜索次数不足的问题,比如优化vLLM一次评估要85分钟,20小时预算只够测十几次,DuoDiscover靠快速代理评估器大幅增加了有效试验次数。

Q3:DuoDiscover的效果如何,有哪些实测数据?

A:在vLLM上拿到1.92倍综合性能提升,SOL-Exec内核榜单235个内核中121个排名第一,CPU预取器设计任务上用16.7天超过了此前花40多天的ArchAgent
















v2系统。