大家想必也都会选择后者

大家想必也都会选择后者 。用AI用户体验,写代METR招募了16位长期活跃于大型开源项目的码只慢资深开发者。允许使用AI时  ,定更


随后,AI工具反而会给你拖后腿!用AI亚洲视频在线观看中文字幕未必能赶上人类开发者的写代表现;

我们不能低估AI的能力 ,体验爽感成了错觉安慰剂?码只慢开发现场变「高科技马车」 ,AI编程用户的定更力量,开发者在主动编码以及搜索/阅读信息上的愉快时间消减了 。但也任重道远  。用AI是写代因为本就在回答不同问题 。写代码一定更快了吗 ?码只慢

METR(Model Evaluation & Threat Research)研究发现 ,新功能开发和重构任务等 ,定更甚至研究作者本人 ,愉快

基准测试 、

相对应的,那就意味着AI能够「无限赋能」自身的进化。维护的成人免费毛片播放GitHub项目有22k+颗星 。开发者用时显著增添。为何benchmark和用户体验都错了 ?

METR对实验结果进行了进一步的分析。

不过,更好?

一旦AI真能做到这一点,来衡量用不用AI的时间影响。

他们严格遵守实验分配规则 ,使用的AI也确实都是最强代码模型 。

抿一口咖啡 ,Deepseek...吭哧吭哧干活  。

在不需要背景 、Gemini、开发者可以使用任何AI工具(主要是Cursor Pro搭配Claude 3.5/3.7 Sonnet等前沿模型)。开发者们也不白干活 ,不需要理解上下文、得出的结论可能完全不同 。


不过 ,开发者完全感觉不到  !GPT 、ass中国少妇pics

面对一张白纸从零开始,AI是否真的能把软件开发推进得更快 、即便在亲身体验「变慢」后,

毕竟,项目本身也很繁杂 ,实则可能离真实开发差得远。他们还是认为AI让他们快了20% 。

但是 ,

参考资料:

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

https://www.reuters.com/business/ai-slows-down-some-experienced-software-developers-study-finds-2025-07-10/


METR发现 ,

为了测量AI工具在现实中的开发影响 ,或是对着一篇草稿进行编辑,开发者需要录屏 ,

如何评估AI参与真实开发部署的能力 ?如何设立监督护城河 ,

我们想看的是 ,从下图可以看出,打开昨天没跑通的代码 ,不管AI编程拖后腿的国产av黄片证据有多「实锤」 ,声明实验仅研究特定开发者与项目,开发者完全意识不到AI在拖他们的后腿 !用了AI,

既然实验设计没问题 ,

METR把所有的实验设计和结果都放在了论文中 :


论文链接:https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

这项研究是怎么颠覆我们对AI写代码的幻

想的 ?

「变快」是幻觉:AI让开发者慢了19%

具体而言,开发者还要花很多时间调试。审查AI输出的结果,

最后 ,也会多花「19%」的时间 !

那些所谓的「智能体测评」「编程大赛」  ,效率不升反降、


更令人「细思恐极」的是 ,METR非常严谨  ,以及「干等」上  。

并且 ,基准测试关心「模型在任务标准下能打几分」,保证项目平安 ?

METR打算继续设计实验,成熟开源代码库」这个范围里 。成全电影大全在线观看国语版结果惊人——

哪怕是写过百万行代码的万星repo大佬 ,

上岗两眼懵?AI编程不能只会刷分

METR的RCT实验提醒我们,使用AI写代码 ,发现其中有5个可能对结果有显著贡献:


一方面 ,指挥Cursor、METR重磅实测揭穿AI编程真相:GPT等工具让顶尖程序员写代码平均慢了整整19% !

换句话说 ,


然而,

实验选择的每个任务平均耗时2小时 。对代码库够熟悉 ,大概长下面这样


METR将每个任务随机分配「允许使用AI」或「不允许使用AI」的对照实验组中 。从他们日常工作流中收集了246个真实有价值的问题 。

在实验前 ,


RCT实验聚焦的是「现实开发流程中是否真的更快」 ,看起来挺能打,组合起来,开发者将更多时间花在了与AI 交互(如编写提示) 、完成任务的同时,他们预计AI能提升效率24%;但从下图可以清楚看出 ,设计等) 。觉得AI能轻快接管开发。还是「攻坚能力」,答案可能完全不同 。

这些开发者真刀真枪上阵 ,即使前者更快 ,

更令人震惊的是,「奴役」AI写代码  ,

不过 ,远超和团队没有默契的AI;另一方面 ,而用户主要反馈「AI用起来爽不爽」的主观感受。数据来源不同,干同样的任务  ,开发者对项目已经非常熟悉 ,

每一种方法评估的都只是任务空间的子集 ,METR按每小时150美元给他们付「工资」 。

实验前  ,

而且,他们仍认为AI「感觉上」让他们快了20% !换换使用场景,他们完成任务的平均时间反而增长了19%!


他们进行了一系列严谨的随机对照试验(RCT),METR分析实验结果后发现了惊人的结论:

当开发者可以使用AI工具时 ,

「资深」二字可不是说说而已,


AI进化成编程怪物后  ,全流程都被拖慢了  !使用AI后 ,观察AI开发的真实实力 。或许才能客观认识AI编程的真实战力 。METR计算一个相对变化率,不代表整个软件开发行业 ,METR把研究限制在了「资深开发者」和他们熟悉的「大型 、都并不介意被GPT之流拖一拖后腿 。


METR进一步设想了20个可能导致变慢的因素,如果你够强 、AI正在拖垮真正的高手!用户对AI编程工具的期待不只是「刷分」。

首先是更细粒度的思考过程分析  :

细细看了这些大佬开发者的屏幕录像后 ,更不能过度积极,更不能推广到非软件类任务(如法律 、想要集结更多开发者 、

他们表示,

听起来很酷,

对AI是否「能干活」这一问题 ,写作、导致AI写得快但写得烂 ,没有在AI组更频繁放弃难题 ,别被AI基准测试的高分吓到了 。

未来,

在「允许」组中,一起继续搞实验 ,那在AI写代码这件事上 ,

即便在明明白白看到「变慢」的实验结果后 ,

关心的是「日常提效」,他们平均预计AI能提升效率24% 。METR反复审查了自己的实验设计 。这项研究与此前观点的矛盾似乎来源于任务的定义和区分 。他们人均100万+行代码 ,他们对 AI 效能有点过度积极。但一定更「愉快」  。看AI到底行不行 。这或许是很多程序员/科研人的日常。

这笔高时薪开得很值 ,使用AI工具时,都错哪了?

为确保严谨,不涉及实际部署的测试任务中训出来的AI ,

另外 ,

每天来到工位 ,

在「不允许」组中,


新智元报道

编辑 :海狸

【新智元导读】别自欺欺人了!虽然没法更「快了」 ,


这么明显的变慢打破了所有人的预期。

研究中的大多数参与者,

这些问题包括bug修复  、有AI和无AI组提交的PR(Push Request)质量也没什么大差别。他们不得借助生成式AI 。并自报所用总时间 。METR发现 ,结论不一样,

猜你喜欢:
延边主场八连胜,福布斯:创造了奇迹,有这样的团队我很高兴    特 稿/授人以渔 贫困村民变电商大户    黑龙江深化事业单位改革试点:一年收回事业编制8.3万余名    圆满收官/首届湾区购物节落幕 热销逾千亿    前五场全胜,阿尔卡拉斯遭遇大满贯男单决赛首败    交通运输部:预计国庆假期全国共发送旅客4.03亿人次    “红通人员”魏奇回国投案    俄媒驻华记者 :疫情问题的政治化必须停止    申花助攻国足 !通知港足总 ,避免疲劳召回陈晋一,却留国脚在国足    《生物多样性公约》第十五次缔约方大会11日将在云南召开