網易首頁 > 網易號 > 正文 申請入駐

Claude Code 生成 13 種編程語言代碼基準測試:動態語言更快更省成本

0
分享至


作者 | Steef-Jan Wiggers

譯者 | 明知山

Ruby 代碼提交者 遠藤裕介(Yusuke Endoh)進行了一項新的基準測試,評估 Claude Code 使用 13 種編程語言生成可用代碼的效率。經過 600 多次測試運行,動態語言(尤其是 Ruby、Python 和 JavaScript)始終是速度更快、成本更低且更穩定的選擇,而靜態類型語言的運行速度要慢 1.4 至 2.6 倍,成本也更高。

這項實驗發布在 DEV Community 上,所有代碼和結果均可在 GitHub 獲取。實驗要求 Claude Code(Opus 4.6)用每種語言實現一個簡化版的 Git。任務分為兩個階段:v1 從空目錄開始實現 init、add、commit 和 log 命令;v2 對項目進行擴展,增加 status、diff、checkout 和 reset 功能。每種語言各運行 20 次。作者使用了自定義哈希算法,而非 SHA-256,用于消除不同語言間庫依賴帶來的差異。

Ruby 平均每次運行成本 0.36 美元,耗時 73.1 秒;Python 為 0.38 美元,耗時 74.6 秒;JavaScript 為 0.39 美元,耗時 81.1 秒。這三種語言的方差均很低,且全部 40 次運行都通過了所有測試。從第四名開始,成本上升,方差急劇擴大。Go 語言平均成本 0.50 美元,耗時 101.6 秒,但標準差高達 37 秒。Rust 平均成本 0.54 美元,耗時跨度最大,達到 54.8 秒,同時也是僅有的兩種出現測試失敗的編程語言之一。C 語言是成本最高的主流語言,達到 0.74 美元,原因是它生成了 517 行代碼,而 Ruby 僅生成 219 行。

類型系統對 AI 生成代碼的影響或許是對評估 AI 編碼工作流的團隊最具實用價值的發現。在 Python 中添加 mypy 嚴格類型檢查會使其速度降低 1.6 至 1.7 倍;在 Ruby 中添加 Steep 類型檢查則會帶來更大的性能損耗,速度比純 Ruby 慢 2.0 至 3.2 倍。TypeScript 的成本明顯高于 JavaScript,平均 0.62 美元對比 0.39 美元,盡管二者生成的代碼行數相近。作者指出,這類開銷不僅來自類型注解的生成,還可能源于模型在推理類型約束時消耗了更多的思考詞元。

遠藤很坦誠地說明了這項實驗存在的局限。作為 Ruby 代碼提交者,他主動說明自身可能存在的偏向性。本次生成的程序約 200 行代碼,嚴格來說屬于原型規模,他也承認靜態類型在更大規模的代碼庫中可能更具優勢。該實驗還得到了 Anthropic 的 Claude 開源計劃支持,獲得了為期六個月的 Claude Max 免費使用權限。此次基準測試僅衡量代碼生成的成本與速度,不涉及代碼質量、可維護性或運行時性能。

Lobsters 上有人質疑基于 200 行代碼的原型規模得出的結論是否可靠。有評論者指出,實用的原型很少會這么短小。也有人提出,該基準測試并未考慮語言生態優勢——擁有完善包生態的語言在實際任務中需要生成的代碼會更少。DEV Community 帖子下有評論者表達了定性層面的擔憂:如果生成的代碼后期更難維護,那么 2 倍的生成速度優勢可能會被抵消;此外,Rust 和 Haskell 出現測試失敗,不應簡單歸為 bug,因為更嚴格的類型系統本意就是要盡早捕獲錯誤,避免其流入生產環境。

遠藤直接回應了其中幾個觀點。關于規模問題,他認同更大型的基準測試會更有價值,但也指出,設計一套對 15 種語言都公平的測試難度較大。對于 2 倍的速度差異,他認為在迭代式 AI 輔助開發中等待 30 秒與 60 秒的區別對開發者的心流狀態影響顯著,不過他也承認,如果未來模型能將生成時間縮短至秒級以內,這種差異就不再重要。而在生態系統影響方面,他刻意排除了庫依賴,以隔離語言本身的差異,使用自定義哈希函數也正是出于這一目的。

在總共 600 次運行中,僅有 3 次失敗:Rust 兩次,Haskell 一次。在其中一次 Rust 的失敗日志里,智能體判定測試本身存在錯誤,作者將其判定為幻覺,因為其余所有 Rust 測試均順利通過。

完整的數據集(包含每次運行的結果、執行日志及所有生成的源代碼)均可在該 基準測試倉庫 中獲取。

查看英文原文:

https://www.infoq.com/news/2026/04/ai-coding-language-benchmark/

聲明:本文為 InfoQ 翻譯,未經許可禁止轉載。

會議推薦

QCon 全球軟件開發大會·2026 北京站將于 4 月 16 日 -18 日正式舉辦。本屆大會以“Agentic AI 時代的軟件工程重塑”為主題,聚焦 100+ 重磅議題,匯聚來自阿里、騰訊、字節跳動、小米、百度等一線科技企業與創新團隊的技術專家,圍繞 AI 工程化、系統架構與研發模式演進展開深入探討。更多詳情可掃碼或聯系票務經理 18514549229 進行咨詢。

今日薦文

你也「在看」嗎?

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
政治局會議定調“超預期”之后,中國手里至少還握著三張大牌!

政治局會議定調“超預期”之后,中國手里至少還握著三張大牌!

識局Insight
2026-05-07 14:21:37
牡丹花下死!這次拼完四胎想五胎的杜星霖,沒給張紀中留半點體面

牡丹花下死!這次拼完四胎想五胎的杜星霖,沒給張紀中留半點體面

樂天閑聊
2026-03-22 02:42:04
43歲男子和富婆車震后,富婆還想要更多,2016年他將51歲富婆殺死

43歲男子和富婆車震后,富婆還想要更多,2016年他將51歲富婆殺死

漢史趣聞
2026-04-06 19:17:12
孩子脫臼復位只收100元,家長舉報亂收費!衛健委:應收110元,你還少給了!家長拒繳費后離開!

孩子脫臼復位只收100元,家長舉報亂收費!衛健委:應收110元,你還少給了!家長拒繳費后離開!

醫脈圈
2026-04-25 20:04:06
AI沒搶你的工作,它堵死了入口

AI沒搶你的工作,它堵死了入口

五觀不正
2026-05-07 14:28:56
高速免費大改賬:沒了節假日全免,換3000公里隨便跑,是賺是虧?

高速免費大改賬:沒了節假日全免,換3000公里隨便跑,是賺是虧?

娛樂圈的筆娛君
2026-05-06 05:47:30
城市更新大潮來了?中央明確:20年房齡老房子,2026年起或又吃香

城市更新大潮來了?中央明確:20年房齡老房子,2026年起或又吃香

云舟史策
2026-05-07 07:25:25
尷尬極了!母親天天穿緊身褲,女兒吐槽:都快50歲了,穿給誰看呢

尷尬極了!母親天天穿緊身褲,女兒吐槽:都快50歲了,穿給誰看呢

川渝視覺
2026-05-05 20:33:39
中紀委劃紅線:嚴查公務員出現這5種行為,觸碰將一律嚴肅處理

中紀委劃紅線:嚴查公務員出現這5種行為,觸碰將一律嚴肅處理

細說職場
2026-05-06 14:21:03
南韓148cm童顏網紅遭嗆「別再露奶了」 高級反虧:看來你很想看~

南韓148cm童顏網紅遭嗆「別再露奶了」 高級反虧:看來你很想看~

ETtoday星光云
2026-05-07 14:30:17
博主:據了解,若昂-卡洛斯非常想回到遼寧鐵人隊

博主:據了解,若昂-卡洛斯非常想回到遼寧鐵人隊

懂球帝
2026-05-07 10:33:05
醪糟再次被關注!醫生發現:高血脂患者喝醪糟,不用多久4大變化

醪糟再次被關注!醫生發現:高血脂患者喝醪糟,不用多久4大變化

芹姐說生活
2026-04-19 15:52:53
高潔主任:半夜易醒,睡眠淺?每天拍打這處50次,讓你一覺到天亮

高潔主任:半夜易醒,睡眠淺?每天拍打這處50次,讓你一覺到天亮

大明愛養生
2026-04-28 14:17:50
把瑜伽褲穿成日常的松弛感美女

把瑜伽褲穿成日常的松弛感美女

只要高興就好
2026-04-13 14:30:30
兩大史詩級臺球巨擘夸贊吳宜澤:他改寫了臺球歷史,新人應當學習

兩大史詩級臺球巨擘夸贊吳宜澤:他改寫了臺球歷史,新人應當學習

里芃芃體育
2026-05-07 10:54:13
高市早苗之下跪,不是東施效顰,是荒誕不經!

高市早苗之下跪,不是東施效顰,是荒誕不經!

新民周刊
2026-05-07 09:07:23
匿名投票!申京排名第一!斷層領先!

匿名投票!申京排名第一!斷層領先!

柚子說球
2026-05-07 10:29:55
突發!世界冠軍退出元老賽,前往中國撈金,后天首秀,迎75雙雄PK

突發!世界冠軍退出元老賽,前往中國撈金,后天首秀,迎75雙雄PK

劉姚堯的文字城堡
2026-05-07 07:44:55
杭州同學聚會吃了32萬,請客的人付完錢走后,剩下的人翻臉了

杭州同學聚會吃了32萬,請客的人付完錢走后,剩下的人翻臉了

紙鳶奇譚
2025-12-19 14:19:59
47年,一農民給解放軍帶路,問到家人時:我哥參軍18年,叫陳錫聯

47年,一農民給解放軍帶路,問到家人時:我哥參軍18年,叫陳錫聯

歷史龍元閣
2026-05-06 12:20:15
2026-05-07 15:03:00
AI前線 incentive-icons
AI前線
面向AI愛好者、開發者和科學家,提供AI領域技術資訊。
1476文章數 149關注度
往期回顧 全部

科技要聞

凌晨突發!馬斯克租22萬塊GPU給“死敵”

頭條要聞

美國博主自發抵制:不想收錢抹黑中國

頭條要聞

美國博主自發抵制:不想收錢抹黑中國

體育要聞

阿森納巴黎會師歐冠決賽!5月31日開戰

娛樂要聞

小S阿雅重返大S母校,翻看大S畢業照

財經要聞

特朗普:美伊“很有可能”達成協議

汽車要聞

理想為什么不做轎車,有了解釋……

態度原創

教育
時尚
手機
數碼
房產

教育要聞

新傳考研名詞解釋:社會抗爭行為

“白色闊腿褲”今年夏天又火了!這樣穿時髦又高級

手機要聞

三星首款闊折疊手機!Galaxy Z Fold 8 Wide官方演示來了

數碼要聞

Q1全球平板排名:蘋果還是霸主,華為第三,小米第五

房產要聞

五一海南樓市,太淡了!

無障礙瀏覽 進入關懷版