Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases

一句话概要

Real-SWE benchmarks frontier AI models on private production codebases licensed from real companies. Eight model and harness configurations, ten tasks, 640 scored rollouts.

原文开头节选

. ;+;+;:;+;+;.# ; ; ; … . ; . + ; ; . . : @;;+;+# +;+;+;+;:;+:# : : ; . ; ; ; @;+;+.+;:;+;+* ; . . : ; . . : ; @++:;:;+.;;@ ;… . .: . ; … .; @++;;;;+;:;@ ; : ; ; @;+++:@;++;:+ ; : : . :+.+;;;+:;@ ; : + . ; … ; ; . ; : … . ; … . .; ; … . .+ + … .; ; … . .; ; . . : ; : ; ; ; ; : ; . ; . ; ; ; ; : ; . . % . . ; : … . ; ; … …; +… . .: ;. . :.. .: : . . ::… ; … .; : . @ ; ; +.@ . ; : +: + : ; :. %+; +. ; . # @: :.. ; ; …;::@;; . . ; :#@;. ..@:. . ;.@%: .:@%:: :. . #+. :@%;. .:@. .: @+ . #. . ;@#.;. …: .::: ..:%@@+@+#… :+:%@@+..:@@@::.:;@@:..+@@:; .::#@@#:..:@@#…+@#: ::%@@+ .:.+::..@@:@@@#;.. ::.# +@#.@ .@: .@%: : :@%. ;@@: .@%. @ .;@@: .: :@#..#@. +@#.@ .@ .@%:. : %+ ;@@: #; +# .;@@: .. @: .#@. @. .. ;@ .@%: : @@ ;@@: %# * # .;@@: @+ .@ :#.. @:: @. . ::;. @@ .. . @% .*@ ;@. %.@ .. .@; . @@ .. .@@. .. @:# … . ;%# . @@ +;#: .. .@ @ . … … … …

Can a coding agent actually do the work of a software engineer in the real world?

(以上为原文节选,完整内容见下方”原文来源”)

这条动态今日登上 Hacker News 首页(29 赞 / 13 评论,来源 withspecific.com)。技术雷达每日自动聚合 AI 工程、后端架构、DevOps 方向的前沿动态;相关工程落地可浏览下方的相关服务与延伸阅读,或直接与我们团队交流。