Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
Trending on Hacker News: Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases (29 points / 13 comments, via withspecific.com)
In one line
Real-SWE benchmarks frontier AI models on private production codebases licensed from real companies. Eight model and harness configurations, ten tasks, 640 scored rollouts.
Opening excerpt
. ;+;+;:;+;+;.# ; ; ; … . ; . + ; ; . . : @;;+;+# +;+;+;+;:;+:# : : ; . ; ; ; @;+;+.+;:;+;+* ; . . : ; . . : ; @++:;:;+.;;@ ;… . .: . ; … .; @++;;;;+;:;@ ; : ; ; @;+++:@;++;:+ ; : : . :+.+;;;+:;@ ; : + . ; … ; ; . ; : … . ; … . .; ; … . .+ + … .; ; … . .; ; . . : ; : ; ; ; ; : ; . ; . ; ; ; ; : ; . . % . . ; : … . ; ; … …; +… . .: ;. . :.. .: : . . ::… ; … .; : . @ ; ; +.@ . ; : +: + : ; :. %+; +. ; . # @: :.. ; ; …;::@;; . . ; :#@;. ..@:. . ;.@%: .:@%:: :. . #+. :@%;. .:@. .: @+ . #. . ;@#.;. …: .::: ..:%@@+@+#… :+:%@@+..:@@@::.:;@@:..+@@:; .::#@@#:..:@@#…+@#: ::%@@+ .:.+::..@@:@@@#;.. ::.# +@#.@ .@: .@%: : :@%. ;@@: .@%. @ .;@@: .: :@#..#@. +@#.@ .@ .@%:. : %+ ;@@: #; +# .;@@: .. @: .#@. @. .. ;@ .@%: : @@ ;@@: %# * # .;@@: @+ .@ :#.. @:: @. . ::;. @@ .. . @% .*@ ;@. %.@ .. .@; . @@ .. .@@. .. @:# … . ;%# . @@ +;#: .. .@ @ . … … … …
Can a coding agent actually do the work of a software engineer in the real world?
(Excerpted from the original; full article via the source link below.)
This story hit the Hacker News front page today (29 points / 13 comments, via withspecific.com). Our Tech Radar aggregates daily signals on AI engineering, backend architecture and DevOps — browse the related services and further reading below, or get in touch with our team.
Source: Hacker News