OpenAI在10月19日公布了一项针对低资源语言的研究,第一组落在COBOL代码迁移上。上一代那个GPT-5.6Sol,在低推理强度下准确率只有5.4%;最新的GPT-6.1Sol在同一档强度下拿到86.6%,提高推理强度后到97.9%,估算API成本还比上一代低39%。
这个数字怎么算出来的,得看清楚。评测把现有COBOL程序迁到Kotlin、Java、C++这类语言,Python与Rust也算,用隐藏测试比对迁移前后的可观察输出是否逐字节一致,全部通过才算成功。它衡量的是规定测试范围内的行为保真,不是对所有边界输入的保证。
难点不在语法转换。COBOL的定点数运算在未指定四舍五入时,超出精度的部分直接截断;换一种语言重写,如果用了另一种默认舍入方式,程序能正常跑、没有报错,算出来的金额却不一样。金额、空值、日期边界、排序和输出格式都可能成为测试问题,这类差异不会以崩溃的形式出现。
同一份研究里还有覆盖20种语言的MultiLangBench,要求模型从零实现兼容SQLite的数据库。GPT-6Astra平均通过率87.4%,上一代是26.8%。分语言看,COBOL由10.9%抬到72.1%;至于Fortran,它是21.4%到83.5%。
便宜那一档也测了。GPT-6Luna在MultiLangBench上的平均通过率是40.3%,单样本成本估下来0.77美元,GPT-5.6Sol那边要3.48美元,低了约78%。说明能力提升不只落在最贵的模型上,低成本那一档也能覆盖一部分过去做不了的语言。
OpenAI自己在研究里写明,用到生产软件仍需专家审查,业务规则和系统依赖都要另外测一遍。它引用的数据是,COBOL撑着四成以上的网上银行、八成的面对面刷卡,全球95%的ATM交易也跑在它上面。MultiLangBench的评测设置和测试套件已经公开在代码托管平台。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
