JawabanDipublikasikan18 sumber
Skor AI untuk COBOL Melonjak—Namun Sistem Bisnis Tetap Perlu Diuji
GPT 6 Astra mencatat tingkat kelulusan rata rata 87,4% pada MultiLangBench, yang menguji 20 bahasa pemrograman. Dalam evaluasi migrasi COBOL terpisah, GPT 6.1 Sol meraih akurasi 86,6% dengan penalaran rendah dan 97,9% dengan penalaran lebih tinggi.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- GPT 6 Astra mencatat tingkat kelulusan rata rata 87,4% pada MultiLangBench, yang menguji 20 bahasa pemrograman.
- Dalam evaluasi migrasi COBOL terpisah, GPT 6.1 Sol meraih akurasi 86,6% dengan penalaran rendah dan 97,9% dengan penalaran lebih tinggi.
- Skor benchmark menunjukkan kemajuan pada tugas yang diuji, tetapi belum membuktikan bahwa hasil migrasi aman untuk langsung digunakan dalam sistem bisnis.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI announce on October 19, 2026, about its newest models’ improvements in writing and migrating code in low-resource languages. Article summary: On October 19, 2026, OpenAI announced stronger capabilities for writing and migrating software in low-resource languages, including COBOL, Fortran, Visual Basic and OCaml, supported by two new evaluations. The reported g. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
Pengumuman OpenAI pada 19 Oktober 2026 menyoroti peningkatan kemampuan modelnya untuk menulis dan memigrasikan kode dalam bahasa seperti COBOL, Fortran, Visual Basic, dan OCaml. Angka utamanya menonjol: GPT-6 Astra mencatat tingkat kelulusan rata-rata 87,4% pada benchmark yang mencakup 20 bahasa, sedangkan GPT-6.1 Sol meraih akurasi 97,9% pada evaluasi migrasi COBOL terpisah dengan upaya penalaran lebih tinggi. Namun, angka-angka itu mengukur kinerja pada tes tertentu—bukan kesiapan kode buatan AI untuk langsung dijalankan dalam sistem bisnis. 2
18
19
Mengapa bahasa yang banyak dipakai tetap disebut “low-resource”?
Istilah “low-resource” merujuk pada relatif sedikitnya materi yang tersedia untuk melatih dan mengevaluasi model AI. Istilah ini bukan berarti bahasa tersebut jarang digunakan atau tidak penting. Peliputan pengumuman OpenAI menyebut bahasa-bahasa itu memiliki data pelatihan yang terbatas. 25
COBOL menunjukkan perbedaan tersebut. Perkiraan yang dikaitkan dengan IBM menyebut bahasa ini mendukung lebih dari 40% sistem perbankan daring dan 95% transaksi ATM. Luasnya penggunaan di dunia nyata tidak menunjukkan seberapa banyak kode COBOL yang sesuai tersedia dalam materi pelatihan AI. 24
Dua evaluasi, dua jenis pekerjaan
MultiLangBench meminta model membangun mesin basis data yang kompatibel dengan SQLite dari nol, masing-masing dalam 20 bahasa pemrograman. Hasil yang dilaporkan adalah rata-rata persentase tes yang lolos di seluruh bahasa. Ulasan benchmark menyebut pengujiannya diadaptasi dari rangkaian tes SQLite. 2
26
Evaluasi migrasi COBOL menguji penerjemahan program COBOL ke C++, Java, Kotlin, Python, atau Rust. Tujuannya adalah mempertahankan perilaku program asal; tes tersembunyi digunakan untuk menilai hasil terjemahan. 19
21
Keduanya menguji hal yang berbeda: membuat perangkat lunak dalam bahasa yang mungkin kurang akrab bagi model, dan memindahkan perangkat lunak lama tanpa mengubah hasil yang tampak dari perilakunya. Karena itu, skornya tidak tepat dibandingkan seolah-olah mengukur hal yang sama.
Skor, tingkat penalaran, dan biaya yang dilaporkan
| Evaluasi | Model dan pengaturan | Hasil yang dilaporkan |
|---|---|---|
| MultiLangBench, rata-rata 20 bahasa | GPT-6 Astra, penalaran maksimum | Tingkat kelulusan 87,4%, dibandingkan 26,8% untuk GPT-5.6 Sol. |
| MultiLangBench | GPT-6 Luna | Tingkat kelulusan 40,3%; biaya sekitar US$0,77 per sampel, dibandingkan US$3,48 untuk GPT-5.6 Sol. |
| Migrasi COBOL, penalaran rendah | GPT-6.1 Sol | Akurasi 86,6%, dibandingkan 5,4% untuk GPT-5.6 Sol; biaya dilaporkan 39% lebih rendah. |
| Migrasi COBOL, penalaran lebih tinggi | GPT-6.1 Sol | Akurasi 97,9%. |
Pada MultiLangBench, GPT-6 Astra meraih skor 72,1% untuk COBOL, 83,5% untuk Fortran, dan 89,4% untuk Visual Basic. Angka migrasi COBOL berasal dari evaluasi lain, jadi skor 97,9% bukan hasil Astra dalam tes penulisan kode COBOL. 18
25
Perbandingan biaya GPT-6 Luna berlaku untuk hasilnya di MultiLangBench. Angka yang tersedia tidak menunjukkan biaya setara untuk Astra atau untuk hasil migrasi GPT-6.1 Sol dengan penalaran lebih tinggi. 18
Apa artinya bagi migrasi kode?
Tes migrasi menyasar tantangan penting saat memperbarui perangkat lunak lama: kode hasil terjemahan harus tetap melakukan hal yang sama, bukan sekadar terlihat masuk akal. Skor yang dilaporkan OpenAI menunjukkan kemajuan besar pada rangkaian tesnya, terutama jika dibandingkan dengan hasil model sebelumnya pada pengaturan penalaran rendah. 19
21
Namun, lolos benchmark tidak sama dengan memverifikasi sistem nyata. Hasil ini, dengan sendirinya, tidak membuktikan bahwa model akan mempertahankan setiap aturan bisnis, menangani semua dependensi atau integrasi, maupun berfungsi dengan benar pada kasus yang tidak tercakup dalam evaluasi. Penggunaan di lingkungan produksi tetap memerlukan tinjauan ahli dan pengujian berdasarkan kebutuhan serta data organisasi yang sebenarnya.
Apa yang tersedia untuk publik—dan apa yang belum pasti?
Peliputan pengumuman menyebut OpenAI merilis MultiLangBench sebagai benchmark terbuka. Materi yang tersedia tidak memastikan bahwa tes tersembunyi dalam evaluasi migrasi COBOL juga dibuka untuk publik. Karena itu, pihak luar mungkin tidak dapat mereproduksi hasil migrasi tersebut secara menyeluruh. 19
28
Angka-angka di atas adalah hasil benchmark yang dilaporkan; sumber yang tersedia tidak mendokumentasikan replikasi independen. Hasil ini menjadi bukti kemajuan pada tugas yang didefinisikan, bukan konfirmasi independen bahwa sistem akan andal di lingkungan produksi.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Skor AI untuk COBOL Melonjak—Namun Sistem Bisnis Tetap Perlu Diuji"?
GPT 6 Astra mencatat tingkat kelulusan rata rata 87,4% pada MultiLangBench, yang menguji 20 bahasa pemrograman.
Apa poin penting yang harus divalidasi terlebih dahulu?
GPT 6 Astra mencatat tingkat kelulusan rata rata 87,4% pada MultiLangBench, yang menguji 20 bahasa pemrograman. Dalam evaluasi migrasi COBOL terpisah, GPT 6.1 Sol meraih akurasi 86,6% dengan penalaran rendah dan 97,9% dengan penalaran lebih tinggi.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Skor benchmark menunjukkan kemajuan pada tugas yang diuji, tetapi belum membuktikan bahwa hasil migrasi aman untuk langsung digunakan dalam sistem bisnis.