답변게시됨18 소스
COBOL 코드 이전 성적은 최대 97.9%…벤치마크와 실전은 다르다
GPT 6 Astra는 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 MultiLangBench에서 평균 87.4%의 테스트 통과율을 기록했다. 별도의 COBOL 이전 평가에서 GPT 6.1 Sol은 추론량이 낮을 때 86.6%, 높일 때 97.9%의 정확도를 보였다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- GPT 6 Astra는 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 MultiLangBench에서 평균 87.4%의 테스트 통과율을 기록했다.
- 별도의 COBOL 이전 평가에서 GPT 6.1 Sol은 추론량이 낮을 때 86.6%, 높일 때 97.9%의 정확도를 보였다.
- 두 수치는 정해진 평가에서의 성과다. 기업의 실제 업무 규칙과 연동 환경까지 보존하는지 확인하려면 전문가 검토와 자체 테스트가 필요하다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI announce on October 19, 2026, about its newest models’ improvements in writing and migrating code in low-resource languages. Article summary: On October 19, 2026, OpenAI announced stronger capabilities for writing and migrating software in low-resource languages, including COBOL, Fortran, Visual Basic and OCaml, supported by two new evaluations. The reported g. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, click
OpenAI는 2026년 10월 19일 COBOL, Fortran, Visual Basic, OCaml 등 이른바 ‘저자원’ 프로그래밍 언어로 코드를 작성하고 이전하는 모델의 성능이 향상됐다고 발표했다. GPT-6 Astra는 20개 언어 코딩 벤치마크에서 평균 87.4%의 테스트 통과율을 보였고, 별도의 COBOL 이전 평가에서는 GPT-6.1 Sol이 추론량을 높인 설정에서 97.9%의 정확도를 기록했다. 눈에 띄는 성적이지만, 특정 테스트의 통과율이 곧바로 실제 기업 시스템에 적용할 수 있다는 증명은 아니다. 2
18
19
‘저자원 언어’는 중요도가 낮다는 뜻이 아니다
저자원 프로그래밍 언어란 실제 활용도가 낮은 언어가 아니라, AI 모델을 학습시키거나 평가하는 데 쓸 수 있는 자료가 상대적으로 적은 언어를 가리킨다. COBOL처럼 오래되고 널리 쓰이는 언어도 학습 자료가 제한적이라면 이 범주에 들어갈 수 있다. 25
IBM 추정치를 인용한 보도에 따르면 COBOL은 온라인 뱅킹 시스템의 40% 이상, ATM 거래의 95%를 뒷받침한다. 다만 이런 수치는 현장에서의 사용 범위를 보여줄 뿐, AI 학습에 적합한 COBOL 자료가 얼마나 있는지를 말해주지는 않는다. 24
두 평가는 서로 다른 능력을 본다
MultiLangBench는 모델에게 20개 프로그래밍 언어 각각으로 SQLite 호환 데이터베이스 엔진을 처음부터 만들도록 하는 평가다. 결과는 언어별 테스트 통과율의 평균으로 제시된다. 평가에는 SQLite 테스트 스위트를 바탕으로 조정한 테스트가 포함된다. 2
26
COBOL 이전 평가는 기존 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 옮기는 과제를 다룬다. 핵심은 번역된 프로그램이 원래 프로그램과 같은 동작을 하는지이며, 숨겨진 테스트로 결과를 확인한다. 19
21
첫 번째는 여러 언어로 새 소프트웨어를 구현하는 능력을, 두 번째는 기존 프로그램을 다른 언어로 옮기면서 동작을 보존하는 능력을 살핀다. 따라서 두 평가의 백분율을 같은 척도처럼 직접 비교해서는 안 된다.
공개된 점수와 비용
| 평가 | 모델 및 설정 | 보고된 결과 |
|---|---|---|
| MultiLangBench, 20개 언어 평균 | GPT-6 Astra, 최대 추론 | 통과율 87.4%. GPT-5.6 Sol은 같은 조건에서 26.8%였다. |
| MultiLangBench | GPT-6 Luna | 통과율 40.3%, 샘플당 약 0.77달러. GPT-5.6 Sol은 샘플당 3.48달러였다. |
| COBOL 이전, 낮은 추론량 | GPT-6.1 Sol | 정확도 86.6%. GPT-5.6 Sol은 같은 설정에서 5.4%였으며, GPT-6.1 Sol의 비용은 39% 낮았다고 보고됐다. |
| COBOL 이전, 높은 추론량 | GPT-6.1 Sol | 정확도 97.9%. |
MultiLangBench에서 GPT-6 Astra는 COBOL 72.1%, Fortran 83.5%, Visual Basic 89.4%를 기록했다. 이 수치는 MultiLangBench의 언어별 성적이다. 따라서 별도 COBOL 이전 평가에서 GPT-6.1 Sol이 기록한 97.9%와 혼동해서는 안 된다. 18
25
비용 수치도 평가별로 구분할 필요가 있다. GPT-6 Luna의 샘플당 비용은 MultiLangBench 결과에 해당한다. 공개된 자료만으로는 GPT-6 Astra나 높은 추론량을 사용한 GPT-6.1 Sol의 이전 평가 비용을 같은 방식으로 비교하기 어렵다. 18
높은 점수가 실제 이전의 안전성을 보증하지는 않는다
기존 소프트웨어를 다른 언어로 바꿀 때 중요한 것은 코드가 그럴듯해 보이는지가 아니라, 원래 프로그램의 동작을 보존하는지다. OpenAI가 공개한 평가에서 GPT-6.1 Sol이 이전 모델보다 크게 높은 점수를 기록한 것은 이 과제에서 진전이 있었음을 보여준다. 19
21
하지만 벤치마크 통과만으로 모든 업무 규칙과 의존성, 시스템 연동이 그대로 유지된다고 단정할 수는 없다. 평가에 포함되지 않은 예외 상황에서도 올바르게 동작하는지 역시 점수만으로 확인되지 않는다. 실제 적용에는 전문가의 코드 검토와 함께, 조직이 사용하는 데이터와 업무 요건에 맞춘 테스트가 필요하다.
공개된 평가와 남은 의문
보도에 따르면 OpenAI는 MultiLangBench를 공개 벤치마크로 내놓았다. 반면 COBOL 이전 평가의 숨겨진 테스트까지 공개됐는지는 확인되지 않아, 외부에서 같은 조건으로 결과를 완전히 재현하기 어려울 수 있다. 19
28
여기 소개한 수치는 공개된 벤치마크 결과이며, 제공된 자료에는 독립적인 재현 검증이 기록돼 있지 않다. 따라서 이는 정해진 과제에서의 성과를 보여주는 근거이지, 실제 운영 환경에서의 신뢰성을 독립적으로 입증한 결과는 아니다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"COBOL 코드 이전 성적은 최대 97.9%…벤치마크와 실전은 다르다"에 대한 짧은 대답은 무엇입니까?
GPT 6 Astra는 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 MultiLangBench에서 평균 87.4%의 테스트 통과율을 기록했다.
먼저 검증할 핵심 포인트는 무엇인가요?
GPT 6 Astra는 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 MultiLangBench에서 평균 87.4%의 테스트 통과율을 기록했다. 별도의 COBOL 이전 평가에서 GPT 6.1 Sol은 추론량이 낮을 때 86.6%, 높일 때 97.9%의 정확도를 보였다.
실무에서는 다음으로 무엇을 해야 합니까?
두 수치는 정해진 평가에서의 성과다. 기업의 실제 업무 규칙과 연동 환경까지 보존하는지 확인하려면 전문가 검토와 자체 테스트가 필요하다.