GPT-6 Astra’nın Benchmark Sıralamaları Neden Birbiriyle Çelişiyor?

Bir benchmark haberinde GPT-6 Astra zirvede, diğerinde Claude Fable 5.1’in gerisinde, bir başkasında da GPT-5.6 Sol ile yakın görünebilir. Bu ilk bakışta çelişki gibi dursa da temel neden metodoloji: bileşik liderlik tabloları, etkileşimli ajan testleri, formel matematik benchmarkları ve API fiyatları aynı şeyi ölçmez.

Kısacası, sonuçlardan birinin zorunlu olarak yanlış olduğu söylenemez. İş yükü ve test koşulları belirtilmeden evrensel bir “en iyi model” sıralaması yapmak mümkün değildir.

Liderlik tablosu puanı, tek bir zekâ göstergesi değildir

Bileşik endeksler, çok sayıda görevi tek bir puanda toplar. Sonuç; hangi görevlerin dahil edildiğine, bunların nasıl ağırlıklandırıldığına, hangi model yapılandırmasının test edildiğine, muhakeme eforu, araç kullanımı ve maliyetin nasıl ele alındığına bağlıdır. Geniş yetenek kapsamı güçlü olan bir model, bir toplam endekste öne geçerken kodlama ağırlıklı ya da ajan odaklı başka bir endekste geride kalabilir.

Puanlar ayrıca tarihe ve yapılandırmaya duyarlıdır. Örneğin sağlanan Artificial Analysis karşılaştırması, GPT-6 Astra (max) için 55, Claude Fable 5.1 için 57 puan gösteriyor; bu değerler bazı önceki karşılaştırma yazılarında aktarılan 61 ve 66 puanlarından farklı. 3 Bu fark, herhangi bir anlık sonucu kalıcı sıralama gibi görmek yerine test tarihi ve tam yapılandırmayı kaydetmenin önemini gösteriyor.

Epoch AI’ın 169 puanlık Capabilities Index’inde ilk sıraya yerleşildiği iddiası ve bu sıralamanın yöntemi, eldeki Epoch birincil kaynak materyaliyle doğrulanmıyor. Alttaki liderlik tablosu, benchmark ağırlıkları, model ayarları ve belirsizlik bilgileri görülmeden bu iddia belirleyici bir karşılaştırma olarak kullanılmamalı.

ARC-AGI-3: Sonucu test düzeneği değiştirdi

ARC-AGI-3, sabit sorulardan oluşan bir sınav değil, etkileşimli bir benchmark. Ajanların yeni ortamları keşfetmesi, hedefleri süreç içinde edinmesi, uyarlanabilir dünya modelleri kurması ve deneyimle stratejilerini değiştirmesi bekleniyor. 50

ARC Prize, GPT-6 Astra için Semi-Private değerlendirmesinde iki dikkat çekici sonuç bildirdi:

Değerlendirme koşulu	Bildirilen en iyi skor	Çalıştırma başına bildirilen maliyet
Standart düzenek, maksimum muhakeme	%62,7	26.098 ABD doları
OpenAI Provider Adapter, yüksek muhakeme	%99,9	18.817 ABD doları (yaklaşık 19 bin ABD doları)

5152

Bu fark küçük bir teknik ayrıntı değil. Standart düzenekte, ajan sağlayıcıdan bağımsız, asgari bir arayüz kullanıyor ve yalnızca açıkça saklamayı seçtiği notları sonraki adımlara taşıyabiliyor. Provider Adapter ise istekler arasında sağlayıcıya özgü, dışarıdan görünmeyen muhakeme durumunu koruyabiliyor ve uzun görüşmelerde bağlam sıkıştırması kullanabiliyor. 5153

Dolayısıyla Provider Adapter skoru, Astra’nın OpenAI’ın yerel bağlam yönetimiyle birlikteki performansını ölçüyor. Bu, ürün açısından anlamlı bir yetenek; ancak yalnızca tarafsız arayüzden test edilen modellerle otomatik olarak elma-elma karşılaştırması sayılmaz. ARC Prize da bu iki düzeneği farklı sorulara yanıt veren ayrı değerlendirme koşulları olarak ele alıyor. 53

ARC Prize ayrıca Astra’nın seviyelerin %96’sında, test edilen ortanca insandan daha az eylem kullandığını bildirdi. 52 Bu, eylem verimliliğine ilişkin bir sonuçtur. Modelin her tür işte insanlardan genel olarak daha iyi olduğu anlamına gelmez; gerçek bir iş akışında görev tamamlama, güvenilirlik ve toplam maliyet karşılaştırmasının da yerini tutmaz.

FrontierMath Erdős neyi gösterir, neyi göstermez?

FrontierMath Erdős, Ağustos 2026 itibarıyla çözülmemiş 68 zor Erdős probleminden oluşuyor. Bir görevi çözmek için sistemin önermeyi Lean ortamında ispatlaması veya çürütmesi gerekiyor; bu yüzden sunulan ispatlar makine tarafından doğrulanabiliyor. 3337

Bu tasarım, formel matematiksel doğruluk bakımından benchmarkı olağanüstü titiz kılıyor. Ancak bir matematik sonucu, modelin genel kodlama, ajan kullanımı veya muhakeme becerisi için kapsamlı bir sıralamaya dönüşmez. Test, belirtilen bütçe altında dar fakat son derece zor bir formel ispat görevindeki başarıyı ölçer.

Sağlanan birincil kaynaklar; Astra’nın toplam çözüm sayısını, standartlaştırılmış ve standart dışı çalıştırma bütçelerini veya FrontierMath Erdős değerlendirmesinde hangi sonuçların dışarıda bırakıldığını doğrulamıyor. Bu ayrıntılar ancak Epoch’un ilgili sonuç tablosu ya da değerlendirme raporundan; bütçe ve uygunluk ölçütleriyle birlikte aktarılmalı.

Epoch’un ayrı bir FrontierMath: Open Problems sayfası ise, yayın öncesi bir GPT-6 Astra değerlendirmesinin 648 rasyonel noktalı bir genus-2 eğrisi bulduğunu belirtiyor. Bu, FrontierMath Erdős puanından farklı bir benchmark sonucudur ve ikisi birbirine karıştırılmamalıdır. 43

Token fiyatı, görev fiyatı değildir

OpenAI, GPT-6 Astra için milyon giriş tokenı başına 10 ABD doları, milyon çıkış tokenı başına ise 50 ABD doları fiyat listeliyor. 19 Sağlanan karşılaştırma kaynakları, Claude Fable 5.1’in de aynı liste giriş ve çıkış fiyatlarını kullandığını; ancak önbellekten okunan girişler için Astra’nın milyon token başına 1,00 ABD doları, Fable’ın ise 0,25 ABD doları ücretlendirdiğini söylüyor. 4

Bu, iki ayrı maliyet sorusu doğuruyor:

• Tekrarlanan depo bağlamıyla çalışan uzun soluklu kodlama ajanları: İş yükü önbellekten yararlanıyorsa, daha düşük önbellek-okuma fiyatı maliyeti kayda değer biçimde azaltabilir.
• Tamamlanmış görev maliyeti: Bir model doğru sonuca daha az çıkış tokenı, araç çağrısı, yeniden deneme, eylem ya da insan müdahalesiyle ulaşıyorsa daha ucuz olabilir.

OpenAI, Astra’nın bazı kendi değerlendirmelerinde çok daha az çıkış tokenı kullanarak görev başına daha düşük tahmini API maliyetine ulaştığını belirtiyor. 18 Bu, sağlayıcının bildirdiği bir kanıttır; her iş akışı için genel bir maliyet garantisi değildir. Tek başına benchmark puanı veya token fiyatı, belirli bir kod tabanı ya da ajan akışı için hangi modelin daha ucuz olacağını kanıtlayamaz.

Yanıltılmadan model nasıl karşılaştırılır?

Astra, Claude Fable 5.1 veya GPT-5.6 Sol arasında seçim yapmadan önce görevi tanımlamak ve koşulları eşitlemek gerekir:

1. İş yükünü eşleştirin. Depo bakımı, tarayıcı otomasyonu, araştırma, formel ispatlar ve belge işleri ayrı ayrı değerlendirilmelidir.
2. Çıkarım politikasını sabitleyin. Karşılaştırılabilir muhakeme eforu, token sınırı, araç izinleri ve yeniden deneme kuralları belirleyin.
3. Model kalitesiyle entegrasyon kalitesini ayırın. Sağlayıcıdan bağımsız düzenek sonuçlarını, sağlayıcıya özgü sonuçlarla birlikte raporlayın; ikisini tek sıralamada eritmeyin.
4. Dolar başına başarıyı ölçün. Yalnızca giriş-çıkış token fiyatlarını değil, doğru tamamlamaları, gecikmeyi, yeniden denemeleri, önbellek kullanımını ve gereken insan kontrolünü takip edin.
5. Belirsizliği koruyun. Özellikle kamuya açık kanıt sınırlıyken, küçük endeks farkları ve değişen yapılandırmalar ihtiyatlı yorumlanmalıdır.

Astra’nın ARC-AGI-3 Provider Adapter sonucu dikkat çekici; standart düzenekteki sonucu da güçlü. Ancak bunların hiçbiri, farklı görev karışımı ve yapılandırma kullanan bağımsız bir endeksin başka bir modeli öne çıkarmasını geçersiz kılmaz. Asıl yararlı soru “Hangi model kazandı?” değil, “Hangi test edilmiş kurulum, sistemin yapacağı gerçek işe en çok benziyor?” sorusudur.