OpenAI’ın Codex “Harness” iddiası doğrulanmadı; ancak bağlam yönetimi ARC-AGI-3 skorunu üçe katladı

Bu kaynaklar, modelin çevresinde araçları, durumu, geri bildirimleri ve farklı arayüzleri bir araya getiren pratik bir yürütme katmanına işaret ediyor. Ancak tek başlarına, OpenAI’ın 20 Ağustos’ta “Harness” adıyla yeni bir paketi Apache 2.0 lisansıyla yayımladığını kanıtlamıyor.

Hangi noktalar doğrulanmış değil?

Sunulan kanıtlar şu iddiaları kesinleştirmiyor:

• 20 Ağustos’ta gerçekten böyle bir sürüm yayımlandığını;
• sürümün resmî adının “Harness” olduğunu;
• Apache 2.0 lisansıyla dağıtıldığını;
• iddia edilen pakete tam olarak hangi bileşenlerin dahil edildiğini;
• hangi şirketlerin bunu benimsediğini ve ne sonuçlar elde ettiğini.

İddia,

codex exec

ARC-AGI-3’te akıl yürütmeyi koruma ve bağlam sıkıştırma neden önemliydi?

Sunulan materyaldeki en net, kaynaklarla desteklenen sonuç ayrı bir OpenAI deneyinden geliyor. GPT-5.6 Sol, ARC-AGI-3’ün herkese açık görev setinde standart Harness kullanıldığında %13,3 puan aldı. Responses API üzerinden akıl yürütmeyi koruma ve bağlam sıkıştırma etkinleştirildiğinde skor %38,3’e yükseldi. Bu, yaklaşık üç katlık bir artış anlamına gelirken çıktı belirteci kullanımı da yaklaşık altı kat azaldı .

Bu karşılaştırmada değiştirilen unsur model ağırlıkları değildi. Kritik fark, çalışma zamanının turlar arasındaki durumu nasıl taşıdığıydı:

• Akıl yürütmeyi koruma (retained reasoning): Yararlı ara çıkarımların her adımın ardından silinmek yerine sonraki işlemlere taşınmasını sağladı. Böylece model, yaklaşımını her defasında baştan kurmak zorunda kalmadı.
• Bağlam sıkıştırma (context compaction): Etkileşim uzadıkça eski görev geçmişinin tamamen atılması yerine sıkıştırılmış bir durumun korunmasını sağladı.

OpenAI’ın geliştirici rehberi, bu ayarları daha önce yapılan çalışmalardan yararlanmanın ve uzun görevlerde tutarlılığı korumanın yolları olarak sunuyor . Bu nedenle sonuç, yalnızca modelin kapasitesinin ölçümü olarak değil, model ile çalışma zamanının birlikte oluşturduğu sistemin performansı olarak değerlendirilmeli. Aynı modelin yalnızca farklı durum yönetimi ayarlarıyla üç kata yakın daha yüksek skor alması, ajan altyapısının sonuçlar üzerindeki etkisini gösteriyor.

Bununla birlikte önemli bir sınır var: Deney, herkese açık bir değerlendirme setinde iki farklı yürütme yapılandırmasını karşılaştırıyor. Aynı iyileşmenin her ajanda, modelde, iş yükünde veya üretim ortamında tekrarlanacağını kanıtlamıyor.

Geliştiriciler bugün hangi seçenekleri kullanabilir?

En güçlü doğrulanmış çıkarım, doğrulanmamış Apache 2.0 duyurusu değil; OpenAI’ın ajan tabanlı kodlama davranışı etrafında sunduğu entegrasyon seçenekleri:

• Doğrudan API erişimi: Codex istem kılavuzu, en yüksek özelleştirme düzeyi için API kullanımını öne çıkarıyor .
• Codex SDK: SDK, her arayüzü baştan kurmak istemeyen geliştiriciler için daha basit bir entegrasyon yolu olarak sunuluyor .
• Açık kaynaklı CLI referansı: OpenAI, Codex CLI’yi incelenebilecek ve uyarlanabilecek bir referans uygulaması olarak tanımlıyor .
• Ajan yürütme döngüsü: Planla–uygula–doğrula–onar modeli, uzun soluklu kodlama görevlerinin temel çalışma biçimini oluşturuyor .
• Bulut yürütme: Codex, depolarla çalışabiliyor, kod çalıştırabiliyor ve bulut ortamında arka planda birden fazla görevi paralel yürütebiliyor .

Bu yetenekler, bir ajanı yalnızca genel amaçlı sohbet arayüzüyle sınırlamak yerine doğrudan bir ürünün veya mühendislik sürecinin içine yerleştirmeyi mümkün kılıyor. Geliştiriciler modelin çevresine alana özgü talimatlar, araçlar, izinler, doğrulama adımları ve durum yönetimi ekleyebiliyor. Bu, kaynaklarda görülen doğrulanmış entegrasyon yönü. Buna karşın, tüm bu bileşenleri tek bir Apache lisanslı Harness sürümünde birleştiren 20 Ağustos duyurusu sunulan resmî kaynaklarla doğrulanmış değil.

Benimseme kanıtı, sürüm iddiasından daha dar

Sunulan kaynaklar, iddia edilen Apache lisanslı çerçeveyi benimseyen şirketlerin isimlerini vermiyor. Ayrıca bu şirketlerin hukuk, operasyon, araştırma veya kodlama dışındaki iş akışlarında hangi sonuçları aldığına ilişkin şirket bazlı veriler de bulunmuyor.

Bununla birlikte Codex’in kurumsal müşteriler arasında kullanıldığına dair daha genel bir gösterge mevcut. OpenAI, haziran ayı itibarıyla kurumsal müşterilerde Codex’in, Codex ve ChatGPT’nin toplam çıktı belirteçlerinin %64’ünü oluşturduğunu bildirdi . Bu oran, kurumsal kullanımın önemli ölçekte olduğuna işaret edebilir; ancak iddia edilen Harness paketinin benimsendiğini, belirli şirketlerin hangileri olduğunu veya bunun ticari etkisini kanıtlamaz.

Stratejik açıdan anlamı ne?

Doğrulanmış tablo, sohbet tabanlı yardımdan görev devrine doğru bir yönelime işaret ediyor. Codex; modeli, araçları, yinelemeli geri bildirim döngüsünü, kalıcı ya da sıkıştırılmış durumu ve çok adımlı işleri yürütebilen çalışma ortamlarını bir araya getiriyor .

Ürün ekipleri bu mimariyi yazılım depoları, kurum içi operasyonlar, araştırma görevleri veya kontrollü başka iş akışları için özelleştirilmiş ajanlar geliştirmek üzere kullanabilir. Bu uygulamaların başarısı yalnızca model seçimine bağlı olmayacak. Araç erişiminin, durumun ne kadar süre korunacağının, bağlam sınırlarının, doğrulama süreçlerinin ve hatalardan kurtarma mekanizmalarının nasıl tasarlandığı da belirleyici olacak.

ARC-AGI-3 deneyinin kalıcı dersi burada yatıyor: Harness’i, yani modelin çevresindeki çalışma ve durum yönetimi katmanını değiştirmek hem yeteneği hem de verimliliği değiştirebilir. Ancak mevcut kanıtlara dayanarak, 20 Ağustos’taki Apache 2.0 lisanslı “Harness” sürümünü kesinleşmiş bir gerçek olarak sunmak yerine OpenAI’ın belgelenmiş Codex çalışma zamanı ve API bileşenlerinden söz etmek daha doğru.