AnswersPublished15 sources
V4’te test ve doküman karmaşasını azaltmanın yolu
Çözüm, tüm testleri depodan çıkarmak değil; kalıcı kalite testlerini geçici doğrulama dosyalarından ayırmak. Testlerin kaynak depoda bulunması, kurulum paketine de girmeleri gerektiği anlamına gelmiyor.
YayımlayanGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Çözüm, tüm testleri depodan çıkarmak değil; kalıcı kalite testlerini geçici doğrulama dosyalarından ayırmak.
- Testlerin kaynak depoda bulunması, kurulum paketine de girmeleri gerektiği anlamına gelmiyor.
- Analiz, karar kaydı, uygulama planı ve geçici çalışma malzemeleri farklı işlevler üstlenmeli; dosya sayısını azaltmak tek başına yeterli değil.
- Uzun bağlam araştırmaları belirli bir dosya uzunluğunun doğrudan halüsinasyona yol açtığını göstermiyor.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W](https://d15bya8fi85z1v.cloudfront.net/chat/oBMfTzLzQzYo7VcXQdEGj2yQgAw1/images/73E9D63489E02AC46209/BEDABC175BE8FCADFC63.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"两个痛点都适合纳入 V4 的“产物生命周期背压”，但不应简化成“测试全部不提交”或“文档全部合并”。建议保留长期质量资产，隔离一次性验证材料，并分别控制仓库维护、安装分发和模型上下文。\n\n本次交付为阶段性调研：仓库静态证据、Geoffrey Huntley 的作者资料及部分学术资料已取得；Python 官方布. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Temel fikir: Her şeyi silmek değil, doğru yere koymak
V4’te test ve doküman birikimini azaltmak için testleri topluca depodan çıkarmak ya da tüm dokümanları tek dosyada birleştirmek gerekmiyor. Daha sağlam yaklaşım, kalıcı kalite varlıklarını korurken tek seferlik doğrulama malzemelerini ayırmak; kaynak depoyu, kurulum paketini ve modele verilen bağlamı ayrı ayrı yönetmek.
Bu inceleme aşamalı kaldı. Depodaki bazı dosyalar, Geoffrey Huntley’nin yazıları ve akademik kaynaklar incelendi; Python için resmî yerleşim araştırması ile X, Reddit, Hacker News ve Lobsters üzerindeki karşılaştırmalı tarama tamamlanamadı. Bu nedenle aşağıdaki öneriler, tamamlanmış bir saha araştırması veya uygulanmış değişiklikler olarak değil, eldeki kanıta dayalı bir değerlendirme olarak okunmalı.
Testler: Geçici doğrulamayı ayırın, kalite güvencesini koruyun
V4’te görülenler
- CI yapılandırması, testleri
tests/altında topluyor. Bunlar yapılandırma sözleşmeleri, kurulum ve dağıtım kontrolleri ile varlık korumasını kapsıyor. Dolayısıyla yalnızca dosya kalabalığı gibi göründükleri için geçici veya gereksiz sayılmamalılar. Bu incelemede testler yeniden çalıştırılmadı ve her birinin bakım değeri ayrı ayrı değerlendirilmedi. .gitignorebazı sanal ortamları, önbellekleri ve geçici dosyaları dışlıyor; ancak görev taslakları ve doğrulama çıktıları için açık kurallar görünmüyor. Depoda_bmad-output/scratch/ve_bmad-output/verification/dizinleri bulunması, içlerindeki dosyaların Git tarafından izlenip izlenmediğini tek başına göstermez. Bu incelemede izleme durumu doğrulanmadı.bs.shdepoyu güncelliyor;deployment_source.pyise seçilen paketin kaynaklarını topluyor. Bunlar farklı sınırlar: Güncelleme sonrasında testlerin depo ağacında görünmesi, aynı dosyaların kullanıcılara dağıtılan pakete girdiği anlamına gelmiyor.- Kaynak toplama kodu paket içindeki dosyaları özyinelemeli biçimde alıp dağıtım girdisine dönüştürüyor (
deployment_source.py,deployment_source.py). Bu nedenle geçici dosyalar paket dizinine yanlışlıkla konursa dağıtım riski doğabilir. Ancak mevcut durumda bunun gerçekten yaşandığını gösteren bir bulgu yok.
Varlıkları işlevine göre ayırın
| Varlık türü | Depoda nasıl ele alınmalı? | Yerleşim ve dağıtım yaklaşımı |
|---|---|---|
| Uzun vadeli regresyon, sözleşme ve gerekli entegrasyon testleri | Kodla birlikte sürümlenmeli ve bakımı yapılmalı | Dilin ve projenin alışılmış düzenine uymalı; varsayılan olarak çalışma zamanı paketine girmemeli |
| Tek seferlik tanılama ve deney betikleri | Varsayılan olarak yerel tutulmalı, otomatik biçimde commit edilmemeli | Onaylanmış geçici çalışma alanında kalmalı; paket varlıklarının içine taşınmamalı |
| Günlükler, kapsam raporları ve çalıştırma çıktıları | Kaynak kod commit’lerine varsayılan olarak eklenmemeli; gerekli kanıtlar kullanım amacına göre saklanmalı | Test kaynaklarından ve kurulum paketinden ayrı tutulmalı |
Bunlar mevcut V4 kuralları değil, önerilen sınıflandırmadır.
Go’nun resmî öğreticisi, test dosyasını test edilen paketle aynı dizinde tutan bir örnek veriyor. Bu yüzden bütün Go birim testlerini merkezi bir dış dizine taşımak evrensel bir kural gibi sunulmamalı. 15 Bu depodaki Python testleri zaten merkezi bir düzende; ancak Python için genel olarak en uygun yerleşim konusunda bu incelemede yeterli resmî kanıt toplanmadı.
Önce hangi sorunu çözmek istediğinizi belirleyin. Kullanıcılara sunulan içeriğin temiz kalması hedefleniyorsa dağıtım paketinin dosya listesine odaklanın. Geliştirici kaynak ağacının düzeni hedefleniyorsa kullanılan dile uygun test yerleşimini değerlendirin. Dosyaları taşımak bu iki hedefi kendiliğinden birden çözmez.
Dokümanlar: Dosya sayısını değil, görevleri netleştirin
Mevcut çıktı yönlendirmesi, analizleri, ADR’leri (mimari karar kayıtları), planları ve sözleşmeleri birbirinden ayırıyor; bir dosyanın nereye ait olduğu belli değilse soru sorulmasını istiyor. Buna karşılık taslak kuralı farklı bir yol tanımı sunuyor. Eldeki statik bulgular, dokümanların yaşam döngüsünde boşluklar olabileceğini düşündürüyor; ancak bu, gelişi güzel açılan her dizinin nedenini kanıtlamıyor.
Yeni bir yığın dizin eklemek yerine mevcut yapıda her çıktının görevini belirginleştirmek daha ölçülü bir seçenek:
- Kalıcı analiz: Kanıtları, karşılaştırmaları, aksi yöndeki bulguları ve bilinmeyenleri kaydeder. Sıradan bir danışma yanıtının kalıcı rapora dönüşmesi gerekmez; kalıcı saklama ihtiyacı yoksa dosya oluşturmayın.
- ADR: Önemli bir kararı, gerekçesini ve getirdiği kısıtları kaydeder. Analizin tamamını veya uygulama adımlarının günlüğünü kopyalamaz.
- Uygulama planı: Yetkiyi, kapsamı, bağımlılıkları ve kabul ölçütlerini belirtir; araştırma metnini baştan yazmak yerine ilgili karara atıfta bulunur.
- Geçici malzeme: Taslakları, tanılama girdilerini ve ham çıktıları onaylanmış geçici alanda tutar. Başlığında “taslak” yazması, dosyanın kalıcı analiz klasörüne ait olduğu anlamına gelmez.
- Uzun ömürlü operasyon dokümanı: Yalnızca yeniden kullanılabilir bir kullanım kılavuzu işlevi görüyorsa saklanır. Tek bir dağıtım süreci, kendiliğinden yeni bir dağıtım dizini açmayı gerektirmez.
Bir dosyanın kaç tane olacağı, commit edilip edilmeyeceği, dağıtım paketine girip girmeyeceği ve model tarafından okunup okunmayacağı ayrı kararlardır. Hepsini tek dizine koymak, bu kararların yerini tutmaz.
Geoffrey Huntley’den çıkarılabilecekler
Geoffrey Huntley’nin “back pressure” yazısı, ajanların daha uzun görevlerde ilerleyebilmesi için kalite ve doğruluğa ilişkin otomatik geri bildirim yapıları kurmanın önemini vurguluyor; test dosyalarını silinmesi gereken gürültü olarak tanımlamıyor. 12
Yazılım taşıma üzerine başka bir yazısında, kodu başka bir dile aktarırken test davranışlarının önce bir belirtime dönüştürülmesini, ardından uygulamada bu belirtimden yararlanılmasını öneriyor. Bu, belirli bir taşıma sürecine ilişkin bir yöntem; her projede testlerin dokümanlarla değiştirilmesi gerektiğinin kanıtı değil. 14
V4 açısından temkinli çıkarım şu: Çalıştırılabilir doğruluk geri bildirimini koruyup yinelenen veya tek seferlik doğrulama varlıklarını azaltın. Belirtim beklenen davranışı anlatır; test ise bu beklentiyi çalıştırılabilir biçimde sınar. Değerlendirme yapmadan birini diğerinin yerine koymayın.
Huntley’nin testleri commit etme, taslak dizinleri kullanma veya dağıtım paketini dışlama konusunda tek ve kapsamlı bir standardı olup olmadığına dair yeterli kanıt yok. Bu forumlarda ortak bir görüş bulunduğu da doğrulanamadı; incelenmeyen gönderiler kanıt olarak kullanılamaz.
Uzun dokümanlar ve halüsinasyon: Önce neyin okunduğunu yönetin
Uzun bağlam üzerine çalışmalar, modellerin girdinin ortasındaki bilgileri kullanmakta zorlanabildiğini inceliyor. HELMET araştırması da uzun bağlam yeteneğini değerlendirirken yalnızca basit bilgi bulma testlerine dayanmak yerine farklı görevleri kapsama gereğine dikkat çekiyor. 3
4
Bu çalışmalar, “belirli bir uzunluğu aşan dosya doğrudan halüsinasyona yol açar” sonucunu desteklemiyor. V4’teki riski de doğrudan ölçmüyor. Bu nedenle amaç, yalnızca dosya sayısını veya uzunluğunu azaltmak olmamalı:
- Dokümanları konu ve karar sınırlarına göre bölün; tek bir ana dosyayı sınırsızca büyütmeyin.
- Varsayılan olarak yalnızca mevcut görevle ilgili bölümleri okutun; geçmiş materyali gerektiğinde arayın.
- Kısa özetlerde kanıtların yerini, bilinmeyenleri ve tamamlanmamış işleri koruyun; ham materyali izlenebilirlik için saklayın.
- Dizini yön bulmak için kullanın; aynı bilgiyi tekrar ederek ikinci bir “gerçekler defteri” yaratmayın.
- Günlükleri ve eski raporları modele varsayılan olarak baştan sona yüklemeyin.
V4 için en küçük yeterli iyileştirme
Yeni ve ağır bir iş akışı kurmak yerine, varlığın oluşturulmasından teslimine kadar geçerli olacak tek bir yaşam döngüsü kuralı eklenebilir:
- Oluşturmadan önce: Varlığın amacını belirleyin. Her değişiklik için yeni dosya açmak yerine, gerektiğinde mevcut testi veya dokümanı genişletin.
- Dosyaya yazmadan önce: Yetkili konumu, kalıcı mı geçici mi olduğunu, sürümlenip sürümlenmeyeceğini ve dağıtılıp dağıtılmayacağını netleştirin. Emin değilseniz kendiliğinizden yeni bir dizin oluşturmayın.
- Commit öncesinde: Geçici çıktıları, hassas içeriği, yinelenen testleri ve tekrarlanan dokümanları gözden geçirin. Düzeni sağlamak için tüm testleri dışarıda bırakmayın.
- Dağıtım öncesinde: Kurulum paketinin sınırlarını açıkça belirleyin; geçici malzemenin pakete karışmasını önleyin. Sadeleştirme uğruna mevcut özetleri, kimlik bilgilerini ve varlık korumalarını kaldırmayın.
- Temizlik öncesinde: Başarısızlık kanıtlarını, devam eden işleri ve geçmiş referansları koruyun. Bir görev tamamlandı diye ya da dosya eski görünüyor diye silme yetkisi doğmaz.
Sonuç olarak önce geçici malzeme ile dağıtım sınırlarının netleştirilmesi, ardından doküman görevlerinin ve bağlama erişimin düzenlenmesi daha savunulabilir bir yol. Go birim testlerini topluca taşımak, kalıcı testlerin commit edilmesini durdurmak veya bütün dokümanları tek dosyada toplamak için eldeki kanıt yeterli değil.
İleride bir düzeltme yapılırsa kabul ölçütleri; testlerin keşfedilmeye devam etmesi, ilgili CI adımlarının çalışması, geçici dosyaların kurulum paketine karışmaması ve geçmiş referanslarla tamamlanmamış işlerin izlenebilir kalması olmalı.
Bu incelemede dosya değiştirilmedi, temizlik yapılmadı ve test ya da terminal komutu çalıştırılmadı.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "V4’te test ve doküman karmaşasını azaltmanın yolu"?
Çözüm, tüm testleri depodan çıkarmak değil; kalıcı kalite testlerini geçici doğrulama dosyalarından ayırmak.
What are the key points to validate first?
Çözüm, tüm testleri depodan çıkarmak değil; kalıcı kalite testlerini geçici doğrulama dosyalarından ayırmak. Testlerin kaynak depoda bulunması, kurulum paketine de girmeleri gerektiği anlamına gelmiyor.
What should I do next in practice?
Analiz, karar kaydı, uygulama planı ve geçici çalışma malzemeleri farklı işlevler üstlenmeli; dosya sayısını azaltmak tek başına yeterli değil.
Sources
go.devAdd a test
ghuntley.comdon't waste your back pressure
doi.orgFound in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding