AnswersPublished12 sources
Uzun AI araştırmaları neden 300 saniye civarında kesiliyor? Ağ geçidi için yeni bir öneri
Bir araştırma isteği 301,086 saniyede, 44.002 bayt yanıt tamponlanmışken ve normal tamamlanma işareti alınmadan sona erdi. Öneri, uygun durumlarda hata yerine güvenli kısmi yanıtı, kesinti uyarısını ve standart bir uzunluk sonlandırma işaretini aynı akışta göndermek.
YayımlayanGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Bir araştırma isteği 301,086 saniyede, 44.002 bayt yanıt tamponlanmışken ve normal tamamlanma işareti alınmadan sona erdi.
- Öneri, uygun durumlarda hata yerine güvenli kısmi yanıtı, kesinti uyarısını ve standart bir uzunluk sonlandırma işaretini aynı akışta göndermek.
- Kesintinin Cloudflare, ALB ya da başka bir ara katmandaki sabit 300 saniyelik sınırdan kaynaklandığı henüz bağımsız olarak doğrulanmış değil.
- Taslakta kod değişikliği, test çalıştırması veya istemci doğrulaması yapılmadı; çözüm, kesintiye uğrayan yanıtın tamamını kurtarmayı garanti etmiyor.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Uzun bir yapay zekâ araştırma yanıtının dakikalarca akıp sonra aniden kesilmesi, yalnızca kaybolan metin anlamına gelmeyebilir. İstemci bu sonu başarısız bir istek olarak yorumlayıp yeniden denediğinde, aynı araştırma tekrar başlayabilir ve arayüzde birden fazla hata uyarısı görülebilir.
Bu soruna yönelik hazırlanan yeni ağ geçidi taslağının temel fikri, istemci yazılımına dokunmadan, kesinti anına kadar güvenli biçimde aktarılabilen yanıtı standart akış biçiminde sunmak. Ancak bu, şu aşamada uygulanmış bir özellik değil: Taslak yeniden yazılmış, fakat kod değişikliği ve test yapılmamış.
Kayıtlarda ne görülüyor?
İncelenen isteğin kaydına göre yanıt 301,086 saniye sonra sona erdi. O ana kadar ağ geçidi 96.925 bayt okumuş, bunun 44.002 baytını tamponlamıştı; normal tamamlanma işareti gözlenmedi. Yerel araştırma isteği için görünen toplam zaman sınırı ise 300 değil, 1.800 saniyeydi. Bu nedenle eldeki kayıtlar, yerel toplam zaman aşımının isteği kestiğini göstermiyor.
Kesintinin Cloudflare, ALB veya başka bir ağ bileşenindeki 300 saniyelik bağlantı sınırından kaynaklandığı iddiası henüz bağımsız kanıtlarla doğrulanmış değil. Kullanıcının aktardığı otomatik yeniden deneme davranışı da tasarım girdisi olarak ele alınıyor; istemcinin her denemeyi neden başlattığı ve kaç kez tekrarladığı ayrıca doğrulanmalı.
Önemli bir ayrıntı: 44.002 baytlık tampon, bu verinin tamamının okunabilir araştırma metni olduğu anlamına gelmiyor. İçinde araç çağrısı ya da tamamlanmamış bir araç talimatı bulunabilir.
Önerilen davranış: hatayı değil, güvenli kısmı aktar
Taslak, yalnızca belirli koşullar sağlandığında hata yanıtı yerine kısmi çıktı vermeyi öngörüyor. İstek akışlı olmalı; ilgili araştırma türünde bulunmalı; beklenmedik bir akış sonu yaşanmalı; istemci bağlantısı hâlâ açık olmalı ve boş olmayan, güvenli bir yanıt parçası elde edilmiş olmalı.
Koşullar uygunsa ağ geçidi önce güvenli metni aktaracak, ardından yanıtın tamamlanmadığını belirten bir uyarı ve standart akışın sonlandırma işaretini gönderecek. İstemci tarafında özel bir protokol, yeni bir başlık veya eklenti gerekmemesi hedefleniyor.
Bununla birlikte standart biçimi kullanmak, kesintinin nedenini standart biçimde tanımlamakla aynı şey değil. OpenAI’nin akış tanımında length, istekte belirtilen azami üretim token sayısına ulaşılmasını ifade ediyor; rastgele bir bağlantı kopmasının genel adı değil. 2
14 Taslak bu nedenle
length değerini bir uyumluluk tercihi olarak kullanmayı, kullanıcıya yanıtın eksik olduğunu açıkça bildirmeyi ve asıl kesinti nedenini sistem kayıtlarında ayrı tutmayı öneriyor.
Bu yaklaşımın istemcide kırmızı hata uyarılarını kesin olarak ortadan kaldırdığı henüz söylenemez. İstemcinin length sonlandırmasını nasıl ele aldığı, gerçek kullanımda sınanmalı.
Araç çağrılarında güvenlik öncelikli
Yanıt bir araç çağrısı içeriyorsa, yarım kalmış talimatı sıradan metinmiş gibi aktarmak riskli olabilir. Bu yüzden taslak, kesilen akıştaki araçları çalıştırmamayı ve tamamlanmamış araç parametrelerini tamamlamaya çalışmamayı öngörüyor.
Yalnızca araç yapısından bağımsız ve güvenli olduğu açıkça belirlenebilen bir metin bölümü varsa bu bölümün aktarılması değerlendirilecek. Böyle bir ayrım yapılamıyorsa ağ geçidi kısmi yanıt sunmak yerine mevcut hata yolunu kullanacak. Dolayısıyla öneri, her durumda tamponlanmış içeriğin tamamını kurtarmayı vaat etmiyor.
“Devam et” yeni bir istek olabilir
Örnek uyarı metni, yanıtın yaklaşık 301 saniyede erken sona erdiğini ve metnin tamamlanmadığını belirtecek. Kullanıcı “devam et” derse bunun özgün araştırma görevinin kaldığı yerden sürdürüleceği garanti edilmiyor: Taslağa göre bu, yeni bir istek başlatabilir; tekrar veya ek maliyet riski de bulunabilir. Ağ geçidi kendi kendine yeni bir araştırma isteği göndermeyecek.
Ayrıca güvenli kısmi yanıtın teslim edilmesi, hesap durumunun otomatik olarak başarısız sayılması ya da hesabın devre dışı bırakılması anlamına gelmeyecek. Taslak, kesinti kaydını korurken kısmi teslimatı normal tamamlanmadan ayrı izlemeyi öneriyor.
Henüz öneri aşamasında
Taslak; istemciyi değiştirmeden, güvenli kısmi çıktının aktarılıp aktarılamayacağını, araç çağrılarının çalıştırılmadığını, akışın doğru sonlandırıldığını ve iptal durumlarında kaynakların düzgün kapandığını test etmeyi planlıyor. Ancak bu testler henüz çalıştırılmış değil. Hedef istemcinin yanıtı gerçekten kaydedip kaydetmediği ve otomatik yeniden denemeyi durdurup durdurmadığı da doğrulanmalı.
Kısacası öneri, uzun araştırmalardaki kesintinin nedenini çözmüş değil. Daha sınırlı bir hedef koyuyor: Üretim sırasında kesilen bir yanıtı, yalnızca güvenli ve anlamlı bir kısmı varsa, istemci değişikliği gerektirmeden kullanıcıya ulaştırmak.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Uzun AI araştırmaları neden 300 saniye civarında kesiliyor? Ağ geçidi için yeni bir öneri"?
Bir araştırma isteği 301,086 saniyede, 44.002 bayt yanıt tamponlanmışken ve normal tamamlanma işareti alınmadan sona erdi.
What are the key points to validate first?
Bir araştırma isteği 301,086 saniyede, 44.002 bayt yanıt tamponlanmışken ve normal tamamlanma işareti alınmadan sona erdi. Öneri, uygun durumlarda hata yerine güvenli kısmi yanıtı, kesinti uyarısını ve standart bir uzunluk sonlandırma işaretini aynı akışta göndermek.
What should I do next in practice?
Kesintinin Cloudflare, ALB ya da başka bir ara katmandaki sabit 300 saniyelik sınırdan kaynaklandığı henüz bağımsız olarak doğrulanmış değil.
Sources
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python