AnswersPublished12 sources
Osittainen vastaus voi olla parempi kuin uusi virhe
Lokissa näkyy pyyntö, joka päättyi 301,086 sekunnissa: dataa oli luettu 96 925 tavua, ja puskurissa oli 44 002 tavua, mutta valmistumistapahtumaa ei havaittu. Ehdotus palauttaisi kelpoisuusehdot täyttävän osavastauksen OpenAI tyylisenä virtana ja merkitsisi lopputilan pituuden ylittymiseksi.
JulkaisijaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Lokissa näkyy pyyntö, joka päättyi 301,086 sekunnissa: dataa oli luettu 96 925 tavua, ja puskurissa oli 44 002 tavua, mutta valmistumistapahtumaa ei havaittu.
- Ehdotus palauttaisi kelpoisuusehdot täyttävän osavastauksen OpenAI tyylisenä virtana ja merkitsisi lopputilan pituuden ylittymiseksi.
- Tämä on yhteensopivuuteen tähtäävä kompromissi: OpenAI dokumentaatiossa length tarkoittaa pyyntöön määritellyn token rajan saavuttamista, ei mitä tahansa odottamatonta yhteyden katkeamista.
- Ratkaisu ei lähetä pyyntöä uudelleen, suorita keskeneräisiä työkalukutsuja eikä takaa, etteikö asiakasohjelma näyttäisi virhettä tai yrittäisi jatkaa.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Pitkä tutkimuspyyntö voi tuottaa runsaasti tekstiä ja silti päättyä ilman normaalia valmistumismerkkiä. Silloin yhdyskäytävä saattaa hylätä puskuroidun vastauksen virheenä, vaikka osa sisällöstä olisi jo olemassa. Käyttäjälle tämä voi näkyä virheilmoituksina ja uusina automaattisina pyyntöinä.
Ehdotuksen ydin on yksinkertainen: jos tutkimusvastausta on jo saatu ja sen sisältö voidaan erottaa turvallisesti, yhdyskäytävä toimittaa osan tekstistä asiakkaalle sen sijaan, että se lähettäisi vain virheen. Ratkaisu ei kuitenkaan korjaa katkennutta yhteyttä eikä palauta tekstiä, jota ei koskaan ehditty vastaanottaa.
Mitä katkeamisesta tiedetään?
Yhden lokitetun pyynnön kesto oli 301,086 sekuntia. Yhdyskäytävä oli lukenut 96 925 tavua ja puskuroinut 44 002 tavua, mutta normaalia valmistumistapahtumaa ei havaittu. Viimeisen tekstihavainnon ja yhteyden päättymisen välissä oli noin 144 millisekuntia.
Lokin mukaan pyynnön tutkimusajan kokonaisraja oli 1 800 sekuntia. Siksi aineisto ei osoita, että paikallinen 300 sekunnin aikakatkaisu olisi katkaissut pyynnön. Myöskään väite siitä, että syynä oli Cloudflaren tai ALB:n kiinteä yhteysraja, ei ole tässä vahvistettu: välityspalvelimen asetuksia tai etäpään lokeja ei ole käytettävissä.
Käyttäjän mukaan asiakasohjelma käynnistää katkeamisen jälkeen uuden pyynnön ja käyttöliittymään kertyy useita virheilmoituksia. Tämä on tärkeä suunnittelun lähtökohta, mutta jokaisen uudelleenyrityksen ketjua ei ole erikseen varmennettu. Samoin ilmoitettu 474 096 syötetokenin määrä on käyttäjän antama tieto, ei riippumattomasti tarkistettu laskelma.
Ehdotus: toimita turvallinen osavastaus samassa virrassa
Ensimmäinen vaihe rajattaisiin suoratoistettaviin akateemisiin ja faktantarkistuksen tutkimuspyyntöihin. Jos virta katkeaa odottamatta mutta sisältää kelvollista, turvallisesti erotettavaa tekstiä, yhdyskäytävä voisi:
- toimittaa puskuroidun ja turvalliseksi arvioidun tekstin osavastauksena;
- lisätä lyhyen huomautuksen siitä, että lähdevastaus katkesi eikä teksti ole valmis;
- päättää virran standardilla
finish_reason: "length"-lopputilalla ja päättävällä[DONE]-merkillä.
Käyttäjän ei tarvitsisi muuttaa IDE:tä tai asiakasohjelmaa eikä ottaa käyttöön yhdyskäytävän omaa tapahtumamuotoa. Ehdotus koskee vain tilanteita, joissa osavastaus todella täyttää kelpoisuusehdot. Jos teksti puuttuu, on pelkkää tyhjää tai tilatietoa, tai sitä ei voi erottaa turvallisesti, virhe käsitellään edelleen virheenä.
Tärkeä yhteensopivuusraja on syytä sanoa ääneen: OpenAI määrittelee length-lopputilan tilanteeksi, jossa pyynnössä asetettu generointiraja saavutetaan. Se ei ole yleinen merkintä odottamattomalle EOF:lle eli virran äkilliselle päättymiselle. 14
2 Tässä ehdotuksessa kenttää käytettäisiin siksi yhteensopivana tapana kertoa keskeneräisestä vastauksesta, ei todisteena siitä, että malli todella saavutti token-rajan.
Milloin sisältöä ei saa palauttaa?
Turvallisuus menee sisällön säilyttämisen edelle. Jos puskuri sisältää työkalukutsun tai keskeneräisen työkalukutsun, yhdyskäytävä ei saa suorittaa sitä eikä siirtää sitä asiakkaalle tavalla, joka voisi käynnistää kutsun.
- Pelkän tekstin voi toimittaa, jos sisältö ja sen rajat ovat selviä.
- Täydellinenkään työkalukutsu ei ole lupa suorittaa työkalua: virta ei päättynyt normaalisti.
- Keskeneräistä työkaluprotokollaa tai rikkinäisiä JSON-parametreja ei pidä paikata arvaamalla.
- Turvallinen tekstiosa voidaan säilyttää vain, jos sen voi erottaa epäilyttävästä jälkiosasta varmasti. Muuten osavastausta ei toimiteta.
Tämä rajaa lupauksen tarkasti. Esimerkiksi 44 002 tavun puskuri ei yksin kerro, että kyseessä on 44 002 tavua tavallista tutkimustekstiä. Se voi sisältää myös työkaluprotokollaa.
Viesti käyttäjälle ja uudelleenyritysten rajat
Jos yhteys katkeaa noin 301 sekunnissa, käyttäjälle voisi näyttää esimerkiksi:
[Yhdyskäytävän huomautus] Lähdevastaus katkesi noin 301 sekunnin kohdalla, eikä teksti ole valmis. Turvallisesti toimitettavissa ollut osa on säilytetty. Voit pyytää jatkoa, mutta se käynnistää uuden pyynnön eikä takaa alkuperäisen vastauksen palautumista. Jatko voi myös toistaa sisältöä tai aiheuttaa lisäkustannuksia.
Aika ilmoitettaisiin havaintojen mukaan. Jos taustalla olevaa välityspalvelinta ei ole tunnistettu, huomautuksessa ei väitettäisi sen aiheuttaneen katkeamista. Yhdyskäytävä ei myöskään lähettäisi jatkopromptia automaattisesti: käyttäjän pyytämä jatko olisi erillinen uusi pyyntö.
Päätetapahtuma ja HTTP 200 -vastaus eivät silti takaa, että asiakasohjelma hyväksyy osavastauksen ongelmitta. Jos asiakasohjelma tulkitsee length-lopputilan virheeksi tai jatkaa automaattisesti esimerkiksi puuttuvan työkalukutsun vuoksi, tavoite virheiden ja uudelleenyritysten vähentämisestä ei ole täyttynyt. Tämä on testattava oikealla, muuttamattomalla asiakasohjelmalla.
Mitä suunnitelma ei tee?
Ehdotus ei pidennä etäpään yhteyden kestoa, luo puuttuvaa sisältöä tai lähetä samaa suurta pyyntöä uudelleen. Se ei myöskään lisää uusia generointiyrityksiä, muuta tavallisia pyyntöjä tai lupaa virheetöntä toimintaa kaikissa asiakasohjelmissa.
Toteutusta ei ole vielä tehty. Suunnitelmassa ehdotetut testit kattaisivat muun muassa osavastauksen oikeellisuuden, työkalukutsujen estämisen, virran päättymisjärjestyksen, peruutustilanteet ja uudelleenyritysten puuttumisen yhdyskäytävän sisällä. Erillisen käyttöönoton hyväksyntä edellyttäisi lisäksi näyttöä siitä, miten kohdeasiakasohjelma käsittelee pitkää osavastausta ja sen pituuslopputilaa.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Osittainen vastaus voi olla parempi kuin uusi virhe"?
Lokissa näkyy pyyntö, joka päättyi 301,086 sekunnissa: dataa oli luettu 96 925 tavua, ja puskurissa oli 44 002 tavua, mutta valmistumistapahtumaa ei havaittu.
What are the key points to validate first?
Lokissa näkyy pyyntö, joka päättyi 301,086 sekunnissa: dataa oli luettu 96 925 tavua, ja puskurissa oli 44 002 tavua, mutta valmistumistapahtumaa ei havaittu. Ehdotus palauttaisi kelpoisuusehdot täyttävän osavastauksen OpenAI tyylisenä virtana ja merkitsisi lopputilan pituuden ylittymiseksi.
What should I do next in practice?
Tämä on yhteensopivuuteen tähtäävä kompromissi: OpenAI dokumentaatiossa length tarkoittaa pyyntöön määritellyn token rajan saavuttamista, ei mitä tahansa odottamatonta yhteyden katkeamista.
Sources
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com