AnswersPublished12 sources
Een AI-antwoord dat na vijf minuten afbreekt, hoeft niet meteen verloren te zijn
In een gelogd verzoek stopte de verbinding na 301,086 seconden, terwijl er al 44.002 bytes waren gebufferd en geen normaal voltooiingssignaal was gezien. Het voorstel: lever veilige, al ontvangen tekst af in de bestaande OpenAI streamstructuur, met een waarschuwing en een eindstatus.
Gepubliceerd doorAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- In een gelogd verzoek stopte de verbinding na 301,086 seconden, terwijl er al 44.002 bytes waren gebufferd en geen normaal voltooiingssignaal was gezien.
- Het voorstel: lever veilige, al ontvangen tekst af in de bestaande OpenAI streamstructuur, met een waarschuwing en een eindstatus.
- De gateway kan daarmee mogelijk voorkomen dat een client deze specifieke onderbreking als providerfout behandelt, maar clientgedrag moet nog worden getest.
- Bij afgebroken toolinstructies gaat veiligheid voor: onvolledige of onduidelijke toolinhoud wordt niet uitgevoerd of zomaar als gewone tekst doorgestuurd.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Een lang AI-antwoord kan al veel bruikbare tekst bevatten en toch eindigen alsof er niets is geleverd. Dat is het probleem achter een ontwerpvoorstel voor een gateway: als een stream onverwacht wegvalt, wil de gateway veilige tekst die al is ontvangen alsnog tonen, in plaats van alleen een fout door te geven.
De aanleiding is een gelogd verzoek dat na 301,086 seconden eindigde. De gateway had 96.925 bytes gelezen en 44.002 bytes gebufferd, maar zag geen normaal voltooiingssignaal. Volgens de beschikbare loggegevens lag de laatste ontvangen tekst ongeveer 144 milliseconden vóór het einde. De lokaal ingestelde totale onderzoekstermijn voor dit verzoek was 1.800 seconden, niet vijf minuten. De gegevens wijzen dus op een vroegtijdige onderbreking, maar stellen niet vast welk onderdeel van de verbinding daarvoor verantwoordelijk was.
De auteur meldt bovendien dat Roo Code in de praktijk meerdere foutmeldingen toont doordat de client opnieuw probeert. Dat is een gebruikersmelding; een volledige registratie van alle pogingen is niet onafhankelijk bevestigd. Ook de genoemde Cloudflare- of ALB-limiet van 300 seconden is in het ontwerp een hypothese, geen aangetoonde oorzaak.
De voorgestelde oplossing: gedeeltelijke tekst netjes afleveren
In de huidige beschreven aanpak kan een gewone stream bij een onverwacht einde als fout worden aangemerkt. Bij een stream die tekst eerst buffert voor toolverwerking, kan die fout optreden voordat de buffer aan de gebruiker is geleverd. Is de HTTP-stream al begonnen, dan kan de gateway een SSE-foutbericht versturen; dat is niet hetzelfde als achteraf een nieuwe HTTP-status 502 teruggeven.
Het voorstel verandert die specifieke afhandeling voor geschikte onderzoeksverzoeken. Als er veilige, betekenisvolle tekst beschikbaar is, zou de gateway die tekst via de bestaande OpenAI-achtige streamstructuur afleveren, gevolgd door een melding dat het antwoord onvolledig is en een eindstatus. Voor dit ontwerp is finish_reason: "length" gekozen.
Daar zit een belangrijke nuance. In de officiële OpenAI-definitie betekent length dat de gegenereerde uitvoer de in het verzoek opgegeven tokenlimiet heeft bereikt; het is niet de algemene standaardbetekenis van een onverwachte verbindingsonderbreking.14
2 De voorgestelde gateway gebruikt het veld dus als een compatibiliteitskeuze, niet als bewijs dat de modeluitvoer werkelijk door een tokenlimiet is gestopt. Intern moet de gateway de oorspronkelijke oorzaak — het ontbreken van een normaal voltooiingssignaal — blijven registreren.
Het doel is bescheiden: tekst die al veilig is ontvangen proberen te behouden. De gateway kan geen tekst terughalen die nog niet is gegenereerd of nooit is aangekomen. De genoemde buffer van 44.002 bytes bewijst bovendien niet dat alles daarin gewone, afgeronde onderzoekstekst is; er kan ook toolprotocol of een afgebroken structuur tussen zitten.
Waarom toolinstructies een grens vormen
Een AI-stream kan niet alleen tekst bevatten, maar ook instructies om een tool aan te roepen. Een afgebroken toolbericht of onvolledige JSON-parameters mogen niet per ongeluk als gewone tekst worden doorgestuurd — en al helemaal niet worden uitgevoerd alsof de volledige beurt normaal is afgerond.
Daarom stelt het ontwerp strenge voorwaarden voor de noodafhandeling:
- Alleen niet-lege, veilige tekst uit een geschikte stream komt in aanmerking.
- Een complete toolaanroep wordt niet uitgevoerd als de totale reactie onverwacht is afgebroken.
- Een onvolledige of dubbelzinnige toolstructuur wordt niet gerepareerd door ontbrekende tekens of afsluitingen te verzinnen.
- Alleen wanneer een afzonderlijk, veilig tekstgedeelte duidelijk kan worden afgebakend, kan dat gedeelte worden behouden; anders blijft de bestaande foutafhandeling gelden.
- Als een verzoek een tool verplicht stelt, mag de gateway die verplichting niet stilzwijgend omzetten in een tekstantwoord om een foutmelding te voorkomen.
Dat betekent ook dat niet elk gedeeltelijk antwoord te redden is. Als de beschikbare tekst grotendeels in een onafgemaakte toolinstructie zit, gaat het voorkomen van onbedoelde uitvoering vóór het tonen van zo veel mogelijk inhoud.
Geen aanpassing aan de client — maar wel een praktijktest nodig
Het voorstel laat aangepaste clientheaders, privé-events en wijzigingen aan Roo Code achterwege. Dat is bedoeld om de gateway zonder clientaanpassingen te laten werken. Maar het is nog niet aangetoond dat de doelclient de gekozen eindstatus altijd accepteert of na het einde niet alsnog zelf verder probeert.
Daarom moet de oplossing met een ongewijzigde versie van de client worden getest. Daarbij moet worden vastgesteld of de tekst en waarschuwing in de chatgeschiedenis verschijnen, of de oorspronkelijke foutlus uitblijft en of de client niet door een andere regel — bijvoorbeeld een verwachte toolaanroep — opnieuw begint. Een succesvolle HTTP-respons of een geschreven eindmarkering bewijst op zichzelf niet dat de client het antwoord goed heeft opgeslagen of geen nieuwe aanvraag heeft verstuurd.
De voorgestelde melding zou duidelijk maken dat het antwoord onvolledig is, bijvoorbeeld: “De upstreamreactie is na ongeveer 301 seconden onverwacht geëindigd. De veilig af te leveren tekst is behouden. Je kunt om een vervolg vragen; dat start een nieuwe aanvraag en herstelt de oorspronkelijke taak niet gegarandeerd.” Zo’n vervolg zou een nieuwe aanvraag zijn, met kans op herhaling of extra kosten; de gateway hoort die niet automatisch te versturen.
Nog een ontwerp, geen uitgerolde oplossing
Het document beschrijft een plan voor aangepaste gatewaylogica, veilige afbakening van tekst, beheer van stream-eindes en nieuwe tests. Het stelt expliciet dat de wijzigingen nog niet zijn uitgevoerd en dat ook de voorgestelde tests niet zijn gedraaid. De oplossing is dus geen bevestiging dat het probleem al is verholpen.
De kern is een afweging: een onverwachte onderbreking eerlijk blijven registreren, maar veilige tekst die al binnen is niet onnodig laten verdwijnen. Dat kan een betere gebruikerservaring opleveren zonder de client aan te passen, mits de doelclient de stream accepteert en de veiligheids- en regressietests slagen. Een garantie op volledige antwoorden, nul foutmeldingen of nul nieuwe pogingen biedt het voorstel niet.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Een AI-antwoord dat na vijf minuten afbreekt, hoeft niet meteen verloren te zijn"?
In een gelogd verzoek stopte de verbinding na 301,086 seconden, terwijl er al 44.002 bytes waren gebufferd en geen normaal voltooiingssignaal was gezien.
What are the key points to validate first?
In een gelogd verzoek stopte de verbinding na 301,086 seconden, terwijl er al 44.002 bytes waren gebufferd en geen normaal voltooiingssignaal was gezien. Het voorstel: lever veilige, al ontvangen tekst af in de bestaande OpenAI streamstructuur, met een waarschuwing en een eindstatus.
What should I do next in practice?
De gateway kan daarmee mogelijk voorkomen dat een client deze specifieke onderbreking als providerfout behandelt, maar clientgedrag moet nog worden getest.
Sources
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com