AntwortenVeröffentlicht12 Quellen
Wenn die KI nach fünf Minuten abreißt: Ein Gateway-Entwurf setzt auf sichere Teilergebnisse
Ein protokollierter Forschungsstream endete nach 301,086 Sekunden mit 44.002 Byte gepuffertem Inhalt, aber ohne reguläre Abschlussmarkierung. Der Entwurf sieht vor, sichere Textteile samt Hinweis auf den Abbruch auszuliefern – ohne Client Anpassungen oder automatischen Neustart der Anfrage.
Veröffentlicht vonBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Ein protokollierter Forschungsstream endete nach 301,086 Sekunden mit 44.002 Byte gepuffertem Inhalt, aber ohne reguläre Abschlussmarkierung.
- Der Entwurf sieht vor, sichere Textteile samt Hinweis auf den Abbruch auszuliefern – ohne Client Anpassungen oder automatischen Neustart der Anfrage.
- Die Zuordnung zu einer bestimmten Proxy oder Load Balancer Grenze ist nicht belegt; auch ob Roo Code danach automatisch erneut anfragt, beruht bislang auf einem Nutzerbericht.
- Die vorgeschlagene Länge Endmarkierung ist ein Kompatibilitätskompromiss: Im OpenAI Format steht „length“ für das Erreichen des angeforderten Tokenlimits, nicht allgemein für einen Verbindungsabbruch.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Ein langer KI-Forschungsstream kann bereits viele Seiten Text geliefert haben – und trotzdem als fehlgeschlagen gelten, wenn am Ende die reguläre Abschlussmarkierung fehlt. Genau dieses Problem beschreibt ein Architekturentwurf für ein API-Gateway: Sichere Teile der Antwort sollen künftig beim Client ankommen, statt wegen eines unerwarteten Abbruchs vollständig verworfen zu werden.
Wichtig ist der Status: Der Text ist ein Vorschlag, keine bestätigte Implementierung. Die vorgesehenen Tests wurden noch nicht ausgeführt, und es gibt keine Aussage, dass das Verhalten bereits produktiv eingeführt wurde.
Was beim langen Stream beobachtet wurde
Ein protokollierter Request endete nach 301,086 Sekunden. Das Gateway hatte 96.925 Byte gelesen und 44.002 Byte gepuffert, aber kein reguläres Abschlussereignis beobachtet. Die geltende lokale Gesamtlaufzeit für die Recherche war laut Entwurf auf 1.800 Sekunden gesetzt. Der konkrete Vorfall spricht daher nicht dafür, dass gerade dieses lokale Zeitlimit nach fünf Minuten ausgelöst wurde.
Der Nutzer berichtet außerdem von mehreren roten Fehlermeldungen, die durch automatische Wiederholungsversuche von Roo Code entstanden seien. Diese vollständige Wiederholungskette ist anhand der verfügbaren Angaben jedoch nicht unabhängig bestätigt. Ebenso ist die Vermutung, eine feste 300-Sekunden-Grenze bei Cloudflare oder einem Load Balancer sei verantwortlich, bislang eine Arbeitshypothese – keine belegte Ursache.
Der Vorschlag: sichere Teile ausliefern statt pauschal scheitern
Für geeignete Forschungsanfragen im Streamingbetrieb soll das Gateway künftig den bereits empfangenen, sicheren Antworttext ausgeben. Hinzu kämen ein klarer Hinweis, dass die Antwort unvollständig ist, sowie ein Abschluss im üblichen OpenAI-Streamingformat. Eigene Ereignistypen, zusätzliche Abstimmung zwischen Gateway und Client oder Änderungen an Roo Code wären dafür nicht vorgesehen.
Der Entwurf beschränkt die Ausweichlösung ausdrücklich auf Fälle mit tatsächlich vorhandenem, verwertbarem Text und einem unerwarteten Stream-Ende. Bei leeren Antworten, expliziten Upstream-Fehlern, Abbrüchen durch den Client, Zeitüberschreitungen oder unsicher strukturierten Inhalten soll weiterhin der Fehlerpfad gelten. Auch normale Presets und nicht gestreamte Antworten sollen unverändert bleiben.
Die Antwort würde nicht noch einmal vollständig gesendet: Bei einem bereits laufenden Direktstream ist ein Teil des Textes womöglich schon beim Client angekommen. Im gepufferten Pfad könnte das Gateway dagegen sichere Textteile ausliefern, sofern es sie eindeutig von problematischen Resten trennen kann.
Warum „length“ kein perfektes Abbruchsignal ist
Der Vorschlag verwendet als Abschlussgrund finish_reason: "length". Das Feld ist Teil des bekannten Chat-Streamingformats. Seine dokumentierte Bedeutung ist allerdings enger: Es zeigt an, dass das angeforderte maximale Tokenlimit erreicht wurde. Es ist keine allgemeine Standardbezeichnung für ein unerwartetes Ende der Verbindung. 14
2
Das wäre deshalb eine Kompatibilitätsentscheidung des Gateways – keine Behauptung, das Modell sei tatsächlich an sein Tokenlimit gestoßen. Der Entwurf verlangt, dass ein zusätzlicher Hinweis die Antwort klar als unvollständig kennzeichnet und das Gateway intern den wirklichen Grund, also den fehlenden regulären Abschluss, weiter festhält.
Ob damit die roten Fehlermeldungen oder automatische Wiederholungen tatsächlich aufhören, ist offen. Ein Client könnte auf die Länge-Markierung, fehlende Tool-Aufrufe oder andere Bedingungen anders reagieren als erwartet. Das müsste mit der unveränderten Zielversion von Roo Code getestet werden.
Tool-Aufrufe sind die entscheidende Sicherheitsgrenze
Ein abgebrochener Forschungsstream kann nicht nur normalen Text enthalten, sondern auch einen Tool-Aufruf oder unvollständige strukturierte Parameter. Solche Fragmente dürfen nach dem Entwurf nicht einfach als gewöhnlicher Text ausgegeben oder ausgeführt werden.
Vorgesehen ist daher eine konservative Prüfung: Eindeutig sicherer Fließtext könnte erhalten bleiben. Unvollständige Tool-Hüllen, beschädigte JSON-Parameter und nicht eindeutig trennbare Inhalte würden dagegen zurückgehalten. Das Gateway soll weder fehlende Klammern ergänzen noch einen Tool-Aufruf vervollständigen, ausführen oder automatisch neu starten. Lässt sich ein sicherer Textteil nicht klar abgrenzen, bleibt es beim Fehler.
Damit gibt es eine Grenze für das Versprechen, möglichst viel zu retten: Ein großer Puffer ist nicht automatisch vollständig nutzbarer Antworttext. Die protokollierten 44.002 Byte beweisen weder, dass die Recherche abgeschlossen war, noch dass alle Bytes sicher als normaler Text ausgeliefert werden können.
„Weiter“ würde eine neue Anfrage bedeuten
Der Gateway-Hinweis könnte Nutzer dazu auffordern, die Antwort ausdrücklich fortsetzen zu lassen. Das wäre jedoch kein Wiederherstellen des ursprünglichen Generierungsvorgangs: Eine solche Fortsetzung würde eine neue Anfrage starten und könnte Inhalte wiederholen oder zusätzliche Kosten verursachen. Das Gateway selbst soll laut Entwurf keine automatische Fortsetzungsanfrage erzeugen.
Auch ein erfolgreicher Abschluss der Gateway-Ausgabe wäre nicht gleichbedeutend mit einer vollständig beendeten Upstream-Recherche. Der Entwurf will den ursprünglichen Abbruchgrund intern erhalten und eine Teilauslieferung getrennt von einem regulären Erfolg erfassen. Ein automatischer Rückschluss, dass ein Konto wegen eines Abbruchs nach rund fünf Minuten fehlerhaft sei, ist nicht vorgesehen.
Was vor einer Einführung noch geprüft werden müsste
Geplant sind Tests für das Streamingformat, die sichere Abgrenzung von Tool-Inhalten, Teilabbrüche, fehlgeschlagene Schreibvorgänge, Abbrüche durch den Client und konkurrierende Heartbeat- oder Fortschrittsmeldungen. Zusätzlich müsste ein unveränderter Client getestet werden: Nimmt er Text und Hinweis an? Startet er nach dem Längen-Abschluss dennoch einen neuen Request? Werden Tool-Szenarien korrekt behandelt?
Bis diese Prüfungen erfolgt sind, bleibt das Ergebnis ein eng begrenzter Vorschlag zur Fehlerbehandlung – keine Garantie gegen Abbrüche, rote Fehlermeldungen oder automatische Wiederholungen.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Wenn die KI nach fünf Minuten abreißt: Ein Gateway-Entwurf setzt auf sichere Teilergebnisse“?
Ein protokollierter Forschungsstream endete nach 301,086 Sekunden mit 44.002 Byte gepuffertem Inhalt, aber ohne reguläre Abschlussmarkierung.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Ein protokollierter Forschungsstream endete nach 301,086 Sekunden mit 44.002 Byte gepuffertem Inhalt, aber ohne reguläre Abschlussmarkierung. Der Entwurf sieht vor, sichere Textteile samt Hinweis auf den Abbruch auszuliefern – ohne Client Anpassungen oder automatischen Neustart der Anfrage.
Was soll ich als nächstes in der Praxis tun?
Die Zuordnung zu einer bestimmten Proxy oder Load Balancer Grenze ist nicht belegt; auch ob Roo Code danach automatisch erneut anfragt, beruht bislang auf einem Nutzerbericht.
Quellen
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com