AnswersPublished12 sources
Návrh: bezpečná záchrana částečné odpovědi bez úprav klienta
V jednom zaznamenaném požadavku skončil stream po 301,086 sekundy; brána přečetla 96 925 bajtů a měla 44 002 bajtů ve vyrovnávací paměti, ale nedostala událost o dokončení. Pro vybrané streamované výzkumné požadavky návrh počítá s předáním bezpečného textu ve standardních blocích OpenAI, upozorněním brány a koncovým...
PublikovalObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- V jednom zaznamenaném požadavku skončil stream po 301,086 sekundy; brána přečetla 96 925 bajtů a měla 44 002 bajtů ve vyrovnávací paměti, ale nedostala událost o dokončení.
- Pro vybrané streamované výzkumné požadavky návrh počítá s předáním bezpečného textu ve standardních blocích OpenAI, upozorněním brány a koncovým stavem „length“.
- Mapování neočekávaného konce na „length“ je kompromis v kompatibilitě, nikoli důkaz, že generování skutečně dosáhlo požadovaného limitu tokenů.
- Nedokončené volání nástroje se nesmí spustit ani předat klientovi jako běžný text; pokud nelze bezpečně oddělit čistý text, požadavek má skončit původní chybou.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Co se stalo — a co zatím nevíme
V jednom zaznamenaném požadavku se stream ukončil po 301,086 sekundy. Brána přečetla 96 925 bajtů, z toho měla 44 002 bajtů ve vyrovnávací paměti, ale nepozorovala událost potvrzující dokončení. Podle záznamu skončila odpověď zhruba 144 milisekund po posledním textovém příspěvku.
Efektivní místní limit pro celkovou délku výzkumu byl podle záznamu 1 800 sekund, takže dostupné údaje nepodporují závěr, že požadavek zastavil místní limit 300 sekund. Záznam ale sám o sobě neurčuje, která část síťové cesty spojení ukončila. Tvrzení o konkrétním limitu Cloudflare nebo ALB zůstává neověřenou pracovní hypotézou.
Klient Roo Code podle hlášení uživatele opakovaně zobrazil chybu a automaticky posílal další požadavek. Související záznamy obsahují i další ukončení kolem 301 sekund, ale úplný řetězec automatických opakování — včetně počtu pokusů a jejich kontextu — nebyl nezávisle potvrzen. Uváděných 474 096 vstupních tokenů je rovněž údaj od uživatele, nikoli nezávisle ověřený počet tokenů modelu.
Návrh: zachovat bezpečnou část odpovědi
Místo aby brána u každého takového výpadku předala jen chybu, návrh počítá s omezenou náhradní cestou pro streamované požadavky ve výzkumném režimu. Pokud už dorazil použitelný a bezpečný text, brána by ho předala ve standardním formátu streamu, přidala srozumitelné upozornění na přerušení a ukončila odpověď stavem finish_reason: "length".
To je záměrná kompatibilitní volba, ne přesný popis příčiny výpadku. V dokumentaci OpenAI hodnota length znamená, že generování dosáhlo maximálního počtu tokenů nastaveného v požadavku; není to obecné označení libovolného neočekávaného konce spojení. Struktura streamu tuto hodnotu připouští, ale její použití pro přerušený stream je kompromis, který musí být klientsky ověřen. 14
2
Přístup nemá měnit klienta, přidávat vlastní události ani automaticky posílat nový požadavek. Nejde ani o opravu síťového limitu. Jeho cílem je předat část již přijatého obsahu tam, kde to lze udělat bezpečně.
Kdy by náhradní cesta připadala v úvahu
Muselo by jít o streamovaný požadavek ve výzkumném režimu, který skončil neočekávaným koncem proudu. Klient musí být stále připojený, požadavek nesmí být zrušen ani po časovém limitu a musí existovat neprázdný bezpečný text. Samotný stavový údaj, prázdné místo, srdeční tep nebo interní počítadlo nestačí.
Návrh také vylučuje výslovnou chybu upstreamu, chybu parsování, překročení zdrojů a odpověď, u níž nelze rozlišit bezpečný text od nedokončené struktury. Běžné a nestreamované požadavky mají zachovat dosavadní chování.
Zvláštní opatrnost je nutná u nástrojů. Nedokončená obálka volání, neúplné parametry nebo obsah, který nelze spolehlivě oddělit od struktury nástroje, se nesmějí poslat dál jako obyčejná próza. Ani úplný zápis volání nástroje neopravňuje bránu k jeho spuštění, pokud celý proud neskončil řádně. Brána nemá doplňovat závorky, opravovat JSON ani vytvářet dokončené volání. Pokud nedokáže prokázat, že určitý předchozí úsek je samostatný bezpečný text, má zachovat původní chybovou cestu.
To může znamenat, že se nepodaří předat všechen obsah z 44 002 bajtů ve vyrovnávací paměti. Tato velikost sama o sobě nedokazuje, že šlo výhradně o hotový text výzkumu; buffer mohl obsahovat i protokol nástrojů.
Jak by vypadal výstup
Pokud požadavek splní bezpečnostní podmínky, brána by nejprve předala dosud bezpečný text, potom jednou přidala upozornění a nakonec odeslala koncový blok se stavem length a standardní ukončovací značku streamu. Neměla by opakovat text, který už byl odeslán, posílat volání nástrojů ani připojovat další chybovou událost za koncovým stavem.
Možné upozornění pro popsaný případ:
[Upozornění brány] Odpověď upstreamu se předčasně ukončila přibližně po 301 sekundách. Text není úplný; zachovali jsme pouze část, kterou lze bezpečně předat. Můžete požádat o pokračování, tím však vznikne nový požadavek — nemusí navázat na původní úlohu a může opakovat obsah nebo přinést další náklady.
Doba v upozornění by vycházela ze skutečně pozorovaného času. Bez ověřených údajů o proxy by brána neměla tvrdit, že došlo k prokázanému limitu Cloudflare nebo ALB. Pokud bezpečnostní kontrola vynechá nedokončenou strukturu, upozornění to má výslovně sdělit.
Případné „pokračování“ by bylo samostatným uživatelským požadavkem, nikoli automatickým opakováním nebo zaručeným obnovením původního běhu. Návrh nezavádí vzdálené dotazování na historii výsledků ani automatické opětovné generování.
Co návrh nezaručuje
Použití běžných polí protokolu nezaručuje, že každý klient vyhodnotí takto ukončený stream stejně. Není potvrzeno, že samotný stav length zastaví všechny další pokusy Roo Code, ani že klient správně uloží text a upozornění do historie. Pokud klient i nadále považuje odpověď za chybnou nebo kvůli chybějícímu volání nástroje zahájí další pokus, cíl zastavit opakování splněn nebude.
Stejně tak nelze slíbit, že nebude žádné červené upozornění. Část odpovědi lze zachraňovat jen tehdy, když už dorazila a lze ji bezpečně předat. Odpověď, u níž není použitelný text nebo nelze vyloučit nedokončenou strukturu nástroje, má nadále skončit chybou.
Rozpočet, evidence a životní cyklus
Náhradní výstup má používat jednoho vlastníka zápisu a společnou, neprodlužovanou lhůtu. Rozdělení textu na menší bloky může omezit nárazové nároky na paměť, nesmí ale zvýšit stávající limit bufferu ani obnovovat celý časový rozpočet pro každý blok. Při zrušení požadavku, krátkém zápisu, chybě při odeslání nebo vypršení lhůty se má zápis zastavit — bez opakování generování nebo doplnění falešného koncového stavu.
Pro interní evidenci má zůstat zachováno, že upstream nedodal událost o dokončení. Úspěšné odeslání části odpovědi není totéž co úspěšné dokončení původního výzkumného běhu. Záznam může obsahovat kategorii chyby, počet předaných bajtů a informaci o tom, zda se náhradní výstup podařilo dokončit; neměl by ukládat původní text ani parametry nástrojů.
Návrh také nemá pouze na základě takového ukončení označit účet za neplatný, vyčerpaný nebo určený k vyřazení. Případ má zůstat klasifikován jako výzkumný stream bez události dokončení a účtování již pozorovaného využití se má řídit stávajícími pravidly. To není tvrzení o konečné fakturaci dodavatele. Zda vzdálené generování po ukončení spojení pokračuje, z dostupných údajů nelze určit.
Stav práce a potřebné ověření
Jde o architektonický návrh. Změna není implementovaná, testy nebyly spuštěny a cílový klient nebyl ověřen. Mezi navržené testy patří kontrola pořadí standardních streamových bloků, přesnosti předaného textu, odmítnutí nebezpečných fragmentů nástrojů, chování při zrušení a souběžném zápisu i zachování stávající klasifikace účtu.
Před nasazením je třeba ověřit chování nezměněné verze Roo Code: zda zobrazí a uloží částečný text, zda po koncovém stavu přestane automaticky opakovat požadavek a zda se při zapnutých nástrojích nepokusí napravit chybějící volání dalším požadavkem. HTTP stav 200 nebo úspěšně zapsaná ukončovací značka samy o sobě takové ověření nenahrazují.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Návrh: bezpečná záchrana částečné odpovědi bez úprav klienta"?
V jednom zaznamenaném požadavku skončil stream po 301,086 sekundy; brána přečetla 96 925 bajtů a měla 44 002 bajtů ve vyrovnávací paměti, ale nedostala událost o dokončení.
What are the key points to validate first?
V jednom zaznamenaném požadavku skončil stream po 301,086 sekundy; brána přečetla 96 925 bajtů a měla 44 002 bajtů ve vyrovnávací paměti, ale nedostala událost o dokončení. Pro vybrané streamované výzkumné požadavky návrh počítá s předáním bezpečného textu ve standardních blocích OpenAI, upozorněním brány a koncovým stavem „length“.
What should I do next in practice?
Mapování neočekávaného konce na „length“ je kompromis v kompatibilitě, nikoli důkaz, že generování skutečně dosáhlo požadovaného limitu tokenů.
Sources
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com