AnswersPublished12 sources
Sådan kan en AI-gateway bevare dele af et langt svar, når forbindelsen afbrydes
En registreret research forespørgsel sluttede efter cirka 301 sekunder med omkring 44.000 byte i bufferen, men uden et normalt signal om, at svaret var færdigt. Forslaget er at sende sikkert indhold videre i et almindeligt OpenAI kompatibelt streamformat uden at kræve ændringer i klienten.
Udgivet afBilleder genereret med GPT Image 2
Research answer
Key takeaways
- En registreret research forespørgsel sluttede efter cirka 301 sekunder med omkring 44.000 byte i bufferen, men uden et normalt signal om, at svaret var færdigt.
- Forslaget er at sende sikkert indhold videre i et almindeligt OpenAI kompatibelt streamformat uden at kræve ændringer i klienten.
- Afbrudte eller ufuldstændige værktøjskald skal ikke sendes videre eller udføres, og en fejl uden brugbart indhold skal fortsat behandles som en fejl.
- Løsningen er ikke implementeret eller testet. Den garanterer hverken, at den fjerdepartsansvarlige afbrydelse er fundet, eller at klienten holder op med at forsøge igen.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Et langt AI-svar kan være næsten færdigt og stadig ende med en fejl, hvis forbindelsen lukker, før tjenesten når at sende sit normale afslutningssignal. For brugeren kan resultatet være tabt tekst – og, ifølge en rapport fra den berørte bruger, gentagne fejlbeskeder, når klienten automatisk prøver igen.
Et teknisk forslag til en gateway vil håndtere netop den situation anderledes: Hvis der allerede findes brugbar tekst, og den kan sendes sikkert, skal den bevares i det eksisterende svarforløb i stedet for at blive erstattet af en fejlmeddelelse. Det er en plan, ikke en færdig eller afprøvet funktion.
Hvad viser den konkrete hændelse?
I en log for en enkelt research-forespørgsel varede forbindelsen 301,086 sekunder. Gatewayen havde læst 96.925 byte, hvoraf 44.002 byte var i bufferen, da strømmen sluttede uden et signal om normal fuldførelse. Det viser, at der var indhold, men ikke at hele svaret var færdigt – eller at alt i bufferen var almindelig tekst, der kunne vises sikkert.
Den lokale indstilling for forespørgslens samlede tidsgrænse var 1.800 sekunder, ikke 300. Loggen peger derfor ikke på, at en lokal grænse på fem minutter afsluttede denne forespørgsel. Den fastslår heller ikke, hvilken del af netværkskæden der lukkede forbindelsen. En bestemt proxy eller tjenestes grænse på 300 sekunder er fortsat en arbejdshypotese, ikke en bekræftet årsag.
Brugeren rapporterede, at klienten automatisk forsøgte igen, og at fejlbeskederne derfor hobede sig op. Der findes flere lignende logposter, men den fulde kæde af klientforsøg er ikke uafhængigt bekræftet. Det er vigtigt, fordi en ny HTTP-forespørgsel fra klienten ikke er det samme som en genafsendelse inde i gatewayen.
Forslaget: Bevar sikre dele i den samme strøm
I stedet for at sende fejl for enhver uventet afslutning vil gatewayen undersøge, om forespørgslen er en research-strøm, om den har produceret brugbar tekst, og om teksten kan adskilles fra ufuldstændige værktøjskald eller andre tvetydige data.
Hvis betingelserne er opfyldt, er planen at sende den sikre tekst, tilføje en tydelig besked om, at svaret blev afbrudt, og afslutte strømmen med standardfeltet finish_reason: "length". Klienten skal ikke ændres, og der indføres hverken nye private hændelser eller et særligt forhandlingsformat.
Der er dog en vigtig betydningsforskel: I OpenAI-formatet betyder length, at modellen nåede den maksimale mængde generering, der var angivet for forespørgslen – ikke blot at forbindelsen sluttede uventet. 14
2 Forslaget bruger altså et standardfelt som kompatibilitetsgreb, men det beskriver ikke præcist den oprindelige årsag. Gatewayen skal derfor også fortælle brugeren, at svaret blev afbrudt, og internt bevare den faktiske klassifikation som en uventet afslutning.
Værktøjskald sætter en grænse
En del af en AI-strøm kan indeholde instruktioner til værktøjer, eksempelvis et værktøjskald med JSON-parametre. Hvis strømmen afbrydes midt i sådan en struktur, kan gatewayen ikke sikkert sende den ufuldstændige del videre som almindelig tekst. Den skal heller ikke prøve at reparere parametrene eller udføre et værktøj, blot fordi kaldet ser næsten komplet ud.
Forslaget lægger derfor op til en konservativ regel: Ren, sikker tekst kan bevares. Ufuldstændige eller tvetydige værktøjsstrukturer skal udelades, med en forklaring, hvis det kan fastslås præcist, hvad der er fjernet. Hvis gatewayen ikke kan skelne sikkert mellem tekst og værktøjsprotokol, skal den fortsat sende en fejl frem for at risikere at lække eller udløse en beskadiget instruktion.
Det betyder også, at planen ikke lover at redde alt indhold fra den konkrete buffer på 44.002 byte. Størrelsen siger ikke, hvor meget der er brugbar researchtekst, og hvor meget der eventuelt er protokolindhold.
Hvad løsningen ikke lover
En tydelig besked kan foreslå, at brugeren beder om en fortsættelse, men det vil være en ny forespørgsel. Gatewayen lover ikke, at den nye forespørgsel kan genoptage den oprindelige opgave uden gentagelser eller ekstra omkostninger. Forslaget genstarter heller ikke automatisk genereringen.
Det er endnu uvist, om den berørte klient vil behandle en afslutning med length som et almindeligt afbrudt svar eller stadig forsøge igen af andre grunde. Derfor kan en gateway ikke på det foreliggende grundlag love, at fejlbeskederne forsvinder helt.
Hvis der ikke er nogen sikker og brugbar tekst, skal forespørgslen fortsat ende som en fejl. Det samme gælder ved annullering, tidsoverskridelse, ressourcegrænser eller andre fejl, som ikke opfylder betingelserne for nødudlevering. Målet er at bevare noget, når det er sikkert – ikke at skjule, at en forespørgsel mislykkedes.
Stadig kun en teknisk plan
Forslaget omfatter endnu ikke kodeændringer, test eller udrulning. Før det kan tages i brug, skal blandt andet den faktiske klientadfærd testes, herunder om klienten genprøver efter en længdeafslutning, og om værktøjer forbliver ubrugte ved afbrudte svar.
Indtil de kontroller er gennemført, er den mest præcise konklusion begrænset: En konkret strøm sluttede efter cirka 301 sekunder uden et normalt afslutningssignal, selv om gatewayen havde modtaget en betydelig mængde data. Et forslag til at bevare sikre dele er beskrevet, men hverken den eksterne årsag eller effekten for klienten er endnu fastslået.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Sådan kan en AI-gateway bevare dele af et langt svar, når forbindelsen afbrydes"?
En registreret research forespørgsel sluttede efter cirka 301 sekunder med omkring 44.000 byte i bufferen, men uden et normalt signal om, at svaret var færdigt.
What are the key points to validate first?
En registreret research forespørgsel sluttede efter cirka 301 sekunder med omkring 44.000 byte i bufferen, men uden et normalt signal om, at svaret var færdigt. Forslaget er at sende sikkert indhold videre i et almindeligt OpenAI kompatibelt streamformat uden at kræve ændringer i klienten.
What should I do next in practice?
Afbrudte eller ufuldstændige værktøjskald skal ikke sendes videre eller udføres, og en fejl uden brugbart indhold skal fortsat behandles som en fejl.
Sources
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com