RespostasPublicado12 fontes
Uma proposta para lidar com respostas longas de IA que param no meio
Um registro de produção descreve uma resposta interrompida após 301,086 segundos, com 44.002 bytes armazenados e sem evento de conclusão observado. A proposta é entregar o conteúdo seguro já recebido em um fluxo compatível com OpenAI, acompanhado de um aviso de interrupção.
Publicado porImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- Um registro de produção descreve uma resposta interrompida após 301,086 segundos, com 44.002 bytes armazenados e sem evento de conclusão observado.
- A proposta é entregar o conteúdo seguro já recebido em um fluxo compatível com OpenAI, acompanhado de um aviso de interrupção.
- O marcador finish reason: "length" é um compromisso de compatibilidade: pela definição da OpenAI, ele indica que o limite de tokens da solicitação foi atingido, não que houve uma interrupção inesperada.
- A proposta não garante que todos os clientes deixarão de exibir erros ou tentar novas solicitações; esse comportamento precisa ser testado com o aplicativo usado.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Respostas longas de IA podem parar depois de vários minutos, mesmo quando já há bastante texto acumulado. Um rascunho de arquitetura propõe uma saída para esse cenário: em vez de tratar toda interrupção como uma falha sem conteúdo aproveitável, o gateway poderia entregar o trecho seguro que já recebeu, junto de um aviso claro de que a resposta está incompleta.
A proposta foi motivada por um registro de produção: uma solicitação terminou após 301,086 segundos, com 96.925 bytes lidos e 44.002 bytes armazenados, sem que um evento de conclusão fosse observado. Isso documenta uma interrupção depois de haver conteúdo disponível — mas, por si só, não identifica qual componente encerrou a conexão.
O que mudaria para quem usa o serviço
A ideia é manter o mesmo fluxo de resposta que clientes compatíveis com a API de chat da OpenAI já esperam. Se houver texto seguro para entregar, o gateway enviaria esse conteúdo, acrescentaria um aviso de interrupção e encerraria o fluxo com a estrutura padrão.
O aviso evitaria atribuir a queda a uma causa ainda não comprovada. Em vez de afirmar que um proxy específico impôs um limite de 300 segundos, poderia informar que a resposta foi interrompida após cerca de 301 segundos e que o texto não está completo. Se a pessoa pedir para continuar, isso iniciaria uma nova solicitação: não há garantia de recuperar a tarefa original, e pode haver repetição de conteúdo ou custo adicional.
Essa escolha busca evitar mudanças no IDE, no cliente ou em suas configurações. Mas compatibilidade de formato não equivale a uma garantia de comportamento: cada cliente precisa ser testado para saber se aceita o encerramento proposto ou se ainda exibe erro e tenta novamente.
A ressalva sobre o marcador de conclusão
O rascunho prevê usar finish_reason: "length", um valor reconhecido na estrutura de respostas em fluxo da OpenAI. Há, porém, uma diferença importante entre o formato e o significado: a documentação define length como o caso em que se alcança o máximo de tokens especificado na solicitação. Ela não o define como um motivo genérico para qualquer encerramento inesperado. 14
2
Por isso, a proposta trata esse uso como uma adaptação de compatibilidade, não como uma descrição exata da causa da interrupção. O gateway ainda registraria internamente que não recebeu a conclusão esperada e não apresentaria a resposta como completa.
Nem todo texto armazenado deve ser entregue
Uma resposta interrompida pode conter instruções para ferramentas ou uma chamada parcialmente escrita, além de texto comum. O plano é não executar chamadas de ferramentas quando a resposta não terminou normalmente e não encaminhar estruturas incompletas como se fossem texto seguro.
Se o gateway não conseguir separar com confiança um trecho de texto independente de um fragmento ambíguo, a proposta é manter o caminho de erro, em vez de arriscar executar uma instrução malformada. Isso também limita o que pode ser recuperado: conteúdo que ainda não foi gerado, que não chegou ao gateway ou que só poderia ser reconstruído completando uma chamada incompleta não está garantido.
Uma solicitação sem texto útil e seguro também continuaria sendo tratada como falha. O aviso, sozinho, não contaria como resposta aproveitável.
Ainda é uma proposta, não uma correção já implantada
O documento descreve um plano de implementação e testes; não afirma que o recurso já foi desenvolvido, validado ou publicado. Entre os testes previstos estão conferir se o texto não se perde nem se repete, se chamadas de ferramentas incompletas nunca são executadas e se um fluxo que continua por mais de cinco minutos ainda pode terminar normalmente.
Também seria necessário testar o cliente real. Uma resposta encerrada com sucesso pelo gateway não prova, por si só, que o aplicativo salvou o texto ou deixou de fazer novas tentativas. A proposta tenta preservar resultados úteis sem esconder falhas, mas não promete eliminar todos os erros visíveis nem resolver a causa da interrupção remota.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Uma proposta para lidar com respostas longas de IA que param no meio"?
Um registro de produção descreve uma resposta interrompida após 301,086 segundos, com 44.002 bytes armazenados e sem evento de conclusão observado.
Quais são os pontos-chave para validar primeiro?
Um registro de produção descreve uma resposta interrompida após 301,086 segundos, com 44.002 bytes armazenados e sem evento de conclusão observado. A proposta é entregar o conteúdo seguro já recebido em um fluxo compatível com OpenAI, acompanhado de um aviso de interrupção.
O que devo fazer a seguir na prática?
O marcador finish reason: "length" é um compromisso de compatibilidade: pela definição da OpenAI, ele indica que o limite de tokens da solicitação foi atingido, não que houve uma interrupção inesperada.
Fontes
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com