RéponsesPublié12 sources
Comment éviter qu’une coupure d’un long flux de recherche ne fasse perdre tout le résultat
Dans le journal du cas étudié, la requête s’est terminée après 301,086 secondes, avec 44 002 octets en mémoire tampon et aucun événement signalant une fin normale. La proposition consiste à remettre le texte récupérable dans le flux OpenAI standard, accompagné d’un avertissement et d’un marqueur de fin « length », s...
Publié parImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Dans le journal du cas étudié, la requête s’est terminée après 301,086 secondes, avec 44 002 octets en mémoire tampon et aucun événement signalant une fin normale.
- La proposition consiste à remettre le texte récupérable dans le flux OpenAI standard, accompagné d’un avertissement et d’un marqueur de fin « length », sans modifier le client.
- Ce marqueur signifie normalement que la limite de génération demandée a été atteinte : l’utiliser pour une coupure imprévue est donc un compromis de compatibilité, pas une description exacte de la cause.
- Les appels d’outils interrompus ne seraient ni exécutés ni transmis comme du texte ordinaire.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Une longue réponse peut-elle s’arrêter sans être terminée ?
C’est le problème que cherche à traiter cette proposition d’architecture. Dans le journal examiné, une requête de recherche s’est arrêtée après 301,086 secondes. La passerelle avait lu 96 925 octets, dont 44 002 étaient en mémoire tampon, mais n’avait pas observé d’événement de fin normale. Le journal indique aussi que le corps disponible se trouvait à environ 144 millisecondes de la coupure.
Le rapport de l’utilisateur ajoute que Roo Code aurait affiché plusieurs messages d’erreur successifs après avoir relancé automatiquement la requête. Cette explication est prise en compte dans la conception, mais la chaîne complète des tentatives n’a pas été vérifiée indépendamment. De même, l’hypothèse d’une limite de connexion à 300 secondes imposée par un proxy précis n’est pas confirmée par des journaux de configuration.
La question pratique est plus ciblée : si une réponse substantielle est déjà arrivée, comment la transmettre sans faire croire qu’elle est complète et sans renvoyer la même demande ?
Le repli proposé : garder le texte utile, signaler la coupure
La première étape privilégierait un repli dans le flux existant, avec la structure standard de l’API OpenAI, plutôt qu’un protocole privé ou une modification de Roo Code. Pour les requêtes de recherche en streaming qui remplissent les critères de sécurité, la passerelle pourrait :
- transmettre le texte déjà reçu qui peut être identifié comme sûr ;
- ajouter un avertissement indiquant que la réponse a été interrompue ;
- terminer le flux avec
finish_reason: "length", puis le marqueur de fin habituel ; - ne pas relancer la génération et ne pas envoyer, après coup, une trame d’erreur sur cette réponse.
Ce traitement ne s’appliquerait pas à toutes les requêtes. Il viserait certaines requêtes de recherche en streaming, avec du texte utile, une connexion client encore active et une fin inattendue du flux. Une réponse vide, une annulation, une erreur explicite, un dépassement de ressources ou un délai d’attente continueraient à suivre leur chemin d’erreur habituel.
Le document ne présente pas cette solution comme déployée : il s’agit d’un plan de conception. Il ne prévoit ni modification du client, ni nouveau protocole de négociation, ni nouvelle génération en arrière-plan.
Une compatibilité qui a un prix sémantique
Un point mérite d’être expliqué clairement. Dans les définitions OpenAI, finish_reason: "length" correspond à l’atteinte du maximum de tokens de génération spécifié dans la requête. Ce champ ne désigne pas, à lui seul, une coupure réseau imprévue 2
14.
La proposition choisit néanmoins cette valeur comme marqueur compatible pour une réponse partielle récupérable. C’est un compromis de structure, pas une preuve que le modèle a atteint sa limite de génération. L’avertissement visible doit donc dire explicitement que la réponse est incomplète. De son côté, la passerelle doit conserver la véritable cause dans ses informations internes, au lieu de reclasser l’incident comme une fin normale ou comme une limite de tokens effectivement atteinte.
Rien ne permet non plus de garantir, sur la seule base de ce format, que chaque version de chaque client cessera d’afficher une erreur ou de proposer une nouvelle tentative. Le comportement réel de Roo Code doit être vérifié avant de présenter l’objectif « plus d’erreurs en cascade » comme atteint.
Le texte en mémoire tampon n’est pas forcément du texte prêt à livrer
Les 44 002 octets consignés ne prouvent ni que tout le contenu est du texte de recherche, ni que la réponse est complète. Une réponse tamponnée peut inclure un protocole d’appel d’outil, ou se terminer au milieu d’un événement du flux.
La proposition prévoit donc une barrière de sécurité :
- Un corps de texte simple et valide pourrait être transmis sans être réécrit ni raccourci silencieusement.
- Un appel d’outil, même entièrement formé, ne serait pas exécuté simplement parce que la réponse s’est interrompue avant sa fin normale.
- Un appel tronqué, des paramètres JSON incomplets ou un fragment impossible à interpréter sans ambiguïté ne seraient pas retransmis comme du texte ordinaire.
- Un préfixe indépendant ne pourrait être conservé que si la passerelle peut établir précisément où il se termine et où commence le fragment suspect.
Dans les cas douteux, la priorité irait à la sécurité plutôt qu’à la récupération de chaque octet. La passerelle ne compléterait pas des paramètres incomplets, ne fabriquerait pas une fin d’appel d’outil et n’extraierait pas un rapport d’un appel interrompu. Cela limite ce qui peut être sauvé : si le texte disponible est essentiellement un protocole incomplet, il peut ne rien rester à livrer.
La proposition relève aussi un piège dans le traitement des événements SSE : à la fin d’un flux, des données peuvent rester dans un événement incomplet. Un tampon non vide ne suffit donc pas à certifier que son dernier fragment est un corps de réponse valide. Les frontières d’événements et la qualité du décodage devraient faire partie du contrôle d’admissibilité.
« Continuer » ne reprendrait pas la tâche d’origine
L’avertissement pourrait proposer à l’utilisateur de demander une suite, mais cette action lancerait une nouvelle requête. La passerelle ne promettrait ni de retrouver la tâche distante, ni de reprendre exactement au point d’interruption, ni d’éviter les répétitions ou les frais supplémentaires.
Exemple de message envisagé :
[Message de la passerelle] La réponse amont s’est interrompue après environ 301 secondes ; le texte est incomplet. La partie récupérable et sûre a été conservée. Vous pouvez demander une suite, mais cela lancera une nouvelle requête et peut entraîner des répétitions ou des frais supplémentaires.
Le délai affiché devrait refléter l’incident observé. En l’absence de preuve sur le proxy concerné, le message ne devrait pas affirmer qu’une limite Cloudflare ou ALB de 300 secondes a été atteinte.
Une éventuelle récupération depuis un historique ou une session distante est repoussée à une étape ultérieure. Elle ne serait envisageable qu’après vérification que l’interface existe, que le résultat peut être associé à la bonne requête et que sa consultation ne déclenche pas une nouvelle génération.
Pas de faux succès côté compte ni de nouvelle génération cachée
Le repli ne devrait pas transformer une coupure inattendue en réussite normale. La cause d’origine resterait enregistrée comme une fin inattendue, distincte du fait que la passerelle a réussi — ou non — à livrer un fragment au client.
Le plan ne prévoit pas non plus de retirer un compte du service simplement parce qu’une réponse avec du contenu a été interrompue, ni d’effacer les compteurs d’utilisation existants. La sortie produite par la passerelle, comme son avertissement, ne serait pas présentée comme une mesure de l’usage facturé par le fournisseur.
Enfin, la livraison du texte récupéré devrait rester sous une échéance d’écriture unique, avec un seul composant responsable d’écrire dans le flux. Une annulation, un échec d’écriture ou une échéance dépassée arrêterait l’opération : pas de reprise en arrière-plan, de renvoi des morceaux déjà transmis ou de nouvelle génération automatique.
Ce qu’il reste à vérifier
Avant toute mise en service, le plan prévoit des tests portant notamment sur les réponses vides, les coupures au milieu d’un événement SSE, les fragments d’outils incomplets, les réponses normales qui dépassent cinq minutes, ainsi que les erreurs d’écriture et les annulations. Les tests devront aussi confirmer que le corps retransmis ne change pas, qu’aucun appel d’outil n’est exécuté et qu’un morceau déjà transmis n’est pas répété.
Un essai avec une version non modifiée de Roo Code devra ensuite vérifier si le client conserve le texte, affiche l’avertissement et évite son chemin de nouvelle tentative automatique après le marqueur de fin. Un statut HTTP 200 ou un marqueur de fin écrit par la passerelle ne suffirait pas à prouver que le client a bien enregistré la réponse.
À ce stade, la conclusion est donc limitée : cette conception cherche à éviter de perdre du texte sûr déjà reçu, tout en signalant franchement l’interruption. Elle ne répare pas la durée de vie de la connexion distante, ne garantit pas la récupération du contenu manquant et n’a pas encore été validée par les tests ou par un client réel.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Comment éviter qu’une coupure d’un long flux de recherche ne fasse perdre tout le résultat » ?
Dans le journal du cas étudié, la requête s’est terminée après 301,086 secondes, avec 44 002 octets en mémoire tampon et aucun événement signalant une fin normale.
Quels sont les points clés à valider en premier ?
Dans le journal du cas étudié, la requête s’est terminée après 301,086 secondes, avec 44 002 octets en mémoire tampon et aucun événement signalant une fin normale. La proposition consiste à remettre le texte récupérable dans le flux OpenAI standard, accompagné d’un avertissement et d’un marqueur de fin « length », sans modifier le client.
Que dois-je faire ensuite en pratique ?
Ce marqueur signifie normalement que la limite de génération demandée a été atteinte : l’utiliser pour une coupure imprévue est donc un compromis de compatibilité, pas une description exacte de la cause.
Sources
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python