답변게시됨3시간 전Last edited 3시간 전12 소스

약 300초 뒤 끊기는 긴 연구 응답, 클라이언트 수정 없이 살리는 방법

관찰된 요청은 301.086초 만에 종료됐으며, 읽은 데이터는 96,925바이트, 버퍼에 남은 데이터는 44,002바이트였다. 정상 완료 신호는 관찰되지 않았다. 제안된 대응은 클라이언트를 바꾸지 않고, 안전하게 전달할 수 있는 연구 본문에 중단 안내와 표준 길이 종료 신호를 덧붙이는 것이다.

게시자GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

관찰된 요청은 301.086초 만에 종료됐으며, 읽은 데이터는 96,925바이트, 버퍼에 남은 데이터는 44,002바이트였다. 정상 완료 신호는 관찰되지 않았다.
제안된 대응은 클라이언트를 바꾸지 않고, 안전하게 전달할 수 있는 연구 본문에 중단 안내와 표준 길이 종료 신호를 덧붙이는 것이다.
‘length’는 원래 요청된 생성 토큰 한도에 도달했다는 뜻이다. 이를 예기치 않은 EOF에 쓰는 것은 호환성을 위한 절충이지, 원인까지 정확히 표현하는 방식은 아니다.[2][14]
도구 호출이나 불완전한 구조가 섞인 내용은 실행되거나 일반 본문으로 노출되지 않도록 보수적으로 제외한다. 설계와 테스트는 아직 제안 단계이며, 구현·검증이 끝난 상태는 아니다.

[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on theAI-generated editorial hero image for [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
openai.com

긴 연구 요청이 한참 진행된 뒤 끊기면, 사용자가 마주하는 문제는 단순한 오류 메시지에 그치지 않을 수 있다. 일부 본문이 이미 생성됐는데도 완료 신호가 오지 않으면, 게이트웨이는 응답을 실패로 처리할 수 있고 클라이언트는 다시 요청을 보낼 수 있다. 사용자가 보고한 현장 상황에서는 이런 실패가 반복되며 오류 표시가 여러 번 쌓였다. 다만 클라이언트의 재시도 경로 전체가 독립적으로 확인된 것은 아니다.

이번에 제안된 설계의 방향은 클라이언트를 수정하거나 새 전용 프로토콜을 도입하는 대신, 안전하게 전달할 수 있는 부분 결과를 기존 스트리밍 응답 안에서 보존하는 것이다. 단, 끊긴 답변을 완성된 결과처럼 취급하지 않고, 도구 호출이 섞인 불완전한 내용을 함부로 내보내지 않는다는 조건이 붙는다.

로그가 보여주는 것과 아직 확인되지 않은 것

기록된 요청 하나는 301.086초 만에 끝났다. 이때 읽은 데이터는 96,925바이트, 버퍼에 남은 데이터는 44,002바이트였고, 정상 완료 이벤트는 관찰되지 않았다. 마지막 본문 데이터와 종료 시점의 간격은 약 144밀리초였다. 해당 요청에 적용된 로컬 연구 총시간 제한은 1,800초였다. 따라서 이 기록만으로는 로컬의 300초 총시간 제한이 요청을 종료했다고 볼 수 없다.

사용자는 입력량이 474,096토큰이었다고 보고했지만, 이 수치는 별도로 검증된 실제 모델 토큰 수가 아니라 제공된 요청 정보다. 마찬가지로 Cloudflare나 ALB의 고정 300초 제한이 원인이라는 설명, 그리고 비용·할당량이 소진돼도 생성을 중단하지 않는다는 공급자 정책 역시 이 설계 검토에서 독립적으로 확인되지는 않았다. 구체적으로 어느 네트워크 구간이 연결을 끊었는지는 아직 단정할 수 없다.

확인된 흐름은 이렇다. 응답을 읽던 도중 완료 이벤트 없이 스트림이 끝나면 게이트웨이는 이를 정상 완료가 아닌 예기치 않은 종료로 분류한다. 일반 스트림은 오류 응답 경로로 들어가고, 도구 호출 여부를 확인하기 위해 본문을 버퍼링하는 경로는 도구 판정 전에 반환될 수 있다. 이미 HTTP 응답 헤더가 전송됐다면 오류는 새 HTTP 502 응답이 아니라 스트림 안의 오류 데이터로 전달될 수 있다.

선택한 대응: 부분 본문과 중단 안내를 같은 스트림에

제안안은 적격한 연구용 스트리밍 요청에서만, 이미 받은 본문 중 안전하게 전달할 수 있는 부분을 보존한다. 이어서 게이트웨이가 응답이 미완성임을 알리는 안내를 보내고, 표준 스트리밍 형식의 종료 신호를 붙인다. 새 생성 요청을 만들거나 원래 요청을 자동으로 다시 보내지는 않는다.

이 방식은 클라이언트 수정이 필요 없다는 점에서 전용 이벤트나 별도 자료 구조를 도입하는 안보다 범위가 좁다. 하지만 종료 사유를 표현하는 데 중요한 의미상의 절충이 있다. OpenAI의 스트리밍 정의에서 finish_reason: "length"는 요청에서 지정한 최대 생성 토큰 수에 도달했다는 뜻이다.2 14 예기치 않은 연결 종료의 표준 사유를 뜻하는 값은 아니다.

따라서 이 설계에서는 length를 호환성을 위한 매핑으로만 사용하고, 본문이 완성되지 않았다는 사실을 별도 안내로 분명히 알리도록 제안한다. 게이트웨이 내부에는 실제 원인인 ‘완료 이벤트를 받지 못한 예기치 않은 종료’를 그대로 남긴다. 이 매핑만으로 모든 클라이언트가 오류 표시나 재시도를 멈춘다고 보장할 수도 없다.

무엇을 전달하고, 무엇을 제외할까

부분 결과를 전달하려면 본문이 존재하는 것만으로는 부족하다. 제안안은 연구용 스트리밍 요청인지, 종료가 예기치 않은 EOF인지, 클라이언트 연결과 요청 실행이 여전히 유효한지, 비어 있지 않은 안전한 본문이 있는지를 함께 확인한다. 취소·시간 초과·명시적 상위 오류·파싱 실패·자원 한도 초과는 이 경로의 대상이 아니다.

특히 도구 호출이 섞인 버퍼는 보수적으로 다룬다.

순수 본문이며 구조가 분명한 내용은 전달할 수 있다.
정상 완료 신호가 없었다면 문법상 완전한 도구 호출도 실행하지 않는다.
닫히지 않은 도구 형식이나 잘린 JSON 인자는 일반 본문으로 그대로 내보내지 않는다.
안전한 본문과 의심스러운 후속 부분을 확실히 구분할 수 있을 때만, 해당 부분을 제외하고 앞의 안전한 본문을 전달할 수 있다.
구조를 임의로 보완하거나, 잘린 도구 인자에서 보고서 내용을 추출하지 않는다.

44,002바이트라는 버퍼 크기는 전부가 순수한 연구 본문이라는 증거가 아니다. 도구 프로토콜 문자열이 들어 있을 수 있으며, 아직 생성되지 않았거나 게이트웨이에 도착하지 않은 내용까지 복구할 수도 없다. 따라서 이 안이 약속하는 것은 이미 받은 내용 중 안전하게 전달 가능한 부분을 최대한 보존하는 것이지, 전체 결과의 복원이 아니다.

일반 스트리밍 경로에서 이미 사용자에게 전달된 본문은 다시 보내지 않는다. 도구용 버퍼 경로에서는 안전한 본문을 나눠 전달할 수 있지만, 크기 한도를 늘리거나 본문을 다시 생성하지는 않는다. 본문이 없거나 공백·상태 메시지뿐인 경우에는 안내 문구를 결과물처럼 내세우지 않고 기존 오류 경로를 유지한다.

재시도와 계정 처리는 별개로 본다

사용자가 보고한 클라이언트 재시도와 게이트웨이 내부의 생성 전송 횟수는 서로 다른 문제다. 이 제안은 원래 요청을 자동 재전송하거나 새로운 생성 요청을 만들지 않는다. 기존 전송 예산도 늘리지 않으며, 사용자가 이후 직접 “계속”을 요청하면 별도의 새 요청으로 취급한다.

게이트웨이는 예를 들어 다음과 같이 실제 경과 시간을 알리고, 재개 요청이 새 요청임을 분명히 할 수 있다.

[게이트웨이 안내] 상위 응답이 약 301초 만에 먼저 종료돼 답변이 완성되지 않았습니다. 안전하게 전달할 수 있는 부분 본문을 보존했습니다. ‘계속’을 요청하면 새 요청이 시작되며, 원래 작업을 복구하는 것은 아니고 내용이 중복되거나 추가 비용이 발생할 수 있습니다.

이 문구는 특정 프록시가 300초 제한을 걸었다고 단정하지 않는다. 또한 도구 관련 구조를 안전상 제외했다면 그 사실도 따로 알리는 편이 바람직하다.

계정 처리에서도 유의미한 구분이 필요하다. 본문이 있었지만 완료 신호가 없는 종료는 정상 완료로 기록하지 않되, 이 사실만으로 계정을 퇴출하거나 인증·할당량 문제로 분류하지 않는 것이 제안안의 방향이다. 기존의 실제 사용량 정산과 계정 분류 규칙은 유지한다. 공급자의 최종 청구액과 게이트웨이의 관측 수치가 같다고 가정하지도 않는다.

구현 전 남은 검증

이 문서는 설계안이다. 코드 변경과 테스트 실행, 배포가 완료된 것은 아니다. 구현 단계에서는 표준 스트리밍 프레임의 순서와 중복 여부, 부분 전송 중 취소·쓰기 실패 처리, 큰 본문의 메모리 한도, 도구 호출 차단, 계정 임대의 중복 해제 방지 등을 검증해야 한다.

무엇보다 클라이언트를 수정하지 않는 것과 클라이언트에서 원하는 결과를 보장하는 것은 다르다. 실제 대상 클라이언트가 길이 종료 신호를 받은 뒤 오류 재시도를 멈추는지, 대화 기록에 부분 본문과 안내를 보존하는지, 도구 호출이 잘못 처리되지 않는지 확인해야 한다. 게이트웨이가 HTTP 200과 스트림 종료 표식을 썼다는 사실만으로 클라이언트 동작까지 입증되지는 않는다.

결국 이 제안은 연결 제한의 원인을 고치는 방안이 아니라, 완료 신호 없이 끊기는 경우를 더 안전하게 처리하는 게이트웨이 측 완화책이다. 성공 여부의 기준도 ‘오류가 전혀 발생하지 않는가’가 아니라, 안전한 부분 결과는 보존하고 불완전한 결과는 완성본이나 실행 가능한 도구 호출로 위장하지 않는가에 두어야 한다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.