คำตอบเผยแพร่แล้ว12 แหล่งที่มา
เมื่อคำตอบ AI หยุดก่อนจบ: เกตเวย์อาจช่วยรักษาส่วนที่ปลอดภัยไว้ได้
คำขอตัวอย่างใช้เวลา 301.086 วินาที มีข้อมูลตอบกลับสะสม 44,002 ไบต์ แต่ไม่พบเหตุการณ์ยืนยันว่าตอบเสร็จ แนวทางที่เสนอคือให้เกตเวย์ส่งเนื้อหาที่ตรวจแล้วว่าปลอดภัย พร้อมคำเตือนและสถานะสิ้นสุดแบบ length โดยไม่ต้องแก้ไคลเอนต์ หากข้อมูลที่ค้างอยู่เป็นคำสั่งเครื่องมือหรือโครงสร้างที่ไม่สมบูรณ์ ระบบควรปฏิเสธการส่งแทนการเสี่ย...
เผยแพร่โดยรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- คำขอตัวอย่างใช้เวลา 301.086 วินาที มีข้อมูลตอบกลับสะสม 44,002 ไบต์ แต่ไม่พบเหตุการณ์ยืนยันว่าตอบเสร็จ
- แนวทางที่เสนอคือให้เกตเวย์ส่งเนื้อหาที่ตรวจแล้วว่าปลอดภัย พร้อมคำเตือนและสถานะสิ้นสุดแบบ length โดยไม่ต้องแก้ไคลเอนต์
- หากข้อมูลที่ค้างอยู่เป็นคำสั่งเครื่องมือหรือโครงสร้างที่ไม่สมบูรณ์ ระบบควรปฏิเสธการส่งแทนการเสี่ยงให้ไคลเอนต์นำไปทำงาน
- การใช้ length กับเหตุขัดข้องเป็นการประยุกต์เพื่อความเข้ากันได้ ไม่ได้หมายความว่าต้นเหตุคือถึงขีดจำกัดโทเคน และยังต้องทดสอบกับไคลเอนต์จริง
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/VUpdr6CgAFbX1k6I54vQv7bcGJg1/images/7F9C0370DCAAF9174B31/7BFA6F9B3C3D8AAF9299.png)
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"write to file","arguments":{"path":" bmad output/analysis/draft long research 300s salvage.md","content":" 长研究约300秒异常断流：零客户端修改的流内兜底方案\n\n首期改为使用标准 OpenAI 流式响应结构交付可安全保留的部分正文、网关中断提示和长度终态；废除原草案的客户端能力协商、自定. Topic tags: general web, openai, code, python, api. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
คำขอวิจัย AI ที่ใช้เวลาหลายนาทีอาจสะดุดในช่วงท้าย ทั้งที่ระบบได้รับข้อความมาแล้วจำนวนมาก ปัญหาจึงไม่ใช่แค่ “ได้คำตอบช้า” แต่คือเนื้อหาที่สะสมไว้อาจไม่ถูกส่งถึงผู้ใช้ และไคลเอนต์อาจมองเหตุการณ์นั้นเป็นความล้มเหลวแล้วเริ่มคำขอใหม่
ข้อเสนอที่กำลังพิจารณาคือให้เกตเวย์ส่งส่วนของคำตอบที่ตรวจแล้วว่าปลอดภัย พร้อมข้อความแจ้งว่าการตอบกลับขาดช่วง โดยใช้โครงสร้างสตรีมแบบ OpenAI ที่ไคลเอนต์เดิมรองรับอยู่ แนวทางนี้ออกแบบมาเพื่อไม่ต้องแก้ไคลเอนต์ แต่ยังเป็นข้อเสนอเชิงสถาปัตยกรรม ไม่ใช่หลักฐานว่ามีการพัฒนา ทดสอบ หรือเปิดใช้งานแล้ว
สิ่งที่ทราบจากเหตุการณ์—and สิ่งที่ยังไม่ยืนยัน
บันทึกของคำขอตัวอย่างระบุว่าใช้เวลา 301.086 วินาที อ่านข้อมูลได้ 96,925 ไบต์ และมีข้อมูลสะสมในบัฟเฟอร์ 44,002 ไบต์ แต่ไม่พบเหตุการณ์จบงานตามปกติ ส่วนการตั้งค่าระยะเวลารวมของงานวิจัยในคำขอนี้คือ 1,800 วินาที จึงไม่มีหลักฐานว่าตัวจับเวลารวม 300 วินาทีของเกตเวย์เป็นตัวตัดการทำงาน
ผู้ใช้รายงานว่าไคลเอนต์ Roo Code ลองใหม่หลายครั้งจนเกิดกรอบแจ้งข้อผิดพลาดซ้ำ และระบุว่าอาจเกี่ยวข้องกับข้อจำกัดเวลาของพร็อกซี แต่ข้อมูลที่มีในขณะนี้ยังไม่ยืนยันลำดับการลองใหม่ทั้งหมด หรือพิสูจน์ว่า Cloudflare, ALB หรือชั้นใดเป็นผู้ตัดการเชื่อมต่อโดยตรง การระบุสาเหตุที่แน่ชัดจึงยังต้องอาศัยหลักฐานเพิ่มเติม
ตัวเลขอินพุต 474,096 โทเคนก็เป็นตัวเลขที่ผู้ใช้รายงาน ไม่ใช่ผลนับที่ตรวจสอบแยกแล้ว เช่นเดียวกับข้อมูลขนาดบัฟเฟอร์ ตัวเลขเหล่านี้บอกภาพของเหตุการณ์ แต่ไม่ได้ยืนยันว่าข้อความทั้งหมดเป็นเนื้อหาคำตอบที่สมบูรณ์
แนวทางที่เสนอ: ส่งส่วนที่ปลอดภัย แทนการส่งข้อผิดพลาดอย่างเดียว
เมื่อคำขอวิจัยแบบสตรีมจบลงโดยไม่มีเหตุการณ์ยืนยันความสำเร็จ เกตเวย์จะตรวจว่ามีข้อความจริงที่ปลอดภัยพอจะส่งหรือไม่ หากผ่านเกณฑ์ ก็ส่งข้อความนั้น คำเตือนจากเกตเวย์ และสถานะสิ้นสุด length ในสตรีมเดียวกัน โดยไม่ส่งข้อความข้อผิดพลาดตามหลัง
รูปแบบนี้มีข้อแลกเปลี่ยนสำคัญ: ในคำจำกัดความของ OpenAI ค่า length หมายถึงการสร้างหยุดเพราะถึงจำนวนโทเคนสูงสุดที่ระบุไว้ ไม่ใช่รหัสทั่วไปสำหรับการเชื่อมต่อหลุด 14
2 ดังนั้น การนำค่านี้มาใช้กับกรณีขาดช่วงคือการประยุกต์โครงสร้างมาตรฐานเพื่อความเข้ากันได้ ไม่ใช่การบอกว่าสาเหตุจริงคือถึงขีดจำกัดโทเคน เกตเวย์ยังต้องเก็บสาเหตุการจบที่แท้จริงไว้ในข้อมูลภายใน และแจ้งผู้ใช้ตรง ๆ ว่าคำตอบอาจไม่ครบ
ข้อความแจ้งเตือนอาจบอกว่า “การตอบกลับจากต้นทางหยุดก่อนเสร็จ ได้เก็บส่วนที่ส่งมาถึงและตรวจแล้วว่าปลอดภัยไว้ คุณอาจสั่งให้ต่อได้ แต่จะเป็นคำขอใหม่และอาจมีเนื้อหาซ้ำหรือมีค่าใช้จ่ายเพิ่ม” การสั่งต่อจึงไม่ใช่การกู้คืนงานเดิมโดยอัตโนมัติ และเกตเวย์จะไม่ส่งคำขอใหม่แทนผู้ใช้
เมื่อข้อมูลค้างเป็นคำสั่งเครื่องมือ ต้องเลือกความปลอดภัยก่อน
บัฟเฟอร์ที่ได้รับไม่จำเป็นต้องเป็นข้อความสำหรับอ่านทั้งหมด บางส่วนอาจมีคำสั่งเรียกเครื่องมือหรือพารามิเตอร์ JSON ที่ยังเขียนไม่จบ การส่งส่วนเหล่านี้เป็นข้อความธรรมดาอาจทำให้ไคลเอนต์ตีความหรือดำเนินการต่ออย่างไม่ถูกต้อง
ข้อเสนอจึงกำหนดให้ไม่ส่งคำสั่งเครื่องมือจากคำตอบที่จบผิดปกติ แม้โครงสร้างการเรียกเครื่องมือจะดูครบ ก็ไม่ถือเป็นหลักฐานว่างานทั้งรอบเสร็จแล้ว หากมีส่วนที่แยกเป็นข้อความธรรมดาได้อย่างชัดเจน อาจส่งเฉพาะส่วนนั้น แต่ถ้าแยกไม่ได้หรือข้อความหมดความหมายหลังตัดส่วนเสี่ยงออก ระบบควรกลับไปแจ้งข้อผิดพลาดตามปกติ แทนการพยายามซ่อม JSON หรือเติมคำสั่งที่ขาด
หลักนี้มีผลกับคำขอที่บังคับให้เรียกเครื่องมือด้วย หากการเปลี่ยนเป็นข้อความล้วนขัดกับข้อกำหนดของคำขอ เกตเวย์ไม่ควรแอบลดข้อกำหนดเพื่อให้ดูเหมือนส่งคำตอบสำเร็จ
ยังไม่ควรสัญญาว่าจะไม่มีการลองซ้ำ
การส่งสถานะ length และเครื่องหมายจบสตรีมอาจช่วยไม่ให้ไคลเอนต์เข้าเส้นทางข้อผิดพลาดเดิม แต่ยังต้องทดสอบกับ Roo Code เวอร์ชันและการตั้งค่าที่ใช้งานจริง ไคลเอนต์อาจมีเงื่อนไขลองต่อจากความยาวของคำตอบ การเรียกเครื่องมือที่ไม่ครบ หรือเหตุผลอื่นได้
การทดสอบจึงต้องตรวจทั้งหน้าจอ ประวัติคำตอบ และจำนวนคำขอที่ไคลเอนต์ส่งออกจริง การที่เกตเวย์ส่ง HTTP 200 หรือปิดสตรีมได้สำเร็จ ไม่ได้พิสูจน์ว่าไคลเอนต์บันทึกข้อความแล้วหรือหยุดลองใหม่
อีกด้านหนึ่ง การมีข้อความบางส่วนแล้วจบผิดปกติไม่ควรถูกตีความว่าเป็นปัญหาการยืนยันตัวตนหรือโควตาบัญชีโดยอัตโนมัติ ข้อเสนอระบุให้คงประเภทการจบผิดปกติไว้ ไม่บันทึกเป็นงานสำเร็จตามปกติ และไม่ลงโทษบัญชีเพียงเพราะมีเนื้อหาบางส่วนก่อนการเชื่อมต่อสิ้นสุด
ขั้นต่อไปคือทดสอบ ไม่ใช่ประกาศว่าแก้แล้ว
ก่อนนำไปใช้ ต้องเพิ่มการทดสอบกรณีไม่มีเนื้อหา เนื้อหาว่าง คำสั่งเครื่องมือที่ขาดช่วง การตัดกลางเหตุการณ์ SSE การยกเลิกจากผู้ใช้ และการเขียนข้อมูลล้มเหลว รวมถึงทดสอบว่าเนื้อหาที่ส่งออกไม่ซ้ำกับส่วนที่ส่งไปแล้วก่อนหน้า
สำหรับผู้ใช้ ปัจจุบันข้อสรุปที่ปลอดภัยที่สุดคือแนวทางนี้มุ่งรักษาผลงานบางส่วนในกรณีที่มีเนื้อหาปลอดภัยพอจะส่ง แต่ไม่ได้ทำให้ต้นทางเชื่อมต่อได้นานขึ้น ไม่กู้ข้อความที่ยังไม่ถูกสร้างหรือสูญหาย และไม่รับประกันว่าทุกไคลเอนต์จะหยุดแจ้งข้อผิดพลาดหรือลองใหม่
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "เมื่อคำตอบ AI หยุดก่อนจบ: เกตเวย์อาจช่วยรักษาส่วนที่ปลอดภัยไว้ได้" คืออะไร
คำขอตัวอย่างใช้เวลา 301.086 วินาที มีข้อมูลตอบกลับสะสม 44,002 ไบต์ แต่ไม่พบเหตุการณ์ยืนยันว่าตอบเสร็จ
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
คำขอตัวอย่างใช้เวลา 301.086 วินาที มีข้อมูลตอบกลับสะสม 44,002 ไบต์ แต่ไม่พบเหตุการณ์ยืนยันว่าตอบเสร็จ แนวทางที่เสนอคือให้เกตเวย์ส่งเนื้อหาที่ตรวจแล้วว่าปลอดภัย พร้อมคำเตือนและสถานะสิ้นสุดแบบ length โดยไม่ต้องแก้ไคลเอนต์
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
หากข้อมูลที่ค้างอยู่เป็นคำสั่งเครื่องมือหรือโครงสร้างที่ไม่สมบูรณ์ ระบบควรปฏิเสธการส่งแทนการเสี่ยงให้ไคลเอนต์นำไปทำงาน
แหล่งที่มา
github.comopenai-python/src/openai/types/chat/chat_completion.py at e41abf7b7dbc1e744d167f748e55d4dedfc0dca7 · openai/openai-python
developers.openai.comdevelopers.openai.com › streaming-eventsdevelopers.openai.com