คำตอบเผยแพร่แล้ว16 แหล่งที่มา
เกตเวย์ AI ควรจำกัดคำขอแค่ไหน?
เกตเวย์จำเป็นต้องมีขอบเขตด้านการรับและประมวลผลข้อมูล แต่ข้อจำกัดของโมเดล ข้อกำหนด API ต้นทาง และทรัพยากรของเกตเวย์เป็นคนละเรื่องกัน ตัวเลขทดลองอย่างคำขอ 8 MiB, 1,024 ข้อความ หรือ JSON 65,536 โหนด ยังไม่มีหลักฐานรองรับให้ถือเป็นมาตรฐานกลางของผู้ให้บริการ จุดที่ควรทบทวนเร่งด่วนคือข้อจำกัด JSON ที่ไม่ใช่สื่อซึ่งอยู่ที่...
เผยแพร่โดยรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- เกตเวย์จำเป็นต้องมีขอบเขตด้านการรับและประมวลผลข้อมูล แต่ข้อจำกัดของโมเดล ข้อกำหนด API ต้นทาง และทรัพยากรของเกตเวย์เป็นคนละเรื่องกัน
- ตัวเลขทดลองอย่างคำขอ 8 MiB, 1,024 ข้อความ หรือ JSON 65,536 โหนด ยังไม่มีหลักฐานรองรับให้ถือเป็นมาตรฐานกลางของผู้ให้บริการ
- จุดที่ควรทบทวนเร่งด่วนคือข้อจำกัด JSON ที่ไม่ใช่สื่อซึ่งอยู่ที่ 512 KiB และการจัดการประวัติแชตเมื่อมีสื่อประกอบ
- การขยายเพดานอย่างเดียวไม่พอ ต้องพิจารณาหน่วยความจำ การประมวลผลพร้อมกัน และรูปแบบคำขอจริงควบคู่กัน
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W](https://d15bya8fi85z1v.cloudfront.net/chat/asPK4DNv50bsymHMgLZKWhkmJ3B3/images/F77A4B1123AE88554B14/AF106B442FEC22BCD476.png)
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"有必要设置资源边界，但没有充分依据把这六个具体数值当作模型能力或行业标准。当前最值得反思的不是“限制太多”，而是试验参数、网关资源预算、上游协议限制和模型上下文容量被混成了同一种限制。\n\n 1.. Topic tags: general web, openai, agents, prompt engineering, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, an
เกตเวย์ที่เชื่อมต่อกับโมเดล AI ควรมีขอบเขตด้านขนาดคำขอ จำนวนข้อมูล และทรัพยากรที่ใช้ แต่ยังไม่มีเหตุผลพอที่จะถือว่าตัวเลขทดลองทั้งหกค่าเป็นขีดจำกัดความสามารถของโมเดลหรือเป็นมาตรฐานอุตสาหกรรม
ประเด็นสำคัญจึงไม่ใช่แค่ “ควรจำกัดมากแค่ไหน” แต่คือข้อจำกัดของโมเดล ข้อกำหนด API ต้นทาง และทรัพยากรที่เกตเวย์ต้องใช้ ถูกนำมาปะปนกันหรือไม่
เกตเวย์นี้ทำหน้าที่อะไร
จากการทำงานที่อธิบายไว้ เกตเวย์นี้ใกล้เคียงกับตัวแปลงโปรโตคอลที่รองรับ OpenAI API และตัวกลางเชื่อมต่อเซสชันกับระบบต้นทาง มากกว่าเซิร์ฟเวอร์ที่รันโมเดลเองหรือพร็อกซีที่ส่งต่อข้อมูลโดยไม่แตะต้องคำขอ ตัวระบบสร้าง payload จัดการโปรโตคอลเครื่องมือ ปรับประวัติการสนทนา และแปลงรูปภาพเป็นการอ้างอิงไฟล์แนบ ดูรายละเอียดได้ที่ internal/upstream/studioglobal/payload.go:359 และ internal/upstream/studioglobal/media_protocol_production.go:95.
จึงควรแยกข้อจำกัดออกเป็นสามประเภท:
- ข้อจำกัดของโมเดล: เช่น ขนาด context สูงสุด ความยาวผลลัพธ์ และชนิดข้อมูลที่รองรับ เกตเวย์ไม่ควรกำหนดความสามารถส่วนนี้ขึ้นมาเอง
- ข้อจำกัดของ API ต้นทาง: เช่น ขนาดคำขอ รูปแบบข้อความ การอัปโหลดไฟล์แนบ และโปรโตคอลเครื่องมือ เกตเวย์ต้องทำตาม แต่ต้องแยกตามผู้ให้บริการและบริการจริงที่เชื่อมต่อ
- ข้อจำกัดของเกตเวย์: เช่น หน่วยความจำ การประมวลผลพร้อมกัน CPU ดิสก์ และเวลารอ ข้อจำกัดเหล่านี้จำเป็นต่อการดูแลระบบ แต่ควรระบุชัดว่าเป็นขีดความสามารถของการติดตั้ง ไม่ใช่เพดานของโมเดล
แม้ข้อมูลจะถูกแปลงเป็นตัวเลขก่อนเข้าสู่โมเดล ก็ไม่ได้ทำให้จำนวนไบต์ใน HTTP, จำนวนออบเจ็กต์ JSON, จำนวน token และหน่วยความจำที่ใช้ในเครื่องกลายเป็นหน่วยเดียวกัน เกตเวย์ไม่ได้ถือครองน้ำหนักโมเดลหรือแคชการอนุมาน แต่ยังต้องปกป้องขั้นตอนรับข้อมูล แยกวิเคราะห์ และแปลงโปรโตคอล
เอกสารทางการบอกอะไร—and ไม่ได้บอกอะไร
ตัวเลขต่อไปนี้เป็นข้อมูลที่ตรวจสอบได้จากแหล่งทางการในบริบทนี้ ไม่เติมค่าที่ยังไม่มีหลักฐานยืนยัน
| ผู้ให้บริการหรือ API | ข้อมูลที่ตรวจสอบได้ | สิ่งที่ควรเข้าใจ |
|---|---|---|
| OpenAI | GPT-5.5 มี context window 1,050,000 tokens และสร้างผลลัพธ์ได้สูงสุด 128,000 tokens |
ขนาดบริบทของโมเดลไม่ใช่ขนาดไบต์ของคำขอ จึงใช้ตัวเลขนี้คำนวณเพดาน MiB ของเกตเวย์โดยตรงไม่ได้ |
| Anthropic API โดยตรง | วันที่ 28 ต.ค. 2026 เพิ่มขนาดคำขอสูงสุดของ Messages API และ Token Counting API จาก 32 MB เป็น 128 MB |
ไม่ควรนำเพดานเดิม 32 MB มาอ้างเป็นข้อกำหนดปัจจุบัน หรือบอกว่าเกตเวย์ที่จำกัดไว้ 8 MiB สะท้อนขีดจำกัดของ Claude |
| Anthropic Messages API | รองรับข้อความได้สูงสุด 100,000 รายการในคำขอเดียว |
จำนวน 1,024 ข้อความของเกตเวย์ไม่ใช่เพดานร่วมของอุตสาหกรรม แต่การที่ API ต้นทางรองรับมากกว่า ก็ไม่ได้แปลว่าเกตเวย์ต้องเปิดรับโดยไม่มีเงื่อนไข |
| การรับภาพของ Anthropic | สูงสุด 100 ภาพต่อคำขอสำหรับโมเดลที่มีบริบท 200k tokens และ 600 ภาพสำหรับโมเดลอื่น พร้อมข้อจำกัดด้านขนาดภาพ |
การกำหนดเพดานภาพและขนาดภาพเป็นคนละเรื่องกัน การจำกัดทรัพยากรสำหรับภาพจึงไม่ใช่ประเด็นผิดในตัวเอง แต่ต้องมีเหตุผลรองรับตัวเลข |
| Google Vertex / AI Studio และ xAI | ยังไม่มีหลักฐานจากเอกสารทางการเพียงพอสำหรับตัวเลขในบริบทนี้ | จึงไม่ควรระบุเพดานขนาดคำขอ จำนวนเครื่องมือ หรือความลึก JSON ของบริการเหล่านี้โดยคาดเดา |
อีกเรื่องที่ควรคำนึงถึงคือ Messages API ของ Anthropic เป็นแบบ stateless ในการใช้งานทั่วไป กล่าวคือแต่ละคำขอจะส่งประวัติการสนทนาทั้งหมดไปด้วย จึงประเมินขนาดคำขอจาก prompt ล่าสุดเพียงข้อความเดียวไม่ได้ 15
ตัวเลขข้างต้นใช้เป็นข้อมูลอ้างอิงเรื่องความเข้ากันได้ได้ แต่ยังยืนยันไม่ได้ว่าเส้นทางที่ใช้ชื่อโมเดลเดียวกันผ่าน StudioGlobal มี API และความจุเทียบเท่ากับบริการของผู้ให้บริการโดยตรง
ประเมินข้อจำกัดทั้งหกค่า
ค่าทั้งหกถูกระบุว่าเป็นค่าทดลอง จึงยังไม่ควรนำไปใช้เสมือนเป็นตารางข้อกำหนดการผลิต ดูนิยามและการผูกค่ากับการตั้งค่าได้ที่ internal/chatadmission/config.go:12.
| ค่า | เหตุผลที่อาจต้องมีขอบเขต | มุมมองต่อค่าปัจจุบัน |
|---|---|---|
ขนาดคำขอ 8 MiB (internal/chatadmission/config.go:14) |
ป้องกันการรับข้อมูลไม่จำกัดและภาระที่ตามมาจากการประมวลผล | ใช้เป็นขอบเขตทดลองได้ แต่อย่าเพิ่งยกเป็นเพดานถาวรสำหรับทุกโมเดลและทุกอินพุต ในทางกลับกัน การที่โมเดลรองรับหลักล้าน tokens ก็ยังไม่พิสูจน์ว่า 8 MiB ต่ำเกินไป |
งบหน่วยความจำสำหรับเนื้อหา 64 MiB (internal/chatadmission/config.go:15) |
เป็นส่วนหนึ่งของการจัดการทรัพยากรภายในเกตเวย์ | ไม่ใช่ตัวเลขมาตรฐานของโมเดล ควรกำหนดจากหน่วยความจำที่ติดตั้ง จำนวนคำขอพร้อมกัน และภาระของขั้นตอนประมวลผล |
จำนวนข้อความ 1,024 (internal/chatadmission/config.go:16) |
อาจใช้ป้องกันคำขอที่มีออบเจ็กต์จำนวนมาก | จำนวนข้อความไม่เท่ากับขนาดบริบท ข้อความสั้นจำนวนมากและข้อความเดียวขนาดใหญ่มากใช้ทรัพยากรต่างกัน ควรมีหลักฐานจากความเข้ากันได้ของไคลเอนต์ ไม่ใช่ใช้จำนวนรอบสนทนาแทนงบ token |
จำนวนเครื่องมือ 128 (internal/chatadmission/config.go:17) |
อาจใช้ควบคุมขนาดโปรโตคอลและต้นทุนการแทรกคำจำกัดความเครื่องมือ | ยังไม่มีหลักฐานพอว่าเป็นมาตรฐานร่วมของผู้ให้บริการทั้งสี่ราย ควรแยกจำนวนเครื่องมือ ขนาดคำจำกัดความ และคุณภาพการเลือกเครื่องมือออกจากกัน |
ความลึก JSON 32 (internal/chatadmission/config.go:18) |
ช่วยป้องกันโครงสร้างซ้อนลึกผิดปกติ | จำกัดโครงสร้างที่เกตเวย์ต้องแยกวิเคราะห์ ไม่ได้จำกัดความเข้าใจของโมเดล ค่าที่เหมาะสมควรอิงตัวอย่างพารามิเตอร์เครื่องมือที่ถูกต้องและข้อกำหนดของ parser |
จำนวนโหนด JSON 65,536 (internal/chatadmission/config.go:19) |
ช่วยป้องกันภาระจากการขยายออบเจ็กต์ | ไม่ใช่จำนวน tokens และยังไม่มีหลักฐานยืนยันว่าเป็นมาตรฐานร่วมของผู้ให้บริการ การจำกัดนี้จำเป็นแค่ไหนขึ้นกับว่าขนาดไบต์และงบหน่วยความจำครอบคลุมภาระของออบเจ็กต์เพียงพอแล้วหรือไม่ |
มีรายละเอียดสองข้อที่ไม่ควรสับสน:
- ข้อจำกัดความลึกของ schema ในฟีเจอร์ structured output ไม่ควรถูกนำมาใช้เป็นข้อจำกัดกับ JSON ทุกชนิดโดยอัตโนมัติ หาก JSON อยู่ในข้อความธรรมดาในรูปสตริง ก็ไม่ใช่โครงสร้างซ้อนของออบเจ็กต์ในคำขอ HTTP แบบเดียวกัน
- การเพิ่มจำนวนเครื่องมือไม่ได้ทำให้ผลลัพธ์ดีขึ้นเสมอไป เอกสาร OpenAI อธิบายการค้นหาเครื่องมือเพื่อเลื่อนการโหลดคำจำกัดความที่ไม่ค่อยใช้ไปจนกว่าจะจำเป็น
2 การลดจำนวนคำจำกัดความที่ส่งในแต่ละครั้งจึงเป็นแนวทางปรับปรุงที่ควรพิจารณา ไม่ใช่แค่เพิ่มเพดานให้สูงขึ้น
จุดที่ควรตรวจสอบในระบบปัจจุบัน
ตัวเลขเดียวกันอาจนับข้อมูลไม่เหมือนกัน
การตรวจสอบก่อนหน้าเคยนับทั้ง key และ value เป็นโหนด และประเมินข้อมูลที่ขยายจากขนาดเนื้อหา จำนวนโหนด และสตริงที่ถอดรหัสแล้ว แต่ตัวสแกนแบบสตรีมในปัจจุบันเน้นนับเมื่อพบ value ดังนั้นตัวเลข 65,536 จึงอาจไม่ได้แทนความซับซ้อนของคำขอแบบเดียวกัน ดู internal/chatadmission/preflight.go:91, internal/chatadmission/preflight.go:156 และ internal/chatadmission/phase3_scan.go:71.
การประเมินหน่วยความจำไม่ใช่หลักประกันการใช้จริง
การตรวจสอบเดิมประเมินจาก “ขนาดเนื้อหา 4 เท่า + 512 ไบต์ต่อโหนด + ค่าประมาณเพิ่มเติมสำหรับสตริงที่ถอดรหัสแล้ว” ซอร์สโค้ดระบุว่านี่เป็นค่าประมาณแบบเผื่อไว้ ไม่ใช่การวัด heap หรือ RSS จริง อีกทั้งขั้นตอนประมวลผลยังกันงบข้อมูลที่ขยายสำหรับคำขอหนึ่งรายการไว้เต็มจำนวน ดู internal/chatadmission/preflight.go:17 และ internal/chatadmission/processing.go:18.
การประเมินแบบเผื่อไว้มีประโยชน์ต่อการคัดกรองคำขอ แต่ไม่ได้พิสูจน์ว่างบ 64 MiB จะป้องกันการใช้หน่วยความจำเกินของทั้งโปรเซสได้
จุดคอขวดปัจจุบันอาจไม่ใช่เพดานทดลอง 8 MiB
การตั้งค่าแบบสตรีมในปัจจุบันมีเพดานเนื้อหารวมประมาณ 53.8 MiB แต่จำกัด JSON ที่ไม่ใช่สื่อไว้ที่ 512 KiB และกำหนดงบข้อมูลที่ขยายโดยปริยายไว้ที่ 4 MiB ดู internal/chatadmission/phase3.go:10.
นั่นหมายความว่าการแก้เฉพาะค่าทดลองเดิมอาจไม่ได้เปลี่ยนข้อจำกัดหลักของคำขอข้อความ และการเพิ่มเพดาน metadata ก็ไม่ได้รับประกันว่าการแยกวิเคราะห์และการจัดสรรข้อมูลที่ขยายจะยังอยู่ในงบเดิม
เกตเวย์มีนโยบายจัดการ context ของตัวเองด้วย
payload ปัจจุบันมีงบข้อความปลอดภัย 56 รายการ และงบการนับเพื่อส่ง 480,000 หน่วย วิธีนับข้อความใช้การประมาณจากจำนวนตัวอักษร ไม่ใช่ tokenizer ที่แม่นยำของแต่ละผู้ให้บริการ ระบบอาจตัดกลุ่มประวัติข้อความที่สมบูรณ์ออกเมื่อข้อความล้วนเกินงบ แต่คำขอที่มีสื่อจะไม่เข้าสู่เส้นทางบีบอัดแบบเดียวกัน ดู internal/upstream/studioglobal/payload.go:359 และ internal/upstream/studioglobal/payload.go:400.
ดังนั้นการรองรับภาพไม่ได้มีผลแค่เรื่องขนาดภาพ แต่ยังเปลี่ยนวิธีจัดการประวัติสนทนาที่ยาวด้วย ซึ่งควรได้รับการตรวจสอบอย่างจริงจัง
ทดสอบแนวคิดกับเงื่อนไขการใช้งานจริง
- หากยืนยันว่าเกตเวย์เป็นเพียงตัวแปลงขนาดเล็ก ก็ไม่ควรอ้างว่าเป็นการส่งต่อแบบโปร่งใส ขณะเดียวกันกลับลบประวัติหรือปรับวิธีนับโดยไม่แจ้งผู้ใช้ ต้องแยกการแปลงที่จำเป็นตามโปรโตคอลออกจากการจัดการ context ให้ชัดเจน
- หากยังใช้คอนเทนเนอร์ขนาด 256 MiB (
docker-compose.yml:43) ก็ไม่ควรคาดหวังว่าจะรับคำขอใหญ่สุดที่ผู้ให้บริการทุกเจ้ารองรับ เก็บสำเนาข้อมูลที่ผ่านการแยกวิเคราะห์หลายชุด เพิ่มการประมวลผลพร้อมกัน และยังรักษาเป้าหมายการใช้หน่วยความจำเดิมได้พร้อมกัน ต้องเลือกระหว่างวิธีประมวลผล ขนาดเครื่อง และขอบเขตคำขอ - หากระบบมีไว้รองรับ Cline ในเครื่องเป็นหลัก ก็ควรทดสอบว่าคำขอเขียนโค้ดจริงใช้งานได้ก่อน ไม่ใช่จำกัดข้อความที่ถูกต้องไว้ที่ 512 KiB เพียงเพราะต้องการรองรับกรณีเสียงและวิดีโอทั่วไป การตั้งค่ารับการเชื่อมต่อในเครื่องอยู่ที่
docker-compose.yml:29แต่ไม่ได้เป็นเหตุผลให้ยกเลิกการป้องกันทรัพยากร - หากต้องการลบข้อจำกัดความลึก จำนวนโหนด หรือจำนวนรายการ ต้องอธิบายให้ได้ว่าข้อจำกัดด้านขนาดไบต์ เวลา และหน่วยความจำที่เหลือครอบคลุมคำขอที่มีออบเจ็กต์เล็กจำนวนมากอย่างไร คำอธิบายว่า “สุดท้ายข้อมูลก็กลายเป็น tokens” ไม่ได้ตอบเรื่องต้นทุนที่เกิดขึ้นตั้งแต่ก่อนแยกข้อมูลเป็น tokens
สรุป: ควรป้องกันทรัพยากร โดยไม่สร้างเพดานที่ไม่มีหลักฐาน
- คงขอบเขตการรับข้อมูล การป้องกันขั้นตอนแยกวิเคราะห์ การควบคุมคำขอพร้อมกัน timeout และการคืนทรัพยากรไว้
- อย่ายกระดับค่าทดลองทั้งหกให้กลายเป็นข้อกำหนดทั่วไปของระบบ ควรระบุแต่ละค่าให้ชัดว่าป้องกันอะไร อิงหลักฐานใด และส่งผลต่อคำขอที่ถูกต้องอย่างไร
- ตรวจสอบการส่งต่อข้อจำกัด JSON 512 KiB จากเส้นทางที่รองรับสื่อไปยังคำขอข้อความ พร้อมทบทวนงบข้อมูลที่ขยาย ไม่ใช่เปลี่ยนตัวเลขเพียงค่าเดียว
- แยกข้อจำกัดจาก API ต้นทางไว้ในชั้น adapter และข้อจำกัดจากทรัพยากรเครื่องไว้ในชั้น deployment ส่วนการย่อประวัติ context ควรให้ไคลเอนต์จัดการ หากเกตเวย์รับหน้าที่นี้ ต้องระบุเงื่อนไขให้ชัด
หัวใจของเรื่องคือควรจำกัดการใช้ทรัพยากรที่เกินควร ไม่ใช่จำกัดความสามารถที่โมเดลเข้าถึงได้โดยไม่มีเหตุผล แต่การเป็นเกตเวย์ขนาดเล็กก็ไม่ได้ทำให้ระบบมีความจุไม่จำกัด ขณะนี้ยังไม่มีข้อมูลเพียงพอจะเสนอเพดานตัวเลขใหม่ ต้องอาศัยโครงสร้างคำขอจริงจากไคลเอนต์ โปรโตคอลของระบบต้นทาง และหลักฐานด้านทรัพยากรของการติดตั้งประกอบกัน
การวิเคราะห์นี้อ้างอิงซอร์สโค้ดและเอกสารทางการเท่านั้น ไม่มีการแก้ไฟล์ รันทดสอบ หรือยืนยันเวอร์ชันของไบนารีที่กำลังทำงาน
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "เกตเวย์ AI ควรจำกัดคำขอแค่ไหน?" คืออะไร
เกตเวย์จำเป็นต้องมีขอบเขตด้านการรับและประมวลผลข้อมูล แต่ข้อจำกัดของโมเดล ข้อกำหนด API ต้นทาง และทรัพยากรของเกตเวย์เป็นคนละเรื่องกัน
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
เกตเวย์จำเป็นต้องมีขอบเขตด้านการรับและประมวลผลข้อมูล แต่ข้อจำกัดของโมเดล ข้อกำหนด API ต้นทาง และทรัพยากรของเกตเวย์เป็นคนละเรื่องกัน ตัวเลขทดลองอย่างคำขอ 8 MiB, 1,024 ข้อความ หรือ JSON 65,536 โหนด ยังไม่มีหลักฐานรองรับให้ถือเป็นมาตรฐานกลางของผู้ให้บริการ
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
จุดที่ควรทบทวนเร่งด่วนคือข้อจำกัด JSON ที่ไม่ใช่สื่อซึ่งอยู่ที่ 512 KiB และการจัดการประวัติแชตเมื่อมีสื่อประกอบ