คำตอบเผยแพร่แล้ว16 แหล่งที่มา
ไม่ต้องทำเกตเวย์สองชุด: แยกสิทธิ์ให้เครื่องมือพัฒนาและมินิโปรแกรม
ไม่จำเป็นต้องแยกบริการตามสองกรณีใช้งาน ใช้ชั้นควบคุมสิทธิ์ร่วมกันได้ แต่ควรแยกคีย์ของสภาพแวดล้อมพัฒนาออกจากคีย์บริการของแบ็กเอนด์ ให้มินิโปรแกรมเรียกแบ็กเอนด์เดิม ส่วนแบ็กเอนด์จึงค่อยเชื่อมต่อ Aurora ผ่านบริการภายในหรือชั้นรับคำขอที่เชื่อถือได้ New API และ LiteLLM เป็นตัวเลือกสำหรับประเมิน แต่ยังต้องทดสอบการเชื่อมต่...
เผยแพร่โดยรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- ไม่จำเป็นต้องแยกบริการตามสองกรณีใช้งาน ใช้ชั้นควบคุมสิทธิ์ร่วมกันได้ แต่ควรแยกคีย์ของสภาพแวดล้อมพัฒนาออกจากคีย์บริการของแบ็กเอนด์
- ให้มินิโปรแกรมเรียกแบ็กเอนด์เดิม ส่วนแบ็กเอนด์จึงค่อยเชื่อมต่อ Aurora ผ่านบริการภายในหรือชั้นรับคำขอที่เชื่อถือได้
- New API และ LiteLLM เป็นตัวเลือกสำหรับประเมิน แต่ยังต้องทดสอบการเชื่อมต่อกับ Aurora และตรวจสอบการทำงานที่ต้องใช้จริง
- การใช้คีย์บริการร่วมกันไม่ได้ทำให้มีโควตาแยกตามผู้ใช้หรือแยกตามงาน Agent โดยอัตโนมัติ
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/ySLMZsrSDBTccvCwpZTVG73koRc2/images/EAE3483F02C4E18623A6/51890A64D8422D67DDA4.png)
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"不需要独立开发两个服务：这是两个权限不同的接入场景，可以共用一个访问控制层。小程序的模型调用地址和服务密钥应配置在已有业务后端，不是小程序客户端。\n\n 1.. Topic tags: general web, openai, llm, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make i
สรุป: ใช้ชั้นควบคุมเดียวได้ แต่ต้องแยกสิทธิ์ตามการใช้งาน
ไม่จำเป็นต้องพัฒนาหรือเปิดบริการ AI Gateway แยกกันสองชุด เพียงเพราะมีทั้งเครื่องมือพัฒนาและมินิโปรแกรม ทั้งสองกรณีใช้ชั้นควบคุมสิทธิ์ร่วมกันได้ แต่ควรมีข้อมูลรับรองและขอบเขตการใช้งานแยกกัน
จุดสำคัญคือ อย่าใส่ที่อยู่บริการโมเดลหรือคีย์ของเกตเวย์ไว้ในโค้ดมินิโปรแกรม ให้แอปเรียกแบ็กเอนด์เดิม แล้วให้แบ็กเอนด์เป็นผู้เชื่อมต่อไปยังบริการ AI
แบ่งหน้าที่เป็นสามชั้น
| ชั้น | หน้าที่ | แนวทาง |
|---|---|---|
| ชั้นควบคุมการเข้าถึง AI | จัดการคีย์นักพัฒนาและคีย์บริการ สิทธิ์เข้าถึงโมเดล โควตา และการส่งต่อคำขอ | เพิ่มในแบ็กเอนด์เดิม หรือใช้บริการรับคำขอที่ติดตั้งแยก |
| แบ็กเอนด์ของมินิโปรแกรม | จัดการการเข้าสู่ระบบ งานของผู้ใช้ โควตารายคน และงบประมาณของงาน Agent | คงไว้ในแบ็กเอนด์เดิม |
| Aurora Gateway | ปรับรูปแบบการเชื่อมต่อกับบริการต้นทางและเรียกโมเดล | ใช้งานแบบส่วนตัวตามโครงสร้างเดิม |
สำหรับเครื่องมือพัฒนา สิ่งที่เพิ่มคือทางเข้าที่จำกัดสิทธิ์ ส่วนฝั่งมินิโปรแกรมคือการเชื่อมแบ็กเอนด์เข้ากับบริการโมเดล พร้อมเพิ่มการควบคุมงบประมาณของงานหากระบบยังไม่มีอยู่ หากมี Agent ในแบ็กเอนด์แล้ว ก็ไม่จำเป็นต้องเขียน Agent ใหม่ แต่การใส่ค่าการเชื่อมต่อเพียงอย่างเดียวก็ไม่ได้ทำให้เกิดโควตารายผู้ใช้หรือการแยกงานโดยอัตโนมัติ
API และคีย์ควรตั้งไว้ตรงไหน
| ตำแหน่ง | ปลายทางที่เรียก | ข้อมูลรับรอง |
|---|---|---|
| VPS สำหรับพัฒนาที่ไม่น่าเชื่อถือ | ทางเข้าเพื่อพัฒนาที่จำกัดสิทธิ์และอยู่ในสภาพแวดล้อมที่เชื่อถือได้ | คีย์พัฒนาเฉพาะของแต่ละสภาพแวดล้อม |
| แอปมินิโปรแกรม | แบ็กเอนด์เดิม | สถานะการเข้าสู่ระบบของผู้ใช้ ไม่ใช่คีย์ของเกตเวย์ |
| แบ็กเอนด์มินิโปรแกรม | บริการรับคำขอส่วนตัวหรือ Aurora แบบส่วนตัว | คีย์บริการแยกต่างหาก หรือข้อมูลยืนยันตัวตนบนเครือข่ายภายในที่ควบคุมไว้ |
| บริการรับคำขอ | Aurora แบบส่วนตัว | ค่าการเชื่อมต่อภายใน โดยไม่ส่งต่อคีย์พัฒนา |
แยกคีย์พัฒนา คีย์บริการของแบ็กเอนด์ และข้อมูลรับรองของบริการต้นทางออกจากกัน หากสภาพแวดล้อมพัฒนาไม่น่าเชื่อถือ ผู้ดูแลสภาพแวดล้อมนั้นอาจเข้าถึงคีย์ที่ใช้ได้ จึงควรให้บริการที่เชื่อถือได้เป็นผู้บังคับใช้ข้อจำกัด ไม่ใช่อาศัยให้ VPS ปฏิบัติตามข้อกำหนดเอง
สองทางเลือกในการติดตั้ง
ทางเลือก A: เพิ่มความสามารถในแบ็กเอนด์เดิม
- เครื่องมือพัฒนาที่ไม่น่าเชื่อถือ → ทางเข้าเพื่อพัฒนาที่จำกัดสิทธิ์ในแบ็กเอนด์เดิม → Aurora ส่วนตัว
- มินิโปรแกรม → ทางเข้าใช้งานของแบ็กเอนด์เดิม → Aurora ส่วนตัว
แนวทางนี้ไม่ต้องเพิ่มโปรเซสใหม่ และใช้โมดูลควบคุมสิทธิ์ ฐานข้อมูล และการเชื่อมต่อร่วมกับระบบเดิมได้ เหมาะเมื่อมีคีย์พัฒนาไม่มากและไม่จำเป็นต้องมีหน้าจอจัดการคีย์
อย่างไรก็ตาม ทีมต้องพัฒนาการเพิกถอนคีย์ การตัดโควตาเมื่อมีคำขอพร้อมกัน การส่งข้อมูลแบบสตรีม และการส่งต่อคำสั่งยกเลิกงานเอง จึงไม่ใช่แค่เพิ่มค่าการตั้งค่าสองรายการ
ทางเลือก B: ติดตั้งบริการรับคำขอแยกหนึ่งชุด
- เครื่องมือพัฒนาที่ไม่น่าเชื่อถือ → บริการรับคำขอแยก → Aurora ส่วนตัว
- มินิโปรแกรม → แบ็กเอนด์เดิม → บริการรับคำขอชุดเดียวกัน → Aurora ส่วนตัว
ติดตั้งบริการนี้เป็นโปรเซสหรือคอนเทนเนอร์บน VPS ที่เชื่อถือได้ แล้วใช้คีย์คนละชุดสำหรับเครื่องมือพัฒนาและแบ็กเอนด์ บริการรับคำขอจัดการการเรียกโมเดลทั่วไป ส่วนแบ็กเอนด์เดิมยังรับผิดชอบตัวตนผู้ใช้และงาน Agent ของมินิโปรแกรม
ไม่จำเป็นต้องติดตั้งบริการแยกสำหรับแต่ละกรณีใช้งาน และไม่จำเป็นต้องฝังบริการดังกล่าวเข้าไปในซอร์สโค้ดของ Aurora
โอเพนซอร์สที่นำมาประเมินได้
New API: เหมาะกับการประเมินหน้าจอจัดการคีย์
New API เป็นเกตเวย์ AI แบบโอเพนซอร์ส มีขั้นตอนติดตั้งด้วย Docker การตั้งค่าช่องทางโมเดล และจุดเรียก API ที่รองรับรูปแบบ OpenAI 3
4
เอกสารทางการระบุความสามารถด้านโควตาของคีย์ การจำกัดโมเดล และการสร้าง แก้ไข หรือลบคีย์ 12
15 อาจลองตั้ง Aurora เป็นผู้ให้บริการต้นทางแบบกำหนดเอง แล้วสร้างคีย์แยกสำหรับนักพัฒนาและแบ็กเอนด์ แต่ยังต้องตรวจสอบการเชื่อมต่อกับ Aurora ในระบบจริง
1
หากต้องการลดงานพัฒนาระบบจัดการคีย์ และอยากควบคุมสิทธิ์กับโควตาผ่านหน้าจอ New API เป็นตัวเลือกที่ควรนำมาทดสอบก่อน
LiteLLM Proxy: เหมาะกับการจัดการผ่านการตั้งค่าและระบบโปรแกรม
LiteLLM มีเกตเวย์แบบโฮสต์เองที่ใช้ API รูปแบบ OpenAI รองรับการเชื่อมต่อบริการที่เข้ากันได้ และมีระบบ virtual key 8
10
5
เอกสารการติดตั้งระบุว่าต้องใช้ PostgreSQL สำหรับข้อมูลคีย์ ผู้ใช้ การใช้งาน และการติดตามการยืนยันตัวตนที่เกี่ยวข้อง จึงไม่ควรประเมินว่าเป็นพร็อกซีขนาดเล็กที่ไม่ต้องมีฐานข้อมูล 11 หากมี PostgreSQL อยู่แล้วและต้องการจัดการผ่านการตั้งค่าหรือรองรับหลายโมเดล ก็อาจนำมาพิจารณาได้
ความสามารถตามเอกสารของทั้งสองโครงการไม่ได้ยืนยันว่าเชื่อมกับ Aurora ได้แล้ว หรือรับประกันความปลอดภัยและความหน่วงตามที่ระบบต้องการ ควรทดสอบกับรูปแบบการใช้งานจริงก่อนเลือก
แม้ใช้บริการสำเร็จรูป ก็ยังต้องดูแลเรื่องเหล่านี้
- ยืนยันตัวตนผู้ใช้มินิโปรแกรม และผูกงานให้เป็นของผู้ใช้ที่ถูกต้อง
- กำหนดโควตาทดลองต่อผู้ใช้ รวมถึงจำนวนครั้งเรียกโมเดลและจำนวนครั้งเรียกเครื่องมือสูงสุดต่องาน
- วางการจัดการเมื่อคำขอหมดเวลา ถูกยกเลิก หรือต้องลองใหม่ รวมถึงช่องทางปิดระบบฉุกเฉิน
- เก็บข้อมูลประสบการณ์ส่วนตัวเท่าที่จำเป็น และปกปิดข้อมูลอ่อนไหวในบันทึกระบบ
โปรดระวังว่าเมื่อแบ็กเอนด์ใช้คีย์บริการร่วมกัน โควตารวมของคีย์นั้นไม่ได้แปลว่าผู้ใช้มินิโปรแกรมแต่ละคนมีโควตาแยกกัน
ก่อนเลือกใช้งาน ควรตรวจสอบการส่งข้อมูลแบบสตรีม การเรียกใช้เครื่องมือ ชื่อโมเดลที่กำหนดเอง การคิดโควตา ตลอดจนขอบเขตงบประมาณเมื่อมีคำขอพร้อมกันหรือมีการลองใหม่ และอย่าปล่อยให้หน้าจอผู้ดูแลระบบหรือ Aurora โดยตรงกลายเป็นทางเข้าที่ข้ามการควบคุมสิทธิ์ได้
แนวทางเลือกแบบสั้น ๆ
- มีผู้ใช้เป็นนักพัฒนาจำนวนน้อยและไม่ต้องการหน้าจอจัดการคีย์: เพิ่มความสามารถในแบ็กเอนด์เดิม เพื่อลดจำนวนบริการที่ต้องดูแล
- ต้องการหน้าจอจัดการคีย์ สิทธิ์โมเดล และโควตา: ทดลอง New API หนึ่งชุด แล้วเพิ่มการเชื่อมต่อทางธุรกิจและการควบคุมงานในแบ็กเอนด์มินิโปรแกรม
- ไม่จำเป็นต้องติดตั้ง New API และ LiteLLM ซ้อนกัน และการเพิ่มชั้นรับคำขอก็ไม่ได้รับประกันว่าจะไม่มีผลต่อความหน่วง
หากมีจุดเชื่อมต่อ HTTPS ภายนอกที่เชื่อถือได้อยู่แล้ว อาจใช้ร่วมกับระบบเดิมได้ หากยังไม่มี ต้องกำหนดวิธีทำ TLS ให้ชัดเจน ส่วนการใช้คีย์ว่างทำได้เฉพาะบนเครือข่ายส่วนตัวที่ควบคุมอย่างเข้มงวดเท่านั้น ห้ามเปิดให้ไคลเอนต์ที่ไม่น่าเชื่อถือเข้าถึง
ขอบเขตของข้อเสนอแนะนี้: ไม่ได้เสนอให้เขียนมินิโปรแกรมหรือ Agent ใหม่ ไม่ได้แก้โครงสร้างหลักของ Aurora และไม่ได้สร้างระบบกระจายโหลดใหม่ นี่เป็นคำแนะนำด้านการเลือกและการเชื่อมต่อเท่านั้น ยังไม่มีการแก้ไฟล์ ติดตั้งบริการ หรือทดสอบความเข้ากันได้ในการใช้งานจริง
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "ไม่ต้องทำเกตเวย์สองชุด: แยกสิทธิ์ให้เครื่องมือพัฒนาและมินิโปรแกรม" คืออะไร
ไม่จำเป็นต้องแยกบริการตามสองกรณีใช้งาน ใช้ชั้นควบคุมสิทธิ์ร่วมกันได้ แต่ควรแยกคีย์ของสภาพแวดล้อมพัฒนาออกจากคีย์บริการของแบ็กเอนด์
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
ไม่จำเป็นต้องแยกบริการตามสองกรณีใช้งาน ใช้ชั้นควบคุมสิทธิ์ร่วมกันได้ แต่ควรแยกคีย์ของสภาพแวดล้อมพัฒนาออกจากคีย์บริการของแบ็กเอนด์ ให้มินิโปรแกรมเรียกแบ็กเอนด์เดิม ส่วนแบ็กเอนด์จึงค่อยเชื่อมต่อ Aurora ผ่านบริการภายในหรือชั้นรับคำขอที่เชื่อถือได้
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
New API และ LiteLLM เป็นตัวเลือกสำหรับประเมิน แต่ยังต้องทดสอบการเชื่อมต่อกับ Aurora และตรวจสอบการทำงานที่ต้องใช้จริง