คำตอบเผยแพร่แล้ว15 แหล่งที่มา
AI เอเจนต์ทำงานไกลขึ้นได้ แต่อย่าปล่อยให้เทสต์และเอกสารรกจนตามไม่ทัน
อย่าแก้ปัญหาไฟล์เทสต์รกด้วยการหยุดส่งเทสต์ทั้งหมด: เทสต์ระยะยาวช่วยตรวจคุณภาพ ส่วนสคริปต์ทดลองและผลรันชั่วคราวควรแยกออกจากกัน การดึงโค้ดจากคลังกับการติดตั้งไฟล์ลงแพ็กเกจเป็นคนละขอบเขต จึงควรกำหนดรายการไฟล์ที่จะเผยแพร่ให้ชัด จัดเอกสารตามหน้าที่ เช่น รายงานวิเคราะห์ บันทึกการตัดสินใจ และแผนลงมือทำ พร้อมให้โมเดลดึงเฉพา...
เผยแพร่โดยรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- อย่าแก้ปัญหาไฟล์เทสต์รกด้วยการหยุดส่งเทสต์ทั้งหมด: เทสต์ระยะยาวช่วยตรวจคุณภาพ ส่วนสคริปต์ทดลองและผลรันชั่วคราวควรแยกออกจากกัน
- การดึงโค้ดจากคลังกับการติดตั้งไฟล์ลงแพ็กเกจเป็นคนละขอบเขต จึงควรกำหนดรายการไฟล์ที่จะเผยแพร่ให้ชัด
- จัดเอกสารตามหน้าที่ เช่น รายงานวิเคราะห์ บันทึกการตัดสินใจ และแผนลงมือทำ พร้อมให้โมเดลดึงเฉพาะส่วนที่เกี่ยวข้อง
- หลักฐานที่มีชี้ถึงปัญหาการใช้บริบทขนาดยาว แต่ยังไม่รองรับข้อสรุปว่าไฟล์ยาวเกินจำนวนบรรทัดใดแล้วจะทำให้โมเดลหลอน
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W](https://d15bya8fi85z1v.cloudfront.net/chat/oBMfTzLzQzYo7VcXQdEGj2yQgAw1/images/73E9D63489E02AC46209/BEDABC175BE8FCADFC63.png)
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"两个痛点都适合纳入 V4 的“产物生命周期背压”，但不应简化成“测试全部不提交”或“文档全部合并”。建议保留长期质量资产，隔离一次性验证材料，并分别控制仓库维护、安装分发和模型上下文。\n\n本次交付为阶段性调研：仓库静态证据、Geoffrey Huntley 的作者资料及部分学术资料已取得；Python 官方布. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
เมื่อ AI เอเจนต์ได้รับงานต่อเนื่องยาวขึ้น ทีมพัฒนาต้องคิดมากกว่าแค่จะสั่งให้โมเดลทำอะไร แต่ต้องจัดระบบให้ตรวจพบข้อผิดพลาดได้ และไม่ทำให้ไฟล์ชั่วคราวหรือเอกสารกองโตกลายเป็นภาระรอบถัดไป
ข้อเสนอสำหรับ V4 ซึ่งเป็นระบบในบริบทของคลังโค้ดที่ตรวจสอบครั้งนี้ ไม่ใช่การลบเทสต์หรือรวมเอกสารทุกอย่างไว้ในไฟล์เดียว แต่คือการจัดการวงจรชีวิตของไฟล์ให้ชัด ตั้งแต่สร้าง จัดเก็บ ส่งเข้า Git ไปจนถึงติดตั้งใช้งาน
เทสต์รก ไม่ได้แปลว่าเทสต์ทุกชุดควรถูกลบ
จากการตรวจไฟล์แบบสถิต พบว่า CI ของ V4 เรียกใช้ไดเรกทอรี tests/ สำหรับตรวจสัญญาการตั้งค่า การติดตั้ง และการปกป้องไฟล์สินทรัพย์ ดังนั้นการเห็นเทสต์อยู่ในคลังไม่เพียงพอจะสรุปว่าเป็นไฟล์ชั่วคราวที่ไม่จำเป็น ทั้งนี้การตรวจครั้งนี้ไม่ได้รันทดสอบหรือประเมินคุณค่าของแต่ละชุดโดยตรง
ข้อเสนอคือแบ่งไฟล์เป็นสามกลุ่มให้เห็นชัด:
- เทสต์ระยะยาว เช่น เทสต์รีเกรสชัน เทสต์สัญญา และเทสต์ระบบที่จำเป็น ควรเก็บและดูแลต่อ แต่ไม่จำเป็นต้องติดตั้งไปพร้อมตัวโปรแกรม
- สคริปต์ทดลองหรือวินิจฉัยเฉพาะงาน ควรอยู่ในพื้นที่ชั่วคราวที่ได้รับอนุญาต ไม่ควรถูกเพิ่มเข้าไปในชุดไฟล์สำหรับติดตั้ง
- ล็อก ผลรัน และรายงานความครอบคลุม ควรแยกจากซอร์สโค้ด และเก็บเท่าที่จำเป็นต่อการตรวจสอบ
จุดสำคัญคือ “เห็นไฟล์ในคลัง” กับ “ติดตั้งไฟล์ลงในชุดใช้งานจริง” ไม่ใช่เรื่องเดียวกัน ขั้นตอนหนึ่งของ V4 ดึงข้อมูลจากคลัง ส่วนอีกขั้นเลือกไฟล์จากชุดที่กำหนดและรวบรวมเป็นอินพุตสำหรับติดตั้ง จากโครงสร้างนี้อนุมานได้ว่า หากวางไฟล์ชั่วคราวผิดที่ ก็มีความเสี่ยงที่จะถูกนำไปแจกจ่าย แต่ยังไม่มีหลักฐานว่าปัญหานี้เกิดขึ้นแล้ว
แนวทางจัดเทสต์ยังควรเคารพธรรมเนียมของแต่ละภาษา คู่มือ Go แนะนำให้วางไฟล์เทสต์ไว้ในแพ็กเกจเดียวกับโค้ดที่ทดสอบ จึงไม่ควรย้ายเทสต์ Go ทุกชุดไปไว้ในไดเรกทอรีกลางเป็นกฎตายตัว 15 ส่วนหลักฐานที่มีสำหรับการกำหนดแนวทางทั่วไปของ Python ยังไม่เพียงพอ
เอกสารควรแยกตามหน้าที่ ไม่ใช่แข่งกันลดจำนวนไฟล์
V4 มีแนวทางแยกเอกสารวิเคราะห์ บันทึกการตัดสินใจ แผนงาน และสัญญาอยู่แล้ว แต่ข้อกำหนดเรื่องไฟล์ร่างยังชี้ไปยังแนวทางจัดเก็บอีกแบบหนึ่ง การตรวจแบบสถิตจึงบอกได้ว่าการกำหนดวงจรชีวิตของเอกสารยังไม่ครบถ้วน แต่ยังสรุปไม่ได้ว่าทำไมผู้ใช้จึงสร้างโฟลเดอร์ใหม่ตามอำเภอใจในทุกกรณี
แทนที่จะสร้างโฟลเดอร์เพิ่มจำนวนมาก อาจกำหนดบทบาทของเอกสารให้ชัดขึ้น:
- เอกสารวิเคราะห์ เก็บหลักฐาน การเปรียบเทียบ ข้อโต้แย้ง และสิ่งที่ยังไม่รู้ หากเป็นคำปรึกษาทั่วไปและไม่จำเป็นต้องบันทึกถาวร ก็ไม่ต้องสร้างรายงานเพิ่ม
- ADR หรือบันทึกการตัดสินใจทางสถาปัตยกรรม บันทึกการตัดสินใจสำคัญ เหตุผล และข้อจำกัด ไม่ต้องคัดลอกบทวิเคราะห์ทั้งหมดมาใส่ซ้ำ
- แผนดำเนินงาน ระบุขอบเขตที่อนุมัติแล้ว งานที่ต้องทำ ความเชื่อมโยง และเกณฑ์รับมอบ โดยอ้างถึงเอกสารตัดสินใจแทนการเขียนเนื้อหาวิจัยซ้ำ
- เอกสารชั่วคราว เช่น ร่าง อินพุตวินิจฉัย และผลดิบ ควรอยู่ในพื้นที่ชั่วคราวที่กำหนด ไม่ควรกลายเป็นเอกสารทางการเพียงเพราะมีคำว่า “ร่าง” อยู่ในชื่อ
จำนวนไฟล์ การส่งไฟล์เข้า Git การนำไปติดตั้ง และการป้อนให้โมเดลอ่าน เป็นการตัดสินใจคนละเรื่อง การจับทุกอย่างไปรวมในโฟลเดอร์เดียวไม่ได้ทดแทนการกำหนดกติกาเหล่านี้
Backpressure สำหรับเอเจนต์ คือวงจรป้อนกลับ ไม่ใช่การตัดเทสต์ทิ้ง
Geoffrey Huntley เสนอแนวคิดเรื่อง backpressure สำหรับเอเจนต์ โดยเน้นการสร้างโครงสร้างป้อนกลับอัตโนมัติรอบตัวเอเจนต์ เพื่อช่วยตรวจคุณภาพและความถูกต้องระหว่างทำงาน 12 ในตัวอย่างการย้ายซอฟต์แวร์ข้ามภาษา เขาเสนอให้สรุปพฤติกรรมจากเทสต์เป็นสเปกก่อน แล้วจึงนำสเปกไปใช้เป็นแนวทางในการย้ายโค้ด
14
ตัวอย่างการย้ายภาษาเป็นแนวทางสำหรับงานประเภทนั้น ไม่ใช่หลักฐานว่าเอกสารควรมาแทนเทสต์ทุกโครงการ ข้อเสนอที่เหมาะกับ V4 คือเก็บกลไกตรวจสอบที่ยังมีประโยชน์ และลดเฉพาะไฟล์ตรวจสอบที่ซ้ำหรือใช้ครั้งเดียว สเปกช่วยอธิบายพฤติกรรมที่คาดหวัง ส่วนเทสต์ช่วยตรวจพฤติกรรมนั้นได้จริง ทั้งสองอย่างไม่ควรถูกมองว่าใช้แทนกันได้โดยไม่ประเมินก่อน
เอกสารยาวกับความเสี่ยงที่โมเดลอ่านพลาด
งานวิจัยด้านบริบทขนาดยาวพูดถึงข้อจำกัดที่โมเดลอาจใช้ข้อมูลในช่วงกลางของบริบทได้ไม่ดีเท่าที่ควร ขณะที่ HELMET ชี้ว่าการประเมินโมเดลบริบทขนาดยาวควรครอบคลุมงานหลายประเภท ไม่ใช่อาศัยการทดสอบค้นหาข้อมูลแบบง่ายเพียงอย่างเดียว 3
4
หลักฐานเหล่านี้ไม่ได้บอกว่าเอกสารเกินจำนวนบรรทัดตายตัวแล้วโมเดลจะเกิดภาพหลอน และยังไม่สามารถนำไปคำนวณความเสี่ยงเฉพาะของ V4 ได้ สิ่งที่ทำได้ในทางปฏิบัติคือแบ่งเอกสารตามหัวข้อและขอบเขตการตัดสินใจ ให้โมเดลอ่านเฉพาะส่วนที่เกี่ยวกับงาน และใช้บทสรุปสั้น ๆ ชี้ไปยังหลักฐาน ตลอดจนสิ่งที่ยังไม่ทราบ แทนการป้อนล็อกและรายงานเก่าทั้งหมดซ้ำทุกครั้ง
ข้อเสนอที่ทำได้โดยไม่เพิ่มกระบวนการให้หนักขึ้น
- ก่อนสร้างไฟล์ ระบุว่าจะใช้ทำอะไร และตรวจว่าต่อยอดจากเทสต์หรือเอกสารเดิมได้หรือไม่
- ก่อนบันทึกลงดิสก์ กำหนดตำแหน่ง สิทธิ์การเก็บถาวร การส่งเข้า Git และการนำไปติดตั้ง หากไม่แน่ใจ อย่าสร้างโฟลเดอร์ใหม่เอง
- ก่อนส่งโค้ด ตรวจไฟล์ชั่วคราว ข้อมูลอ่อนไหว เทสต์ซ้ำ และเอกสารซ้ำ โดยไม่ใช้วิธีปิดหรือเพิกเฉยต่อเทสต์ทั้งหมด
- ก่อนติดตั้งหรือแจกจ่าย ตรวจขอบเขตไฟล์ให้แน่ใจว่าไม่มีวัสดุทดลองปะปน พร้อมรักษาการตรวจสอบสินทรัพย์ที่จำเป็นไว้
- ก่อนลบไฟล์ ตรวจว่ามีหลักฐานข้อผิดพลาด งานที่ยังดำเนินอยู่ หรือเอกสารอื่นอ้างอิงไฟล์นั้นหรือไม่ การที่งานเสร็จหรือไฟล์เก่าแล้วไม่ได้แปลว่าอนุญาตให้ลบโดยอัตโนมัติ
ข้อสรุปจากการทบทวนครั้งนี้คือ V4 ควรเริ่มจากการกำหนดพื้นที่สำหรับไฟล์ชั่วคราวและขอบเขตไฟล์ที่จะติดตั้งให้ชัด แล้วจึงจัดบทบาทเอกสารและวิธีดึงข้อมูลเข้าโมเดล ยังไม่มีเหตุผลเพียงพอที่จะย้ายเทสต์ Go ทั้งหมด หยุดส่งเทสต์ระยะยาว หรือรวบเอกสารทุกประเภทไว้ไฟล์เดียว
นี่เป็นข้อเสนอจากการตรวจหลักฐานแบบสถิตและการค้นคว้าบางส่วน ไม่ใช่การตรวจสอบครบทุกแหล่ง งานทดสอบไม่ได้ถูกรัน และไม่มีการแก้ไขไฟล์หรือเปลี่ยนแปลงระบบจริง
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "AI เอเจนต์ทำงานไกลขึ้นได้ แต่อย่าปล่อยให้เทสต์และเอกสารรกจนตามไม่ทัน" คืออะไร
อย่าแก้ปัญหาไฟล์เทสต์รกด้วยการหยุดส่งเทสต์ทั้งหมด: เทสต์ระยะยาวช่วยตรวจคุณภาพ ส่วนสคริปต์ทดลองและผลรันชั่วคราวควรแยกออกจากกัน
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
อย่าแก้ปัญหาไฟล์เทสต์รกด้วยการหยุดส่งเทสต์ทั้งหมด: เทสต์ระยะยาวช่วยตรวจคุณภาพ ส่วนสคริปต์ทดลองและผลรันชั่วคราวควรแยกออกจากกัน การดึงโค้ดจากคลังกับการติดตั้งไฟล์ลงแพ็กเกจเป็นคนละขอบเขต จึงควรกำหนดรายการไฟล์ที่จะเผยแพร่ให้ชัด
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
จัดเอกสารตามหน้าที่ เช่น รายงานวิเคราะห์ บันทึกการตัดสินใจ และแผนลงมือทำ พร้อมให้โมเดลดึงเฉพาะส่วนที่เกี่ยวข้อง
แหล่งที่มา
go.devAdd a test
ghuntley.comdon't waste your back pressure
doi.orgFound in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding