คำตอบเผยแพร่แล้ว23 แหล่งที่มา
โมเดล SenseTime ใช้ชั้น Transformer ซ้ำ เพิ่มขั้นคำนวณโดยไม่เพิ่มชุดน้ำหนัก
เปิดตัวเมื่อ 30 ตุลาคม 2026 โมเดลนี้รัน decoder 24 ชั้นช่วงกลางซ้ำสองครั้ง จึงเกิดการทำงาน 56 รอบจากชั้นที่ไม่ซ้ำกัน 32 ชั้น โดยใช้ชุดน้ำหนักของบล็อกเดิมร่วมกัน [7][45] SenseNova ระบุว่ามีพารามิเตอร์รวมราว 9 พันล้าน และพารามิเตอร์สำหรับการอนุมานราว 14.6 พันล้าน ตัวเลขสองชุดนี้ไม่ควรตีความว่าเป็นน้ำหนักที่จัดเก็บแยกก...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- เปิดตัวเมื่อ 30 ตุลาคม 2026 โมเดลนี้รัน decoder 24 ชั้นช่วงกลางซ้ำสองครั้ง จึงเกิดการทำงาน 56 รอบจากชั้นที่ไม่ซ้ำกัน 32 ชั้น โดยใช้ชุดน้ำหนักของบล็อกเดิมร่วมกัน [7][45]
- SenseNova ระบุว่ามีพารามิเตอร์รวมราว 9 พันล้าน และพารามิเตอร์สำหรับการอนุมานราว 14.6 พันล้าน ตัวเลขสองชุดนี้ไม่ควรตีความว่าเป็นน้ำหนักที่จัดเก็บแยกกันทั้งหมด [6]
- โมเดลรับข้อความและภาพแล้วสร้างข้อความ รองรับการฝึกด้วยลำดับยาวสูงสุด 262,144 โทเคน แต่ความยาวที่รองรับไม่ได้รับประกันว่าจะทำงานได้ดีเท่ากันกับทุกโจทย์ [6][7]
- คำกล่าวอ้างด้านผลทดสอบมาจาก SenseTime ขณะที่รายงานทางเทคนิคยังระบุว่า “TBD” จึงควรแยกผลที่บริษัทนำเสนอออกจากประสิทธิภาพที่มีการตรวจสอบอย่างอิสระ [1][16]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is SenseTime’s SenseNova-Loop-9B-Preview, open-sourced on October 30, 2026, and how do its Apache 2.0 weights on Hugging Face and code. Article summary: SenseNova-Loop-9B-Preview is SenseTime’s open-weight multimodal model for long-context and agent workflows, released on October 30, 2026, with Apache 2.0 weights on Hugging Face and a public GitHub repository.[6][12][7][. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
SenseTime เปิดตัว SenseNova-Loop-9B-Preview เมื่อ 30 ตุลาคม 2026 เป็นโมเดลมัลติโหมดแบบเปิดน้ำหนักสำหรับงานที่ใช้บริบทขนาดยาวและเวิร์กโฟลว์แบบเอเจนต์ จุดเด่นไม่ใช่การเพิ่มชุดน้ำหนักของทุกชั้น แต่คือการนำชั้น decoder ช่วงกลางกลับมาใช้ซ้ำ ทำให้โมเดลมีขั้นคำนวณมากกว่าจำนวนชั้นที่ไม่ซ้ำกัน 7
45
น้ำหนักโมเดลเผยแพร่บน Hugging Face ส่วนโค้ดเปิดให้ดูบน GitHub และโครงการระบุสัญญาอนุญาต Apache 2.0 7
16
20
25 อย่างไรก็ตาม คำกล่าวว่าทำผลงานได้ใกล้เคียงโมเดลขนาดใหญ่กว่าควรพิจารณาในฐานะผลทดสอบที่ SenseTime รายงาน ไม่ใช่หลักประกันว่าจะมีความสามารถเทียบเท่ากันในทุกงาน
จาก decoder 32 ชั้น สู่การทำงาน 56 รอบ
การคำนวณหนึ่งรอบของโมเดลเริ่มจาก 4 ชั้นแรก จากนั้นรันชั้นที่ 4 ถึง 27 ซึ่งมี 24 ชั้นซ้ำสองรอบด้วยน้ำหนักชุดเดิม ก่อนผ่าน 4 ชั้นสุดท้าย เมื่อนับการทำงานทั้งหมดจึงได้ 56 รอบ ได้แก่ 4 รอบแรก 48 รอบในบล็อกที่ทำซ้ำ และ 4 รอบท้าย 45
จุดสำคัญคือความต่างระหว่าง จำนวนชั้นที่ไม่ซ้ำกัน กับ จำนวนครั้งที่ชั้นทำงาน โมเดลมีชั้น decoder 32 ชั้นที่แตกต่างกัน แต่การวนซ้ำบล็อกกลางทำให้เกิดการคำนวณเพิ่ม โดยไม่ต้องเก็บน้ำหนักอีกชุดสำหรับการทำงานรอบที่สองของบล็อกนั้น
การเพิ่มรอบคำนวณไม่ได้แปลว่าจะประมวลผลเร็วขึ้นหรือใช้ทรัพยากรน้อยลงโดยอัตโนมัติ ความเร็วและการใช้ทรัพยากรจริงขึ้นอยู่กับการนำไปติดตั้งและสภาพแวดล้อมที่ใช้งาน
เอกสารระบุพารามิเตอร์รวมประมาณ 9 พันล้าน และ “พารามิเตอร์สำหรับการอนุมาน” ประมาณ 14.6 พันล้าน 6 ตัวเลขนี้เป็นการนับคนละแบบ ไม่ควรอ่านว่ามีน้ำหนัก 14.6 พันล้านตัวที่จัดเก็บแยกกัน หรือใช้ยืนยันว่าโมเดลทำงานได้เหมือนโมเดลทั่วไปที่มีพารามิเตอร์ขนาดดังกล่าว
mHC และรูปแบบ attention ทำหน้าที่อะไร
ในบล็อกที่วนซ้ำ โมเดลใช้การเชื่อมต่อแบบ manifold-constrained hyper-connections หรือ mHC แบบสองสตรีม โดยมี residual stream สองทางนำข้อมูลผ่านการคำนวณของ decoder ส่วน mapping ที่เรียนรู้ได้จะช่วยควบคุมการอ่านและผสมข้อมูลระหว่างสตรีม รวมถึงการนำผลลัพธ์จากแต่ละชั้นกลับเข้าสู่สถานะของโมเดล เอกสารโครงการระบุว่าใช้ Sinkhorn normalization จำกัดการผสมข้อมูลระหว่างสตรีม โดยตั้งค่า 2 สตรีมและทำ normalization 20 รอบ 8
20
เอกสารสรุปสถาปัตยกรรมยังระบุรูปแบบ attention ที่สลับระหว่าง linear attention 3 ชั้น กับ full attention 1 ชั้น 32 นี่เป็นรายละเอียดด้านการออกแบบ แต่เพียงอย่างเดียวไม่ได้พิสูจน์ว่าโมเดลจะเร็วขึ้นหรือทำงานได้ดีกว่าสำหรับทุกประเภทงาน
อินพุต บริบทยาว และงานที่มุ่งรองรับ
SenseNova-Loop-9B-Preview รับข้อความและภาพ แล้วสร้างผลลัพธ์เป็นข้อความ SenseTime วางตำแหน่งโมเดลสำหรับงานอย่างการทำความเข้าใจเอกสาร การเขียนโค้ด และการทำงานร่วมกับเครื่องมือภายนอก 7 สูตรการฝึกที่มีเอกสารประกอบรองรับลำดับยาวสูงสุด 262,144 โทเคน และครอบคลุมอินพุตมัลติโหมดกับตัวอย่างเส้นทางการทำงานที่มีการกำกับ
6 TechNode ระบุว่าชุดข้อมูลฝึกมีทั้งข้อความ ภาพ โค้ด และตัวอย่างการใช้เครื่องมือ
30
แต่ความยาวลำดับสูงสุดที่ใช้ฝึกไม่ใช่คำรับรองว่าโมเดลจะค้นคืนข้อมูลหรือให้เหตุผลจากทุกส่วนของอินพุตที่ยาวที่สุดได้อย่างน่าเชื่อถือ การใช้งานจริงจึงควรทดสอบกับโจทย์และข้อมูลที่ต้องการใช้โดยตรง
ผลทดสอบบอกอะไร และยังตอบอะไรไม่ได้
SenseTime โปรโมตว่าโมเดลทำผลงานได้ในระดับใกล้เคียงโมเดลคลาส 27B และเน้นการเปรียบเทียบกับ Qwen3.5-27B บน WorkBuddy Bench, RaccoonPPT Bench และ AutomationBench 16
36 ตัวเลขเหล่านี้เป็นคำกล่าวอ้างจากบริษัทในชุดการทดสอบที่เลือกมา ไม่ได้แสดงว่าโมเดลมีผลเทียบเท่ากันในทุกงาน ข้อมูลที่มีอยู่ยังไม่เพียงพอสำหรับตรวจสอบรายละเอียดการประเมินหรือสรุปว่าผลจะครอบคลุมไปถึงการใช้งานทั่วไป
ใน model card มีการแสดงผลจากหลายชุดทดสอบ เช่น BIRD-Dev, WorkBuddy Bench, AIDABench, TeamBench, Terminal Bench 2.1, T³-Banking, AutomationBench และ RaccoonPPTBench 17 การมีชื่อ benchmark อยู่ในรายการไม่ได้ยืนยันด้วยตัวเองว่าโมเดลชนะ หรือบอกว่าคะแนนได้มาจากวิธีทดสอบแบบใด อีกทั้งรายงานทางเทคนิคยังแสดงสถานะว่า “TBD” ทำให้ผู้อ่านยังไม่มีรายละเอียดวิธีการและผลการประเมินฉบับเต็ม
1
สถานะการเร่งความเร็วขณะอนุมาน
เอกสารระบุว่ารองรับ Multi-Token Prediction หรือ MTP สำหรับเร่งการอนุมาน 6
20 แต่การรองรับวิธีดังกล่าวไม่เท่ากับมีผลวัดยืนยันว่าจะเร็วขึ้นเท่าใด แหล่งข้อมูลที่มีไม่ได้ระบุตัวเลขเวลาแฝงหรือ throughput ที่ใช้เปรียบเทียบข้ามฮาร์ดแวร์และลักษณะงาน
ส่วน Dspark และ Dflash2 ยังอยู่ระหว่างการพัฒนาและฝึกโมเดล เอกสารมีคำแนะนำที่เกี่ยวข้องกับเส้นทางการฝึก 5
20 ซึ่งยืนยันได้ว่ามีขั้นตอนการฝึกให้ศึกษา แต่ไม่ได้หมายความว่ามี draft checkpoint ที่พร้อมใช้งานทั่วไป หรือมีผลเร่งความเร็วที่ผ่านการตรวจสอบอย่างอิสระแล้ว
สรุป: เพิ่มความลึกด้วยการใช้บล็อกเดิมซ้ำ
SenseNova-Loop-9B-Preview ทดลองแลกเปลี่ยนระหว่างการใช้คอมพิวต์กับการจัดเก็บน้ำหนัก โดยนำบล็อก decoder ช่วงกลางกลับมาใช้ซ้ำเพื่อเพิ่มจำนวนขั้นคำนวณ โดยไม่ต้องสร้างน้ำหนักอีกชุดสำหรับบล็อกนั้น ตัวเลขพารามิเตอร์ การรองรับบริบทยาว และผลทดสอบที่บริษัทนำเสนอจึงควรแยกออกจากคำถามเรื่องความเร็วขณะใช้งานและความสามารถที่ได้รับการยืนยันอย่างอิสระ หากจะเลือกใช้จริง สิ่งสำคัญคือทดสอบคุณภาพ หน่วยความจำ และเวลาในการประมวลผลกับงานและระบบที่จะนำไปใช้
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "โมเดล SenseTime ใช้ชั้น Transformer ซ้ำ เพิ่มขั้นคำนวณโดยไม่เพิ่มชุดน้ำหนัก" คืออะไร
เปิดตัวเมื่อ 30 ตุลาคม 2026 โมเดลนี้รัน decoder 24 ชั้นช่วงกลางซ้ำสองครั้ง จึงเกิดการทำงาน 56 รอบจากชั้นที่ไม่ซ้ำกัน 32 ชั้น โดยใช้ชุดน้ำหนักของบล็อกเดิมร่วมกัน [7][45]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
เปิดตัวเมื่อ 30 ตุลาคม 2026 โมเดลนี้รัน decoder 24 ชั้นช่วงกลางซ้ำสองครั้ง จึงเกิดการทำงาน 56 รอบจากชั้นที่ไม่ซ้ำกัน 32 ชั้น โดยใช้ชุดน้ำหนักของบล็อกเดิมร่วมกัน [7][45] SenseNova ระบุว่ามีพารามิเตอร์รวมราว 9 พันล้าน และพารามิเตอร์สำหรับการอนุมานราว 14.6 พันล้าน ตัวเลขสองชุดนี้ไม่ควรตีความว่าเป็นน้ำหนักที่จัดเก็บแยกกันทั้งหมด [6]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
โมเดลรับข้อความและภาพแล้วสร้างข้อความ รองรับการฝึกด้วยลำดับยาวสูงสุด 262,144 โทเคน แต่ความยาวที่รองรับไม่ได้รับประกันว่าจะทำงานได้ดีเท่ากันกับทุกโจทย์ [6][7]