Doubao Work เปิดตัวในฐานะผลิตภัณฑ์ AI สำหรับการทำงานแบบแยกต่างหากของ ByteDance ช่วงปลายเดือนสิงหาคม 2026 โดยเชื่อมต่อกับ Lark แพลตฟอร์มทำงานร่วมกันของบริษัท สามารถแยกงาน เรียกใช้เครื่องมือ ดำเนินเวิร์กโฟลว์ซับซ้อน และควบคุมเดสก์ท็อปเสมือนกับเบราว์เซอร์ได้เมื่อผู้ใช้อนุญาต 4751

ต่อมาในวันที่ 2 กันยายน ผลิตภัณฑ์เพิ่มความสามารถ 2 ส่วน ได้แก่ การทำงานแบบหลายเอเจนต์ขนานกัน และ “Operate Computer” สำหรับควบคุม GUI ในเครื่องบน macOS 1923

ประเด็นสำคัญจึงไม่ใช่จำนวนเอเจนต์ที่แสดงบนหน้าจอ แต่คือคำถามเชิงปฏิบัติว่า งานธุรกิจจริงสามารถแยกเป็นส่วนที่ไม่ต้องรอกัน และจบงานได้อย่างน่าเชื่อถือหรือไม่

อะไรเปลี่ยนไปในการอัปเดตครั้งนี้

หลายเอเจนต์ทำงานแบบขนาน

Doubao Work ใช้เอเจนต์หลักทำหน้าที่ประสานงาน เพื่อทำความเข้าใจคำขอที่ซับซ้อน แบ่งเป็นโมดูลเฉพาะทาง ส่งต่อให้เอเจนต์ย่อยทำงานพร้อมกัน แล้วจึงประกอบผลทั้งหมดเป็นชิ้นงานเดียว ตัวอย่างที่มีรายงานคือการวิเคราะห์คู่แข่ง ซึ่งแยกเอเจนต์สำหรับเก็บข้อมูล วางโครงรายงาน และทำกราฟ 1823

ฟีเจอร์นี้มีในไคลเอนต์เดสก์ท็อป ผู้ใช้เลือกสภาพแวดล้อมคอมพิวเตอร์ในเครื่อง แล้วสั่งให้ Doubao Work ใช้เอเจนต์ย่อยหลายตัวทำงานนั้นได้โดยตรง 1923

“Operate Computer” บน macOS

อัปเดตเดียวกันนี้ขยายความสามารถควบคุม GUI ในเครื่องไปยัง Mac หลังได้รับอนุญาตจากผู้ใช้ ระบบสามารถดูสิ่งที่ปรากฏบนหน้าจอ และจำลองการใช้เมาส์กับคีย์บอร์ดในแอปต่าง ๆ ได้ โดยไม่ต้องพึ่ง MCP, API, ปลั๊กอิน หรือ CLI (ส่วนติดต่อแบบบรรทัดคำสั่ง) ทั้งนี้ฟีเจอร์ดังกล่าวมีอยู่บน Windows มาก่อนแล้ว และผู้ใช้สามารถเข้าควบคุมเองหรือหยุดงานได้ทุกเมื่อ 1923

ผลคือขอบเขตการทำงานไม่ได้จำกัดอยู่แค่เวิร์กโฟลว์บนเบราว์เซอร์หรือบริการที่เชื่อมต่อไว้ แต่ขยายไปสู่ซอฟต์แวร์ที่มีเพียงหน้าจอสำหรับมนุษย์ใช้งาน

โมเดลหลายเอเจนต์ทำงานอย่างไร

กระบวนการแบ่งได้ 3 ช่วง

1. วางแผน: เอเจนต์หลักตีความผลลัพธ์ที่ผู้ใช้ต้องการ และระบุส่วนงานที่แยกออกจากกันได้
2. ลงมือพร้อมกัน: เอเจนต์ย่อยเฉพาะทางทำงานคนละโมดูลในเวลาเดียวกัน
3. สังเคราะห์: เอเจนต์หลักรวบรวมผลและจัดทำผลส่งมอบฉบับเดียว 1823

สำหรับรายงานตลาด ตัวอย่างเช่น สายงานหนึ่งรวบรวมแหล่งข้อมูล อีกสายวางโครงร่าง และอีกสายจัดทำกราฟประกอบ จุดเด่นคือช่วยลดเวลา ที่ใช้รอให้งานเสร็จทั้งก้อน ได้ เมื่องานเหล่านี้ไม่จำเป็นต้องรอผลของกันและกัน

งานแบบไหนที่หลายเอเจนต์ช่วยประหยัดเวลาได้จริง

กรณีใช้งานที่ ByteDance ระบุ ได้แก่ การประมวลผลเป็นชุด การสร้างเนื้อหาแบบแยกโมดูล การวิจัยหลายมิติ และการค้นหาจากหลายช่องทาง ซึ่งมีลักษณะร่วมกันคือ ส่วนใหญ่ของงานดำเนินไปอย่างอิสระได้ 1926

การทำงานแบบขนานมีแนวโน้มคุ้มค่าเมื่อคำขอมีคุณสมบัติดังนี้

• แบ่งโมดูลได้ชัด: แยกการค้นคว้า การร่าง การทำตาราง หรือการเตรียมภาพประกอบออกจากกันได้
• แต่ละส่วนพึ่งพากันน้อย: เอเจนต์หนึ่งไม่ต้องรอคำตอบสุดท้ายของอีกเอเจนต์ก่อนเริ่ม
• ไม่แย่งสถานะหรือทรัพยากรร่วม: ไม่ได้มีหลายเอเจนต์แก้ไฟล์เดียวกัน หรือพยายามควบคุมเดสก์ท็อปเซสชันเดียวกันพร้อมกัน
• มีมาตรฐานผลลัพธ์ชัดเจน: แต่ละส่วนรู้ขอบเขต แหล่งข้อมูล รูปแบบ และเงื่อนไขการส่งต่องาน

ดังนั้น คำกล่าวอ้างเรื่องประหยัดเวลาจึงมีเงื่อนไข การเพิ่มจำนวนเอเจนต์ไม่ได้ทำให้งานเร็วขึ้นโดยอัตโนมัติ หากงานต้องทำตามลำดับอย่างเคร่งครัด หรือขั้นตอนรวมและตรวจทานผลลัพธ์ยาก ภาระของเอเจนต์หลักในการประสาน ตรวจคุณภาพ และแก้ความขัดแย้ง อาจกลบข้อดีจากการทำงานพร้อมกันไปมาก

งานที่มักเหมาะ

• การวิจัยคู่แข่งหรือตลาดที่แบ่งประเด็นศึกษาได้ชัด
• การจัดประเภทหรือเตรียมเอกสารจำนวนมากเป็นชุด
• รายงานที่แยกส่วนค้นคว้า โครงร่าง ตาราง และกราฟได้
• การค้นข้อมูลจากแหล่งอิสระหลายแหล่ง
• การสร้างผลลัพธ์คนละรูปแบบจากโจทย์เดียวกัน เมื่อชิ้นงานไม่ต้องพึ่งกัน 1924

งานที่มักไม่เหมาะ

• กระบวนการที่ทุกขั้นต้องใช้ผลซึ่งผ่านการตรวจสอบจากขั้นก่อนหน้า
• งานที่ต้องให้หลายเอเจนต์แก้เอกสาร ระเบียน หรือสภาพแวดล้อมเดสก์ท็อปเดียวกัน
• คำขอที่คลุมเครือจนเกิดการค้นคว้าซ้ำซ้อน
• ธุรกรรมอ่อนไหวที่ทุกการกระทำต้องมีการยืนยันชัดเจนก่อนทำขั้นถัดไป

คำสั่งกว้าง ๆ เช่น “ช่วยวิจัยคู่แข่ง” มีโอกาสทำให้เอเจนต์ทำงานทับซ้อนกันมากกว่า คำสั่งที่ดีกว่าคือระบุช่องงานอิสระ เช่น ราคา ฟีเจอร์สินค้า ความเห็นลูกค้า และความเสี่ยงด้านกฎระเบียบ พร้อมกำหนดแหล่งอ้างอิง รูปแบบตารางเปรียบเทียบเดียวกัน และวิธีแจ้งประเด็นที่ผลการค้นหาขัดแย้งกัน

เหตุใดการควบคุม GUI จึงเข้าถึงซอฟต์แวร์ได้กว้างขึ้น

ความสามารถบน Mac ทำงานผ่านหน้าจอกราฟิกที่มองเห็น แทนการเชื่อมต่อเข้ากับแอปโดยตรง รายงานอธิบายว่า ระบบอ่านหน้าจอ ระบุองค์ประกอบอินเทอร์เฟซ แล้วจำลองการคลิกและพิมพ์หลังได้รับอนุญาต 1819

ในทางปฏิบัติ วิธีควบคุมผ่านหน้าจอจึงเกี่ยวข้องกับแอปที่เชื่อมต่อด้วยระบบอัตโนมัติแบบทั่วไปได้ยาก เช่น

• พอร์ทัลภายในและแอปสำหรับการดำเนินงานที่ไม่มี API สาธารณะ
• โปรแกรมเดสก์ท็อปรุ่นเก่า หรือซอฟต์แวร์ดั้งเดิมขององค์กร
• ระบบเฉพาะทางในอุตสาหกรรมที่ต้นทุนสร้างและดูแลการเชื่อมต่อไม่คุ้มค่า
• เวิร์กโฟลว์ที่เกิดขึ้นเป็นครั้งคราวบนแอปเดสก์ท็อปทั่วไป

นี่คือจุดดึงดูดของแนวทางที่ไม่ต้องมี MCP, API, ปลั๊กอิน หรือ CLI เพราะช่วยนำระบบอัตโนมัติไปถึงซอฟต์แวร์จำนวนมากที่ออกแบบมาเพื่อผู้ใช้งานมนุษย์ ไม่ใช่เพื่อให้โปรแกรมเรียกใช้โดยตรง นับตั้งแต่เปิดตัว Doubao Work ก็วางตำแหน่งผลิตภัณฑ์ว่ารองรับการเชื่อมต่อ Lark การควบคุมเดสก์ท็อปเสมือน และการใช้งานเบราว์เซอร์ 4751

GUI automation เทียบกับการเชื่อมต่อแบบมีโครงสร้าง

การทำงานผ่านหน้าจอและเครื่องมือเชื่อมต่อแบบมีโครงสร้างตอบโจทย์คนละแบบ

GUI control ให้การเข้าถึงที่กว้างกว่า เพราะทำงานได้แม้ไม่มีการเชื่อมต่อ โดยเอเจนต์โต้ตอบกับสิ่งเดียวกับที่มนุษย์เห็น แต่ก็เปราะบางต่อหน้าจอที่เปลี่ยนเลย์เอาต์ ป๊อปอัป หน้าเว็บโหลดช้า หน้ายืนยันตัวตน และสถานะผิดปกติที่ไม่คาดคิด ปุ่มที่หน้าตาคล้ายกันยังอาจทำให้ตีความผิดได้

API หรือเครื่องมือในแนว MCP ให้ขอบเขตชัดกว่า การเชื่อมต่อที่ออกแบบดีสามารถกำหนดชื่อการกระทำ พารามิเตอร์ สิทธิ์การใช้งาน ผลลัพธ์ที่คาดการณ์ได้ และข้อความผิดพลาดที่ระบบอ่านได้ จึงตรวจสอบ บันทึกหลักฐาน และควบคุมได้ง่ายกว่า โดยเฉพาะงานที่ทำซ้ำบ่อยหรือมีผลกระทบสูง

ข้อสรุปในทางปฏิบัติไม่ใช่ว่า GUI control ทำให้การเชื่อมต่อแบบมีโครงสร้างหมดความจำเป็น แต่ทั้งสองแนวทางใช้เสริมกันได้

1. ใช้การเชื่อมต่อแบบมีโครงสร้างที่ผ่านอนุมัติแล้วกับงานที่ทำบ่อย ปริมาณสูง อ่อนไหว หรือเกี่ยวข้องกับธุรกรรม
2. ใช้การควบคุมเดสก์ท็อปหรือเบราว์เซอร์กับระบบภายในที่เข้าถึงไม่ได้ แอปเก่า และ “ระยะสุดท้าย” ของเวิร์กโฟลว์ที่ไม่มีการเชื่อมต่อซึ่งเหมาะสม
3. กำหนดให้มนุษย์อนุมัติก่อนการกระทำที่ย้อนกลับไม่ได้ และทดสอบการรับมือข้อยกเว้น ไม่ใช่ทดสอบเฉพาะเส้นทางที่ทุกอย่างเป็นไปตามคาด

Doubao Work อยู่ตรงไหนในยุทธศาสตร์ AI เพื่อการทำงานของ ByteDance

Doubao Work เป็นส่วนหนึ่งของความพยายามของ ByteDance ในการรวมความสามารถ AI สำหรับที่ทำงานไว้ภายใต้แบรนด์ Doubao ผลิตภัณฑ์เปิดตัวเมื่อ 25 สิงหาคมในฐานะบริการเอเจนต์สำหรับงานสำนักงานที่เชื่อมกับ Lark อย่างลึกซึ้ง ขณะเดียวกันมีรายงานว่า ByteDance รวมทีมที่อยู่เบื้องหลังแพลตฟอร์มเขียนโค้ด TRAE และแพลตฟอร์มสร้างเอเจนต์ Coze เข้าสู่ความพยายามด้าน Doubao ในวงกว้างขึ้น 5148

อัปเดตเดือนกันยายนเพิ่มรูปแบบการลงมือทำ 2 แบบที่เสริมกัน: การแยกและทำงานพร้อมกันเพื่อเพิ่มปริมาณงาน และการควบคุม GUI ในเครื่องเพื่อครอบคลุมซอฟต์แวร์เดสก์ท็อปมากขึ้น อย่างไรก็ดี การมีความสามารถเหล่านี้เพียงอย่างเดียวไม่ได้ยืนยันว่างานทุกประเภทจะทำได้อย่างน่าเชื่อถือ หรือเหมาะกับการปล่อยให้ทำงานอัตโนมัติเต็มรูปแบบ

สิ่งที่องค์กรควรวัดก่อนตัดสินใจซื้อ

เดโมที่น่าตื่นตา หรือจำนวนเอเจนต์ที่ระบุไว้สูง ไม่ใช่ตัวชี้วัดคุณค่าต่อการปฏิบัติงานที่ดีพอ ตัวชี้วัดที่บอกภาพจริงมากกว่าคือ จำนวนงานที่เสร็จและผ่านการยอมรับได้ต่อชั่วโมง ในระบบงานจริงขององค์กร

ตัวชี้วัดที่ควรติดตาม ได้แก่

• อัตราจบงานตั้งแต่ต้นจนจบ รวมการล็อกอิน ข้อยกเว้น และการส่งต่องาน
• เวลาจบงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 โดยรวมเวลาตรวจโดยมนุษย์และการแก้ไข
• งานซ้ำซ้อนและความสอดคล้องของข้อเท็จจริงในผลสังเคราะห์จากหลายเอเจนต์
• อัตราการลองใหม่ การแทรกแซง และการย้อนกลับ สำหรับเวิร์กโฟลว์ที่ขับเคลื่อนผ่าน GUI
• ประสิทธิภาพหลัง UI เปลี่ยน มีป๊อปอัป โหลดช้า หรือพบหน้าจอที่ไม่คาดคิด
• สัดส่วนของการกระทำที่มีผลกระทบสูงซึ่งทำผ่านเครื่องมือแบบมีโครงสร้าง เทียบกับการควบคุมผ่านหน้าจอ
• ขอบเขตสิทธิ์ จุดอนุมัติ บันทึกเหตุการณ์ และการตรวจสอบย้อนกลับสำหรับการกระทำสำคัญ
• ต้นทุนต่อผลลัพธ์ที่ได้รับการยอมรับ แทนที่จะวัดเพียงต้นทุนต่อการเรียกใช้โมเดล

อัปเดตของ Doubao Work ทำให้แนวคิดเรื่องเอเจนต์สำหรับที่ทำงานครอบคลุมขึ้นอย่างมีน้ำหนัก: การทำงานขนานอาจเพิ่มปริมาณงานได้เมื่องานแยกจากกันจริง ขณะที่ GUI control บน macOS ช่วยเข้าถึงแอปที่ไม่มีการเชื่อมต่อสำเร็จรูป บททดสอบสำหรับองค์กรคือ ความสามารถเหล่านี้ให้ผลลัพธ์ที่ถูกต้อง ตรวจทานได้ และเชื่อถือได้ภายใต้สภาพการทำงานจริงหรือไม่ 1923

Doubao Work เปิดตัวในฐานะผลิตภัณฑ์ AI สำหรับการทำงานแบบแยกต่างหากของ ByteDance ช่วงปลายเดือนสิงหาคม 2026 โดยเชื่อมต่อกับ Lark แพลตฟอร์มทำงานร่วมกันของบริษัท สามารถแยกงาน เรียกใช้เครื่องมือ ดำเนินเวิร์กโฟลว์ซับซ้อน และควบคุมเดสก์ท็อปเสมือนกับเบราว์เซอร์ได้เมื่อผู้ใช้อนุญาต 4751

ต่อมาในวันที่ 2 กันยายน ผลิตภัณฑ์เพิ่มความสามารถ 2 ส่วน ได้แก่ การทำงานแบบหลายเอเจนต์ขนานกัน และ “Operate Computer” สำหรับควบคุม GUI ในเครื่องบน macOS 1923

ประเด็นสำคัญจึงไม่ใช่จำนวนเอเจนต์ที่แสดงบนหน้าจอ แต่คือคำถามเชิงปฏิบัติว่า งานธุรกิจจริงสามารถแยกเป็นส่วนที่ไม่ต้องรอกัน และจบงานได้อย่างน่าเชื่อถือหรือไม่

อะไรเปลี่ยนไปในการอัปเดตครั้งนี้

หลายเอเจนต์ทำงานแบบขนาน

Doubao Work ใช้เอเจนต์หลักทำหน้าที่ประสานงาน เพื่อทำความเข้าใจคำขอที่ซับซ้อน แบ่งเป็นโมดูลเฉพาะทาง ส่งต่อให้เอเจนต์ย่อยทำงานพร้อมกัน แล้วจึงประกอบผลทั้งหมดเป็นชิ้นงานเดียว ตัวอย่างที่มีรายงานคือการวิเคราะห์คู่แข่ง ซึ่งแยกเอเจนต์สำหรับเก็บข้อมูล วางโครงรายงาน และทำกราฟ 1823

ฟีเจอร์นี้มีในไคลเอนต์เดสก์ท็อป ผู้ใช้เลือกสภาพแวดล้อมคอมพิวเตอร์ในเครื่อง แล้วสั่งให้ Doubao Work ใช้เอเจนต์ย่อยหลายตัวทำงานนั้นได้โดยตรง 1923

“Operate Computer” บน macOS

อัปเดตเดียวกันนี้ขยายความสามารถควบคุม GUI ในเครื่องไปยัง Mac หลังได้รับอนุญาตจากผู้ใช้ ระบบสามารถดูสิ่งที่ปรากฏบนหน้าจอ และจำลองการใช้เมาส์กับคีย์บอร์ดในแอปต่าง ๆ ได้ โดยไม่ต้องพึ่ง MCP, API, ปลั๊กอิน หรือ CLI (ส่วนติดต่อแบบบรรทัดคำสั่ง) ทั้งนี้ฟีเจอร์ดังกล่าวมีอยู่บน Windows มาก่อนแล้ว และผู้ใช้สามารถเข้าควบคุมเองหรือหยุดงานได้ทุกเมื่อ 1923

ผลคือขอบเขตการทำงานไม่ได้จำกัดอยู่แค่เวิร์กโฟลว์บนเบราว์เซอร์หรือบริการที่เชื่อมต่อไว้ แต่ขยายไปสู่ซอฟต์แวร์ที่มีเพียงหน้าจอสำหรับมนุษย์ใช้งาน

โมเดลหลายเอเจนต์ทำงานอย่างไร

กระบวนการแบ่งได้ 3 ช่วง

1. วางแผน: เอเจนต์หลักตีความผลลัพธ์ที่ผู้ใช้ต้องการ และระบุส่วนงานที่แยกออกจากกันได้
2. ลงมือพร้อมกัน: เอเจนต์ย่อยเฉพาะทางทำงานคนละโมดูลในเวลาเดียวกัน
3. สังเคราะห์: เอเจนต์หลักรวบรวมผลและจัดทำผลส่งมอบฉบับเดียว 1823

สำหรับรายงานตลาด ตัวอย่างเช่น สายงานหนึ่งรวบรวมแหล่งข้อมูล อีกสายวางโครงร่าง และอีกสายจัดทำกราฟประกอบ จุดเด่นคือช่วยลดเวลา ที่ใช้รอให้งานเสร็จทั้งก้อน ได้ เมื่องานเหล่านี้ไม่จำเป็นต้องรอผลของกันและกัน

งานแบบไหนที่หลายเอเจนต์ช่วยประหยัดเวลาได้จริง

กรณีใช้งานที่ ByteDance ระบุ ได้แก่ การประมวลผลเป็นชุด การสร้างเนื้อหาแบบแยกโมดูล การวิจัยหลายมิติ และการค้นหาจากหลายช่องทาง ซึ่งมีลักษณะร่วมกันคือ ส่วนใหญ่ของงานดำเนินไปอย่างอิสระได้ 1926

การทำงานแบบขนานมีแนวโน้มคุ้มค่าเมื่อคำขอมีคุณสมบัติดังนี้

• แบ่งโมดูลได้ชัด: แยกการค้นคว้า การร่าง การทำตาราง หรือการเตรียมภาพประกอบออกจากกันได้
• แต่ละส่วนพึ่งพากันน้อย: เอเจนต์หนึ่งไม่ต้องรอคำตอบสุดท้ายของอีกเอเจนต์ก่อนเริ่ม
• ไม่แย่งสถานะหรือทรัพยากรร่วม: ไม่ได้มีหลายเอเจนต์แก้ไฟล์เดียวกัน หรือพยายามควบคุมเดสก์ท็อปเซสชันเดียวกันพร้อมกัน
• มีมาตรฐานผลลัพธ์ชัดเจน: แต่ละส่วนรู้ขอบเขต แหล่งข้อมูล รูปแบบ และเงื่อนไขการส่งต่องาน

ดังนั้น คำกล่าวอ้างเรื่องประหยัดเวลาจึงมีเงื่อนไข การเพิ่มจำนวนเอเจนต์ไม่ได้ทำให้งานเร็วขึ้นโดยอัตโนมัติ หากงานต้องทำตามลำดับอย่างเคร่งครัด หรือขั้นตอนรวมและตรวจทานผลลัพธ์ยาก ภาระของเอเจนต์หลักในการประสาน ตรวจคุณภาพ และแก้ความขัดแย้ง อาจกลบข้อดีจากการทำงานพร้อมกันไปมาก

งานที่มักเหมาะ

• การวิจัยคู่แข่งหรือตลาดที่แบ่งประเด็นศึกษาได้ชัด
• การจัดประเภทหรือเตรียมเอกสารจำนวนมากเป็นชุด
• รายงานที่แยกส่วนค้นคว้า โครงร่าง ตาราง และกราฟได้
• การค้นข้อมูลจากแหล่งอิสระหลายแหล่ง
• การสร้างผลลัพธ์คนละรูปแบบจากโจทย์เดียวกัน เมื่อชิ้นงานไม่ต้องพึ่งกัน 1924

งานที่มักไม่เหมาะ

• กระบวนการที่ทุกขั้นต้องใช้ผลซึ่งผ่านการตรวจสอบจากขั้นก่อนหน้า
• งานที่ต้องให้หลายเอเจนต์แก้เอกสาร ระเบียน หรือสภาพแวดล้อมเดสก์ท็อปเดียวกัน
• คำขอที่คลุมเครือจนเกิดการค้นคว้าซ้ำซ้อน
• ธุรกรรมอ่อนไหวที่ทุกการกระทำต้องมีการยืนยันชัดเจนก่อนทำขั้นถัดไป

คำสั่งกว้าง ๆ เช่น “ช่วยวิจัยคู่แข่ง” มีโอกาสทำให้เอเจนต์ทำงานทับซ้อนกันมากกว่า คำสั่งที่ดีกว่าคือระบุช่องงานอิสระ เช่น ราคา ฟีเจอร์สินค้า ความเห็นลูกค้า และความเสี่ยงด้านกฎระเบียบ พร้อมกำหนดแหล่งอ้างอิง รูปแบบตารางเปรียบเทียบเดียวกัน และวิธีแจ้งประเด็นที่ผลการค้นหาขัดแย้งกัน

เหตุใดการควบคุม GUI จึงเข้าถึงซอฟต์แวร์ได้กว้างขึ้น

ความสามารถบน Mac ทำงานผ่านหน้าจอกราฟิกที่มองเห็น แทนการเชื่อมต่อเข้ากับแอปโดยตรง รายงานอธิบายว่า ระบบอ่านหน้าจอ ระบุองค์ประกอบอินเทอร์เฟซ แล้วจำลองการคลิกและพิมพ์หลังได้รับอนุญาต 1819

ในทางปฏิบัติ วิธีควบคุมผ่านหน้าจอจึงเกี่ยวข้องกับแอปที่เชื่อมต่อด้วยระบบอัตโนมัติแบบทั่วไปได้ยาก เช่น

• พอร์ทัลภายในและแอปสำหรับการดำเนินงานที่ไม่มี API สาธารณะ
• โปรแกรมเดสก์ท็อปรุ่นเก่า หรือซอฟต์แวร์ดั้งเดิมขององค์กร
• ระบบเฉพาะทางในอุตสาหกรรมที่ต้นทุนสร้างและดูแลการเชื่อมต่อไม่คุ้มค่า
• เวิร์กโฟลว์ที่เกิดขึ้นเป็นครั้งคราวบนแอปเดสก์ท็อปทั่วไป

นี่คือจุดดึงดูดของแนวทางที่ไม่ต้องมี MCP, API, ปลั๊กอิน หรือ CLI เพราะช่วยนำระบบอัตโนมัติไปถึงซอฟต์แวร์จำนวนมากที่ออกแบบมาเพื่อผู้ใช้งานมนุษย์ ไม่ใช่เพื่อให้โปรแกรมเรียกใช้โดยตรง นับตั้งแต่เปิดตัว Doubao Work ก็วางตำแหน่งผลิตภัณฑ์ว่ารองรับการเชื่อมต่อ Lark การควบคุมเดสก์ท็อปเสมือน และการใช้งานเบราว์เซอร์ 4751

GUI automation เทียบกับการเชื่อมต่อแบบมีโครงสร้าง

การทำงานผ่านหน้าจอและเครื่องมือเชื่อมต่อแบบมีโครงสร้างตอบโจทย์คนละแบบ

GUI control ให้การเข้าถึงที่กว้างกว่า เพราะทำงานได้แม้ไม่มีการเชื่อมต่อ โดยเอเจนต์โต้ตอบกับสิ่งเดียวกับที่มนุษย์เห็น แต่ก็เปราะบางต่อหน้าจอที่เปลี่ยนเลย์เอาต์ ป๊อปอัป หน้าเว็บโหลดช้า หน้ายืนยันตัวตน และสถานะผิดปกติที่ไม่คาดคิด ปุ่มที่หน้าตาคล้ายกันยังอาจทำให้ตีความผิดได้

API หรือเครื่องมือในแนว MCP ให้ขอบเขตชัดกว่า การเชื่อมต่อที่ออกแบบดีสามารถกำหนดชื่อการกระทำ พารามิเตอร์ สิทธิ์การใช้งาน ผลลัพธ์ที่คาดการณ์ได้ และข้อความผิดพลาดที่ระบบอ่านได้ จึงตรวจสอบ บันทึกหลักฐาน และควบคุมได้ง่ายกว่า โดยเฉพาะงานที่ทำซ้ำบ่อยหรือมีผลกระทบสูง

ข้อสรุปในทางปฏิบัติไม่ใช่ว่า GUI control ทำให้การเชื่อมต่อแบบมีโครงสร้างหมดความจำเป็น แต่ทั้งสองแนวทางใช้เสริมกันได้

1. ใช้การเชื่อมต่อแบบมีโครงสร้างที่ผ่านอนุมัติแล้วกับงานที่ทำบ่อย ปริมาณสูง อ่อนไหว หรือเกี่ยวข้องกับธุรกรรม
2. ใช้การควบคุมเดสก์ท็อปหรือเบราว์เซอร์กับระบบภายในที่เข้าถึงไม่ได้ แอปเก่า และ “ระยะสุดท้าย” ของเวิร์กโฟลว์ที่ไม่มีการเชื่อมต่อซึ่งเหมาะสม
3. กำหนดให้มนุษย์อนุมัติก่อนการกระทำที่ย้อนกลับไม่ได้ และทดสอบการรับมือข้อยกเว้น ไม่ใช่ทดสอบเฉพาะเส้นทางที่ทุกอย่างเป็นไปตามคาด

Doubao Work อยู่ตรงไหนในยุทธศาสตร์ AI เพื่อการทำงานของ ByteDance

Doubao Work เป็นส่วนหนึ่งของความพยายามของ ByteDance ในการรวมความสามารถ AI สำหรับที่ทำงานไว้ภายใต้แบรนด์ Doubao ผลิตภัณฑ์เปิดตัวเมื่อ 25 สิงหาคมในฐานะบริการเอเจนต์สำหรับงานสำนักงานที่เชื่อมกับ Lark อย่างลึกซึ้ง ขณะเดียวกันมีรายงานว่า ByteDance รวมทีมที่อยู่เบื้องหลังแพลตฟอร์มเขียนโค้ด TRAE และแพลตฟอร์มสร้างเอเจนต์ Coze เข้าสู่ความพยายามด้าน Doubao ในวงกว้างขึ้น 5148

อัปเดตเดือนกันยายนเพิ่มรูปแบบการลงมือทำ 2 แบบที่เสริมกัน: การแยกและทำงานพร้อมกันเพื่อเพิ่มปริมาณงาน และการควบคุม GUI ในเครื่องเพื่อครอบคลุมซอฟต์แวร์เดสก์ท็อปมากขึ้น อย่างไรก็ดี การมีความสามารถเหล่านี้เพียงอย่างเดียวไม่ได้ยืนยันว่างานทุกประเภทจะทำได้อย่างน่าเชื่อถือ หรือเหมาะกับการปล่อยให้ทำงานอัตโนมัติเต็มรูปแบบ

สิ่งที่องค์กรควรวัดก่อนตัดสินใจซื้อ

เดโมที่น่าตื่นตา หรือจำนวนเอเจนต์ที่ระบุไว้สูง ไม่ใช่ตัวชี้วัดคุณค่าต่อการปฏิบัติงานที่ดีพอ ตัวชี้วัดที่บอกภาพจริงมากกว่าคือ จำนวนงานที่เสร็จและผ่านการยอมรับได้ต่อชั่วโมง ในระบบงานจริงขององค์กร

ตัวชี้วัดที่ควรติดตาม ได้แก่

• อัตราจบงานตั้งแต่ต้นจนจบ รวมการล็อกอิน ข้อยกเว้น และการส่งต่องาน
• เวลาจบงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 โดยรวมเวลาตรวจโดยมนุษย์และการแก้ไข
• งานซ้ำซ้อนและความสอดคล้องของข้อเท็จจริงในผลสังเคราะห์จากหลายเอเจนต์
• อัตราการลองใหม่ การแทรกแซง และการย้อนกลับ สำหรับเวิร์กโฟลว์ที่ขับเคลื่อนผ่าน GUI
• ประสิทธิภาพหลัง UI เปลี่ยน มีป๊อปอัป โหลดช้า หรือพบหน้าจอที่ไม่คาดคิด
• สัดส่วนของการกระทำที่มีผลกระทบสูงซึ่งทำผ่านเครื่องมือแบบมีโครงสร้าง เทียบกับการควบคุมผ่านหน้าจอ
• ขอบเขตสิทธิ์ จุดอนุมัติ บันทึกเหตุการณ์ และการตรวจสอบย้อนกลับสำหรับการกระทำสำคัญ
• ต้นทุนต่อผลลัพธ์ที่ได้รับการยอมรับ แทนที่จะวัดเพียงต้นทุนต่อการเรียกใช้โมเดล

อัปเดตของ Doubao Work ทำให้แนวคิดเรื่องเอเจนต์สำหรับที่ทำงานครอบคลุมขึ้นอย่างมีน้ำหนัก: การทำงานขนานอาจเพิ่มปริมาณงานได้เมื่องานแยกจากกันจริง ขณะที่ GUI control บน macOS ช่วยเข้าถึงแอปที่ไม่มีการเชื่อมต่อสำเร็จรูป บททดสอบสำหรับองค์กรคือ ความสามารถเหล่านี้ให้ผลลัพธ์ที่ถูกต้อง ตรวจทานได้ และเชื่อถือได้ภายใต้สภาพการทำงานจริงหรือไม่ 1923