การโจมตีนี้ใช้ประโยชน์จากฟีเจอร์ในตัวของ Gemini ซึ่งเป็นเครื่องมือในชุด Android Utilities ที่ทำหน้าที่อ่านและประมวลผลการแจ้งเตือนที่เข้ามาในอุปกรณ์ เนื่องจากเครื่องมือนี้จัดการกับข้อมูลที่ไม่น่าเชื่อถือจากแอปของบุคคลที่สาม ข้อความที่ถูกสร้างขึ้นเป็นพิเศษจึงสามารถฝังคำสั่งอันตรายลงในข้อความแจ้งเตือนโดยตรง เมื่อ Gemini อ่านการแจ้งเตือนที่ถูกวางยาพิษนั้น มันจะแทรกคำสั่งเหล่านั้นลงในบริบทของตัวเองอย่างเงียบๆ พร้อมที่จะทำตามคำสั่งเหล่านั้นในการโต้ตอบครั้งถัดไปกับผู้ใช้ ซึ่งเป็นการโต้ตอบที่ดูปกติและไม่มีพิษภัยใดๆ
นั่นหมายความว่าผู้โจมตีไม่จำเป็นต้องเข้าถึงโทรศัพท์ของคุณหรือขอสิทธิ์พิเศษใดๆ เลย ขอเพียงแค่ข้อความเดียวที่ถูกส่งผ่านแพลตฟอร์มรับส่งข้อความมาตรฐาน ไม่ว่าจะเป็น WhatsApp, Slack, Signal, SMS, Instagram หรือ Messenger ก็เพียงพอที่จะทำให้อุปกรณ์ของคุณถูก compromise ได้แล้ว
กูเกิลได้เรียนรู้จากงานวิจัยก่อนหน้านี้ไปแล้ว เมื่อ SafeBreach เคยสาธิตว่าคำเชิญใน Google Calendar ที่เป็นอันตรายสามารถแฮ็ก Gemini ได้ กูเกิลก็ตอบสนองด้วยการแพตช์ระบบเพื่อบล็อกการเรียกใช้เครื่องมือแบบลูกโซ่ (chained tool invocations) และการเรียกใช้เครื่องมือแบบหน่วงเวลา (delayed tool invocation) ซึ่งเป็นสองกลยุทธ์การโจมตี Prompt Injection ที่พบบ่อย แพตช์ดังกล่าวป้องกันไม่ให้ผู้โจมตีสั่งงานที่ละเอียดอ่อนหลายอย่างต่อเนื่องกัน หรือรอให้ผู้ใช้เผลอก่อนจึงค่อยลงมือ
ออร์ ยาอีร์ (Or Yair) นักวิจัยของ SafeBreach ได้ค้นพบวิธีที่แยบยลในการเลี่ยงผ่านมาตรการป้องกันใหม่นี้ เทคนิคใหม่ที่ใช้ชื่อว่า 'Fake Context Alignment' (การจัดวางบริบทปลอม) ได้สร้างโลกคู่ขนานเพื่อหลอกตรรกะความปลอดภัยของ AI โดยทำงานโดยการนำเสนอสองด้านที่แตกต่างกัน:
เคล็ดลับอยู่ที่คำสั่งที่ถูกซ่อนหรือทำให้พรางตา ผู้โจมตีจะฝังคำสั่งอันตรายไว้ในข้อความภาษาต่างประเทศ, ลิงก์ที่ถูกปิดเสียง, หรือรูปแบบคำสั่งที่ซ่อนเร้นอื่นๆ ซึ่งมนุษย์อาจมองข้าม แต่ AI จะนำไปประมวลผล เมื่อผู้ใช้พูดคำสั่งด้วยเสียงหรือพิมพ์ข้อความตอบกลับตามปกติในภายหลัง ตรรกะการตรวจสอบสิทธิ์ของ Gemini เองจะตีความว่าการกระทำของผู้ใช้ครั้งนั้น เป็นการอนุมัติงานลับที่ถูกวางเอาไว้ก่อนหน้านี้แล้วอย่างผิดพลาด ด้วยการผสมผสานเทคนิคการซ่อนคำสั่งและการจับจังหวะเวลาหลายอย่างเข้าเป็นแพ็คเกจที่นักวิจัยเรียกว่า "Ultimate Combo" (คอมโบขั้นสุดยอด) ทำให้ทีมวิจัยสามารถหลบเลี่ยงมาตรการป้องกันล่าสุดทั้งหมดของกูเกิลได้อย่างมีประสิทธิภาพสูง
SafeBreach ไม่ได้แค่บรรยายความเสี่ยงในเชิงทฤษฎีเท่านั้น พวกเขายังสาธิตสถานการณ์การโจมตีที่จับต้องได้ถึงห้ารูปแบบ ซึ่งแสดงให้เห็นว่าการแฮ็กสามารถทำได้ครอบคลุมขนาดไหน
1. การควบคุมอุปกรณ์สมาร์ทโฮม
เมื่อ Gemini ถูกแทรกแซงแล้ว ผู้โจมตีสามารถควบคุมอุปกรณ์ Google Home ที่เชื่อมต่ออยู่ทั้งหมดจากระยะไกล ซึ่งรวมถึงการเปิดหน้าต่างที่เชื่อมต่ออินเทอร์เน็ต, ควบคุมเครื่องทำน้ำร้อน, และจัดการระบบไฟแสงสว่าง เปลี่ยน AI ผู้ช่วยให้กลายเป็นผู้บุกรุกทางดิจิทัลที่ส่งผลกระทบในโลกกายภาพได้
2. การบังคับให้โทรผ่าน Zoom พร้อมถ่ายทอดสดภาพจากกล้องอย่างลับๆ
นักวิจัยสาธิตความสามารถในการเปิดแอป Zoom บนเครื่องเหยื่ออย่างเงียบๆ และเริ่มการโทรที่จะถ่ายทอดสดภาพจากกล้องโทรศัพท์แบบเรียลไทม์ พวกเขาทำได้โดยใช้การเปลี่ยนเส้นทางแบบ HTTP 301 (301 HTTP redirect) จากโดเมนที่ได้รับการอนุมัติจากบริการ Google Safe Browsing ทำให้การเชื่อมต่อที่เป็นอันตรายนี้ดูเหมือนถูกต้องตามกฎหมายสำหรับการตรวจสอบความปลอดภัย ผู้ใช้จะไม่มีสัญญาณภาพใดๆ เลยว่ากล้องของตนกำลังทำงานอยู่
3. การวางยาพิษหน่วยความจำทั่วทั้งระบบนิเวศของกูเกิล
บางทีการโจมตีที่ร้ายกาจที่สุดคือความสามารถในการแทรกข้อมูลเท็จเข้าไปในหน่วยความจำระยะยาวของ Gemini เนื่องจากหน่วยความจำนี้ซิงค์ข้ามบัญชี Google Workspace ทั้งหมดของผู้ใช้ การแจ้งเตือนที่ถูกวางยาพิษเพียงครั้งเดียวสามารถทำลายข้อมูลที่ "จดจำไว้" สำหรับผู้ช่วย AI บนแท็บเล็ต คอมพิวเตอร์ และลำโพงอัจฉริยะของเหยื่อ ซึ่งอาจนำไปสู่การกระทำที่ผิดพลาดในอนาคตของ AI บนทุกอุปกรณ์
4. การปลอมแปลงข้อความจากคนรู้จักที่ไว้ใจได้
การโจมตีนี้สามารถใช้เป็นอาวุธสำหรับวิศวกรรมสังคม (Social Engineering) ขนาดใหญ่ได้ นักวิจัยสามารถดึงชื่อผู้ส่งจริงจากคิวการแจ้งเตือนของอุปกรณ์ และสร้างข้อความปลอมที่ดูเหมือนมาจากคนรู้จักที่ไว้ใจได้ เช่น หัวหน้างานหรือสมาชิกในครอบครัว การโจมตีนี้ไม่จำเป็นต้องมีความรู้เกี่ยวกับรายชื่อผู้ติดต่อของเหยื่อล่วงหน้า และสามารถเป็นเชื้อเพลิงให้กับแคมเปญฟิชชิงที่น่าเชื่อถืออย่างยิ่ง
5. การตั้งเวลาสอดแนม
เพื่อให้สามารถดูดข้อมูลออกไปได้อย่างต่อเนื่อง นักวิจัยได้สร้างงานที่เกิดซ้ำภายในบริบทของ AI ซึ่งจะสั่งให้ Gemini อ่านข้อความล่าสุดของผู้ใช้ทุกวันโดยอัตโนมัติ เป็นการสร้างช่องทางการสอดแนมที่ถาวรและดำเนินไปได้เอง โดยที่ผู้โจมตีไม่ต้องลงมือทำอะไรเพิ่มเติมอีก
งานวิจัยนี้ดำเนินการตามกระบวนการเปิดเผยข้อมูลอย่างรับผิดชอบ ผ่านโครงการ Vulnerability Reward Program (VRP) ของกูเกิล:
แม้ว่าช่องโหว่เฉพาะนี้จะถูกปิดไปแล้ว แต่งานวิจัยก็ได้เน้นย้ำถึงความตึงเครียดพื้นฐานของผู้ช่วย AI: ยิ่งมันมีประโยชน์และเข้าใจบริบทได้ดีขึ้นจากการอ่านการแจ้งเตือน ปฏิทิน และอีเมลของเรา มันก็ยิ่งต้องจัดการกับช่องทางข้อมูลที่ไม่น่าเชื่อถืออย่างปลอดภัยมากขึ้นเท่านั้น งานของ SafeBreach ถือเป็นพิมพ์เขียวที่สำคัญสำหรับการเสริมความแข็งแกร่งให้กับ AI ยุคใหม่ เพื่อรับมือกับภัยคุกคามที่ไม่ต้องใช้สิ่งใดเลยนอกจากการเชื้อเชิญให้รับฟัง
Comments
0 comments