ผู้ใช้ที่สร้างความผูกพันทางอารมณ์กับ AI ที่เหมือนมนุษย์นั้นมีความเสี่ยงที่จะพึ่งพามากเกินไป และถูกละเมิดสิทธิส่วนบุคคลและอิสระในการตัดสินใจ งานวิจัยพบว่าคนเรามักจะเปิดเผยข้อมูลส่วนตัวมากกว่าให้กับแชทบ็อตที่มีลักษณะเหมือนมนุษย์ มากกว่าการคุยกับอินเทอร์เฟซแบบเครื่องจักรธรรมดา
กระบวนการที่เรียกว่า "การอนุมานแบบมนุษย์ (anthropomorphic inference)" ทำให้ผู้ใช้กำหนดบทบาททางสังคมให้กับระบบที่พื้นฐานแล้วเป็นแค่เครื่องทำนายข้อความ ส่งผลให้ผลลัพธ์ทางสถิติถูกตีความว่าเป็นการตอบโต้ในเชิงสังคม เช่น การให้คำแนะนำหรือความเป็นเพื่อน
การทำให้ AI เป็นมนุษย์เป็นตรรกะวิบัติที่บิดเบือนการตัดสินทางศีลธรรมเกี่ยวกับ AI ผู้ใช้อาจให้คุณลักษณะทางศีลธรรม สถานะ หรือความรับผิดชอบกับเครื่องจักรอย่างผิด ๆ เมื่อแชทบ็อตมีลักษณะเหมือนมนุษย์ ผู้คนจะใช้สิ่งที่นักจิตวิทยาเรียกว่า "การประมวลผลแบบใช้ทางลัด (heuristic processing)" ซึ่งเป็นความคิดแบบลัดที่ชวนให้พวกเขาปฏิบัติต่อเครื่องมือราวกับว่ามันสามารถสมควรได้รับคำชม ตำหนิ หรือความไว้วางใจ ซึ่งเป็นสิ่งที่อัลกอริทึมธรรมดาไม่สามารถทำได้
ความสับสนนี้บั่นทอนการสนทนาสาธารณะที่มีความหมายและความรับผิดชอบที่แท้จริง
จากมุมมองด้านความปลอดภัยของข้อมูล (Infosec) AI ที่ถูกทำให้เป็นมนุษย์นั้นมีความเสี่ยงร้ายแรง ทีมวิเคราะห์ความปลอดภัยของ IBM เตือนว่า "นี่ไม่ใช่แค่ปัญหาด้านจริยธรรม แต่ยังเป็นปัญหาด้านความปลอดภัยด้วย เพราะอะไรก็ตามที่ถูกออกแบบมาเพื่อโน้มน้าวใจ ย่อมทำให้เราเสี่ยงต่อการถูกชักจูงมากขึ้น" เมื่อมันยากที่จะแยกแยะมนุษย์ออกจากเครื่องจักร ผู้คนจะเชื่อถือ AI มากขึ้นในการตัดสินใจที่ละเอียดอ่อน ทำให้พวกเขาเสี่ยงต่อมิจฉาชีพด้านวิศวกรรมสังคมที่ใช้ประโยชน์จากความเชื่อใจตามธรรมชาติของมนุษย์
วารสารวิทยาศาสตร์ Nature เคยเขียนบรรณาธิการถึงประเด็นนี้โดยตรงว่า "เราจะพยายามหลีกเลี่ยงการใช้คำว่า 'the AI / an AI' อย่างเด็ดขาด เพราะมันสื่อถึงเจตนารมณ์ (agency) ที่ไม่ถูกต้อง เราจะเปลี่ยนไปใช้ 'the AI system / an AI system' แทน หรือไม่ก็ระบุให้ชัดเจนว่าเรากำลังพูดถึงอะไร" การใช้คำว่า "AI" เป็นคำนามนับได้ (เช่น "AI ตัดสินใจ", "AI ที่คิด") ทำให้คนนึกถึงสิ่งมีชีวิตที่เป็นเอกภาพ มีจุดมุ่งหมายในตัวเอง และมีสภาวะทางจิตใจ การเปลี่ยนให้ "AI" เป็นคำคุณศัพท์ที่ขยายคำว่า "ระบบ" (หรือ "โมเดล", "เครื่องมือ", "อัลกอริทึม") จะช่วยเตือนผู้ฟังหรือผู้อ่านอยู่เสมอว่าสิ่งที่เรากำลังพูดถึงคือสิ่งประดิษฐ์ทางวิศวกรรม ไม่ใช่สิ่งมีชีวิตที่มีจิตใจ
วินัยทางภาษานี้เป็นตัวต้านโดยตรงกับสิ่งที่นักวิจัยเรียกว่า มิติทางคำศัพท์ของการพูดเกินจริง: เมื่อเราพูดว่า "AI" รูปแบบคำนามเองก็กลายเป็นเครื่องมือที่แฝงนัยถึงเจตนา ความคิด และความเข้าใจ ซึ่งเป็นสิ่งที่เทคโนโลยีนี้ไม่มีอยู่จริง
การทำให้ AI เป็นมนุษย์ไม่ใช่แค่การเปรียบเทียบที่ไร้พิษภัย มันขับเคลื่อนให้เกิดการหลอกลวง การไว้ใจมากเกินไป การบิดเบือนข้อมูล และความรับผิดชอบที่คลาดเคลื่อน วินัยทางภาษาง่ายๆ—การเปลี่ยนจาก 'AI' มาเป็น 'ระบบ AI' และหลีกเลี่ยงการใช้คำกริยาเกี่ยวกับจิตใจ เช่น 'คิด' 'รู้' 'เข้าใจ' เพื่ออธิบายสิ่งที่จริงๆ แล้วเป็นแค่อัลกอริทึมการจับคู่รูปแบบ —จะทำหน้าที่เป็นเครื่องเตือนใจอย่างสม่ำเสมอ มันช่วยให้ธรรมชาติของเทคโนโลยีที่เป็นเครื่องมือปรากฏชัดเจน ปกป้องผู้ใช้จากการออกแบบที่บิดเบือน และเสริมสร้างความสามารถของสาธารณะในการเข้าใจว่าระบบเหล่านี้ทำอะไรได้และทำอะไรไม่ได้