Người dùng hình thành kết nối cảm xúc với AI giống người có nguy cơ lệ thuộc quá mức và bị xâm phạm quyền riêng tư cũng như quyền tự chủ . Nghiên cứu cho thấy mọi người có thể tiết lộ nhiều thông tin cá nhân hơn cho một chatbot được nhân cách hóa so với một giao diện máy móc rõ ràng
. Cơ chế "suy diễn nhân hóa" (anthropomorphic inference) khiến người dùng gán các vai trò xã hội cho những hệ thống về cơ bản chỉ là máy dự đoán văn bản, biến các đầu ra thống kê thành những phản hồi có vẻ mang tính xã hội như lời khuyên hay sự đồng hành
.
Nhân hóa hoạt động như một ngụy biện (fallacy) làm sai lệch các phán đoán đạo đức về AI. Người dùng có thể nhầm lẫn gán tính cách đạo đức, địa vị hoặc trách nhiệm cho một cỗ máy . Khi một chatbot có vẻ ngoài giống người, mọi người tham gia vào cái mà các nhà tâm lý học gọi là "xử lý theo lối tắt" (heuristic processing) – lối suy nghĩ rút gọn khiến họ đối xử với công cụ như thể nó có khả năng được khen ngợi, đổ lỗi hoặc tin tưởng theo những cách mà một thuật toán đơn thuần không thể duy trì
. Sự nhầm lẫn này làm suy yếu các cuộc thảo luận công khai có ý nghĩa và trách nhiệm giải trình
.
Từ góc độ an ninh thông tin, AI bị nhân hóa là một rủi ro an ninh mạng nghiêm trọng. "Đây không chỉ là vấn đề đạo đức; nó còn là vấn đề an ninh vì bất cứ thứ gì được thiết kế để thuyết phục đều có thể khiến chúng ta dễ bị thao túng hơn," phân tích an ninh thông tin của IBM cảnh báo . Khi khó phân biệt người với máy, mọi người có xu hướng tin tưởng AI hơn khi đưa ra các quyết định nhạy cảm, khiến họ dễ bị tổn thương hơn trước những kẻ lừa đảo kỹ thuật xã hội (social engineering) khai thác các lối tắt tin tưởng của con người
.
Tạp chí Nature đã có bài xã luận rõ ràng về điểm này: "Chúng tôi sẽ cố gắng tránh bằng mọi giá việc sử dụng 'cái AI / một AI' vì nó gợi ý sai lầm về năng lực hành động (agency). Thay vào đó, chúng tôi sẽ chuyển sang dùng 'hệ thống AI / một hệ thống AI' hoặc nói rất rõ chúng tôi đang nói về điều gì" . Coi "AI" là một danh từ đếm được (ví dụ: "cái AI đã quyết định," "một AI biết suy nghĩ") ngầm ám chỉ một thực thể thống nhất, tự điều khiển với các trạng thái tinh thần bên trong. Chuyển "AI" thành tính từ bổ nghĩa cho "hệ thống" (hoặc "mô hình," "công cụ," "thuật toán") liên tục nhắc nhở người đọc rằng đối tượng được nói đến là một sản phẩm kỹ thuật – không phải một tâm trí
.
Kỷ luật ngôn ngữ này trực tiếp chống lại cái mà các nhà nghiên cứu gọi là khía cạnh "thuật ngữ" của sự thổi phồng nhân hóa: khi chúng ta nói "cái AI," bản thân dạng danh từ đã trở thành phương tiện để gán năng lực hành động, ý định và sự hiểu biết mà công nghệ không hề có .
Nhân hóa AI không phải là một phép ẩn dụ vô hại. Nó dẫn đến lừa dối, tin tưởng thái quá, thao túng và trách nhiệm giải trình bị bóp méo. Một kỷ luật ngôn ngữ đơn giản – sử dụng "hệ thống AI" thay vì "cái AI", và tránh các động từ chỉ hoạt động tinh thần như "nghĩ," "biết," và "hiểu" để mô tả những gì thực chất chỉ là các thuật toán khớp mẫu (pattern-matching algorithms) – đóng vai trò như một sự điều chỉnh liên tục. Nó giúp giữ bản chất công cụ của công nghệ ở vị trí trung tâm, bảo vệ người dùng khỏi các thiết kế thao túng, và củng cố khả năng của công chúng trong việc hiểu những gì các hệ thống này có thể và không thể làm.