Fænomenet er blevet beskrevet som «antropomorf forførelse»: Den stærke tiltrækning ved en overbevisende, menneskelignende samtale, selv om systemet ikke har nogen egentlig menneskelig erfaring, forståelse eller empati .
Menneskelignende AI kan få brugere til at knytte sig følelsesmæssigt til teknologien. Det øger risikoen for overdreven afhængighed og kan udfordre både privatliv og selvbestemmelse .
Mennesker kan også være mere tilbøjelige til at dele personlige oplysninger med en chatbot, der er gjort menneskelig i sin fremtoning . Samtidig kan den såkaldte antropomorfe slutning få brugere til at tildele et system sociale roller – eksempelvis rådgiver, ven eller fortrolig – selv om der grundlæggende er tale om systemer, der forudsiger og genererer tekst .
Antropomorfisering kan forvrænge vores vurdering af AI-systemers moralske status, karakter og ansvar . Brugere kan for eksempel komme til at placere det moralske ansvar hos maskinen i stedet for hos de mennesker og organisationer, der har udviklet, indført eller anvendt den .
Menneskelignende, men kunstigt fremstillede personer kan desuden bruges til at påvirke forbrugere, samtidig med at ansvaret bliver vanskeligere at placere .
Alt, der er designet til at overbevise, kan gøre mennesker mere modtagelige for påvirkning. Set fra et informationssikkerhedsperspektiv er antropomorfiserede AI-systemer derfor problematiske, fordi de udnytter tillidsgenveje i vores vurderinger – genveje, som kan misbruges .
En bruger, der tror, at vedkommende taler med en forstående og velmenende aktør, kan lettere overse advarsler, dele følsomme oplysninger eller følge råd ukritisk.
Antropomorft sprog kan systematisk få AI-systemers evner til at fremstå større, end de er. Det bidrager til en bredere misrepræsentation af teknologiens faktiske muligheder .
Ord som «tænker», «ved», «forstår» og «vil» antyder overbevisninger, ønsker eller bevidsthed. Men AI-systemer har ikke sådanne indre oplevelser; de genererer output ud fra mønstre i de data og instruktioner, de behandler .
Når «AI» bruges som et tælleligt substantiv – for eksempel i formuleringer som «AI’en besluttede» eller «en AI, der tænker» – kommer teknologien til at ligne en samlet, selvstyrende entitet med egne mentale tilstande.
Hvis man i stedet siger «AI-systemet», «modellen», «værktøjet», «algoritmen» eller mere specifikt «en sprogmodel», bliver det tydeligere, hvad man faktisk taler om. Den sproglige præcision fungerer som en løbende påmindelse om, at teknologien er et menneskeskabt artefakt – ikke et sind.
Tidsskriftet Nature har derfor anbefalet, at man så vidt muligt undgår «the AI» og «an AI», fordi formuleringerne antyder selvstændig handlekraft. I stedet foreslår tidsskriftet «the AI system» eller en mere præcis betegnelse for den konkrete model eller chatbot .
Det betyder ikke, at alle menneskelignende formuleringer er forbudte eller altid skadelige. De kan gøre teknologien lettere at bruge og forstå. Problemet opstår, når metaforen bliver forvekslet med en beskrivelse af virkeligheden.
At sige, at et system «svarer», kan være en praktisk forkortelse. At sige, at det «forstår», «bekymrer sig» eller «har besluttet», kan derimod få brugeren til at overvurdere dets evner og undervurdere menneskers ansvar.
Kort sagt: Antropomorfisering af AI er ikke nødvendigvis harmløs billedsprog. Den kan fremme bedrag, overdreven tillid, manipulation og uklare ansvarsforhold. En enkel sproglig disciplin – at foretrække «AI-systemer» frem for «AI’en» – hjælper med at holde teknologiens værktøjsagtige natur i centrum.