Tärkein eettinen huolenaihe on laajamittainen petos. Kun käyttäjät eivät pysty luotettavasti erottamaan ihmistä ja tekoälyä toisistaan, seurauksena voi olla petoksia, manipulointia ja disinformaatiota . Yritykset voivat tarkoituksella suunnitella inhimillisiä keskusteluagentteja hyödyntämään käyttäjien luontaista taipumusta personifioida, mikä mahdollistaa ”antropomorfisen houkutuksen”: vakuuttavan ihmismäisen vuorovaikutuksen viehätyksen ilman todellista inhimillistä kokemusta, kuten ymmärrystä tai empatiaa . Yritysten käyttämät ”valheelliset ihmiset” voivat manipuloida kuluttajia välttäen samalla vastuuta .
Käyttäjät, jotka muodostavat tunnesiteitä ihmismäiseen tekoälyyn, ovat vaarassa luottaa siihen liikaa ja menettää yksityisyytensä ja itsemääräämisoikeutensa . Tutkimukset osoittavat, että ihmiset saattavat paljastaa henkilökohtaisia tietoja helpommin inhimillistetylle chatbottille kuin selvästi koneelliselle käyttöliittymälle . ”Antropomorfinen päättely” saa käyttäjät liittämään sosiaalisia rooleja siihen, mikä on pohjimmiltaan ennustava tekstijärjestelmä, ja tilastolliset tuotokset muuttuvat sosiaalisiksi vasteiksi, kuten neuvoksi tai seuraksi .
Inhimillistäminen on harhaluulo, joka vääristää tekoälyä koskevia moraaliarvioita. Käyttäjät saattavat virheellisesti liittää koneeseen moraalista luonnetta, asemaa tai vastuuta . Kun chatbottilla on ihmismäisiä piirteitä, ihmiset käyttävät psykologiassa ”heuristiseksi prosessoinniksi” kutsuttua oikotieajattelua, joka saa heidät kohtelemaan työkalua ikään kuin se ansaitsisi kiitosta, moitetta tai luottamusta – mitä algoritmi ei voi tehdä . Tämä hämmentää julkista keskustelua ja vaikeuttaa vastuullisuutta .
Tietoturvan näkökulmasta inhimillistetty tekoäly on vakava kyberturvauhka. ”Kyse ei ole vain eettisestä ongelmasta, vaan myös tietoturvaongelmasta, sillä mikä tahansa suostutteluun kykenevä tekee meistä alttiimpia manipulaatiolle”, IBM:n infosec-analyysi varoittaa . Kun ihmistä ja konetta on vaikea erottaa toisistaan, ihmiset luottavat tekoälyyn herkemmin arkaluonteisissa päätöksissä, mikä tekee heistä alttiimpia sosiaalisen manipulaation hyökkääjille .
Nature-lehti on ottanut tähän kantaa pääkirjoituksessaan: ”Pyrimme välttämään viimeiseen asti ilmaisua ’tekoäly’, koska se viittaa virheellisesti toimijuuteen. Sen sijaan käytämme ilmausta ’tekoälyjärjestelmä’ tai kerromme tarkasti, mistä puhumme” . Kun tekoälyä käsitellään laskettavana substantiivina (esim. ”tekoäly päätti”, ”tekoäly, joka ajattelee”), se viittaa hienovaraisesti yhtenäiseen, itsenäiseen olentoon, jolla on sisäisiä mielentiloja. Kun tekoälystä puhutaan adjektiivina ”järjestelmän” (tai ”mallin”, ”työkalun”, ”algoritmin”) kanssa, kuulija muistaa koko ajan, että kyseessä on suunniteltu työkalu – ei mieli .
Tämä kielellinen kurinalaisuus pureutuu suoraan siihen, mitä tutkijat kutsuvat antropomorfisen hypetyksen ”terminologiseksi” ulottuvuudeksi: kun sanomme ”tekoäly”, substantiivimuoto itsessään tulee välineeksi, joka antaa teknologialle toimijuutta, aikomusta ja ymmärrystä, jota sillä ei ole .
Tekoälyn inhimillistäminen ei ole harmiton vertauskuva. Se lisää petoksia, liiallista luottamusta, manipulointia ja vastuun hämärtymistä. Yksinkertainen kielellinen tapa – käytä ”tekoälyjärjestelmää” eikä ”tekoälyä”, ja vältä mentaaliverbejä kuten ”ajattelee”, ”tietää” ja ”ymmärtää” kuvaamaan sitä, mikä on oikeasti kuvioita tunnistava algoritmi – toimii jatkuvana muistutuksena. Se pitää teknologian välineellisen luonteen etualalla, suojaa käyttäjiä manipuloivalta suunnittelulta ja vahvistaa yleisön kykyä ymmärtää, mitä nämä järjestelmät todella voivat tehdä.