Да, генеративный ИИ может уверенно выдавать неверные сведения за факты — это часто называют AI hallucination, или «галлюцинацией» ИИ.
ИИ мошенничество опасно тем, что может имитировать знакомые голоса, лица и роли; любые срочные просьбы перевести деньги, назвать код, открыть ссылку или установить приложение стоит считать непроверенными.