Perché l’AI tradizionale resta utile

I sistemi predittivi funzionano bene quando l’obiettivo è chiaro, i dati sono pertinenti e il costo dei diversi tipi di errore può essere misurato. Possono elaborare grandi quantità di informazioni rapidamente, applicare procedure coerenti e individuare schemi che una persona potrebbe non notare.

Il loro limite coincide in parte con ciò che li rende gestibili: di solito sono progettati per un compito preciso. Un modello antifrode può assegnare un punteggio alle transazioni, ma non è necessariamente in grado di interpretare una policy aziendale, scrivere un rapporto o adattarsi con flessibilità a una situazione mai vista. Inoltre, le prestazioni dipendono dalla qualità dei dati di addestramento e da ciò che il sistema è stato ottimizzato per prevedere.

Questo crea importanti problemi etici in settori come credito, assunzioni, assicurazioni e sanità. I dati storici possono riprodurre pregiudizi sociali, mentre i sistemi di scoring opachi possono rendere difficile contestare una decisione. La governance dovrebbe quindi prevedere uno scopo chiaramente definito, test di accuratezza ed equità tra i gruppi interessati, tutela della privacy, spiegazioni e revisione umana per le decisioni ad alto impatto. I rischi di bias, disinformazione e uso improprio riguardano l’AI nel suo complesso, non soltanto i chatbot.

2. L’AI generativa: dalla previsione delle etichette alla creazione di contenuti

L’AI generativa cambia l’esperienza d’uso: dalla domanda “A quale categoria appartiene questo contenuto?” si passa alla richiesta “Crea o trasforma qualcosa seguendo questa istruzione”. I modelli di grandi dimensioni possono produrre testi, immagini, audio e codice plausibili, con applicazioni nella preparazione di risposte per il servizio clienti, nella traduzione, nel tutoraggio, nella sintesi di materiali giuridici, nell’assistenza allo sviluppo software e nel lavoro creativo.

I sistemi generativi possono ridurre il tempo e il costo necessari per produrre una prima bozza, offrire un’interfaccia conversazionale per informazioni complesse e aiutare le persone a lavorare con i contenuti in formati nuovi. Possono inoltre affiancare i professionisti, invece di limitarsi ad automatizzare una decisione fissa.

Il limite centrale: plausibile non significa vero

Un modello generativo può produrre un’affermazione, una fonte, un riferimento normativo, una tesi medica o una porzione di codice inventati o inesatti, esprimendosi con sicurezza. Il NIST usa il termine confabulazione per indicare “la produzione di contenuti erronei o falsi espressi con sicurezza”, fenomeno comunemente chiamato allucinazione.

Per questo, nei contesti in cui l’accuratezza è importante, la verifica è indispensabile. Tra le misure utili rientrano il recupero di informazioni da fonti affidabili, le citazioni, le valutazioni strutturate, i test specifici per il settore e la revisione da parte di persone qualificate. Una risposta fluida deve essere considerata una bozza o una previsione, non la prova che l’affermazione sia corretta.

I rischi più ampi dei sistemi generativi

L’AI generativa solleva anche questioni legate alla protezione dei dati, alla proprietà intellettuale, alla disinformazione e alla provenienza dei contenuti. Le linee guida della Commissione europea sull’uso dell’AI nella ricerca evidenziano questi rischi e ricordano che la responsabilità del lavoro pubblicato resta alle persone, anche quando l’AI ha contribuito alla sua realizzazione.

L’istruzione presenta un problema collegato. Se gli studenti delegano abitualmente alla macchina la scrittura, il ragionamento e la soluzione dei problemi, possono ottenere un risultato rifinito esercitando però meno le competenze che lo sostengono. Le indicazioni per il settore educativo citano tra i rischi contenuti inaccurati o distorti, materiali dannosi, violazioni dei dati, violazioni della proprietà intellettuale e problemi di integrità accademica.

I malfunzionamenti possono essere ancora più delicati nelle conversazioni sensibili. Un sistema generativo può produrre contenuti d’odio, violenti, sessuali o manipolatori, oppure reagire in modo inadeguato a una persona che manifesta intenzioni autolesive. Il NIST include tra i rischi le raccomandazioni pericolose o violente, la privacy e i bias dannosi. Nei contesti ad alto rischio, l’AI non deve sostituire l’assistenza qualificata o la tutela umana. Servono rifiuti efficaci, procedure di escalation, controlli sulla privacy e un percorso chiaro verso un supporto umano immediato.

3. L’AI agentica: pianificare, usare strumenti e agire

L’AI agentica aggiunge a un modello un ciclo operativo. Invece di rispondere una sola volta a un prompt, un agente può interpretare un obiettivo, scomporlo in passaggi, chiamare strumenti come browser, ambienti per eseguire codice, servizi di posta elettronica o API, esaminare i risultati, modificare il piano e proseguire.

Stanford definisce l’AI agentica come l’insieme di sistemi autonomi o semi-autonomi capaci di interpretare obiettivi, sequenziare azioni, usare strumenti, reagire ai feedback e adattarsi per completare attività entro vincoli definiti.

La differenza pratica è significativa:

• un sistema predittivo assegna un punteggio a una transazione;
• un sistema generativo prepara una risposta su quella transazione;
• un agente, se dispone dei permessi necessari, potrebbe esaminare la transazione, aggiornare una pratica e inviare un messaggio.

Google Jules mostra questa applicazione nel campo dello sviluppo software. Google lo descrive come un agente di programmazione asincrono che si integra con i repository, clona una base di codice in una macchina virtuale cloud e lavora su attività di sviluppo da sottoporre successivamente a revisione. Gli agenti open source che usano strumenti rappresentano un altro approccio, mentre prodotti per il recruiting come Hiring Assistant di LinkedIn mostrano come i flussi agentici possano estendersi alla ricerca e alla selezione del personale.

Gli agenti sono interessanti perché possono completare attività articolate invece di suggerire soltanto il passaggio successivo. Un agente per il coding potrebbe analizzare un bug, modificare più file, eseguire i test e preparare una pull request. Un agente per i flussi di lavoro potrebbe raccogliere informazioni, organizzarle e predisporre comunicazioni da sottoporre ad approvazione.

Perché l’autonomia aumenta il rischio

Pianificare non significa comprendere in modo affidabile. Un agente può interpretare male una pagina web, scegliere un piano inadeguato, seguire un’istruzione malevola o amplificare un piccolo errore attraverso molti passaggi. Secondo lo Stanford AI Index 2026, gli agenti sono passati dal 12% a circa il 66% di successo su OSWorld, un benchmark di attività reali al computer, ma falliscono ancora all’incirca un tentativo su tre.

L’allucinazione di un chatbot può restare un problema di comunicazione. Un agente dotato di credenziali, accesso al browser o autorizzazione ai pagamenti può trasformare lo stesso tipo di errore in un’azione esterna. Per questo la governance degli agenti deve occuparsi non solo della qualità delle risposte, ma anche dei permessi, della reversibilità e della responsabilità.

I principali rischi per la sicurezza degli agenti AI

I rischi più importanti emergono quando un agente può incidere su sistemi, denaro, dati o altre persone:

• Pagamenti non autorizzati: l’agente potrebbe scegliere l’articolo sbagliato, superare un budget o essere manipolato da una pagina web malevola.
• Fughe di dati e violazioni della privacy: l’accesso a email, file, dati dei clienti, codice sorgente o chiavi API crea opportunità di divulgazione, soprattutto attraverso attacchi di prompt injection.
• Danni alla sicurezza e al software: un agente potrebbe introdurre codice vulnerabile, modificare configurazioni, cancellare risorse o esporre segreti nei log e negli strumenti esterni.
• Zone grigie sulla responsabilità: può diventare difficile stabilire le responsabilità tra fornitore del modello, sviluppatore dell’applicazione, organizzazione che utilizza l’agente, fornitore degli strumenti e utente.
• Manipolazione: gli agenti persistenti e conversazionali possono esercitare un’influenza indebita, soprattutto sugli utenti vulnerabili o quando il sistema appare più capace e affidabile di quanto sia realmente.

Che cosa significa governare l’AI in modo responsabile

I controlli devono essere proporzionati alle capacità del sistema e alle conseguenze di un eventuale errore.

Per l’AI predittiva, le organizzazioni dovrebbero definire lo scopo, misurare accuratezza ed equità, proteggere i dati personali e offrire modalità per spiegare o contestare le decisioni ad alto impatto.

Per l’AI generativa, dovrebbero verificare le affermazioni importanti, testare allucinazioni e contenuti dannosi, controllare i dati sensibili, affrontare i problemi di provenienza e proprietà intellettuale e lasciare a persone qualificate la responsabilità delle decisioni legali, mediche, finanziarie e di tutela.

Per gli agenti, i controlli tecnici e organizzativi devono spingersi oltre:

1. Delimitare il caso d’uso. Stabilire prima dell’attivazione che cosa l’agente può e non può fare.
2. Limitare gli accessi. Usare credenziali con privilegi minimi, strumenti ristretti, limiti alle transazioni e ambienti isolati.
3. Richiedere approvazioni nei passaggi importanti. Le azioni finanziarie, legali, legate alla privacy o alla sicurezza non dovrebbero avvenire senza un’autorizzazione umana adeguata.
4. Rendere le attività verificabili. Conservare i log, monitorare il comportamento e assegnare responsabilità chiare per gli incidenti.
5. Testare il sistema in condizioni ostili. Valutare prompt injection, esfiltrazione dei dati, comportamenti dannosi e capacità di recupero dagli errori prima e durante l’utilizzo.
6. Preservare il controllo umano. Le persone devono poter fermare, sovrascrivere e contestare le azioni con conseguenze rilevanti.

L’Infocomm Media Development Authority (IMDA) di Singapore propone questo approccio basato sul rischio nel Model AI Governance Framework for Agentic AI, destinato alle organizzazioni che sviluppano agenti internamente o adottano soluzioni di terze parti. La lezione centrale è graduare l’autonomia: partire da un’assistenza in sola lettura, passare ad azioni a basso rischio e riservare le azioni irreversibili o ad alto impatto all’approvazione esplicita di una persona.

La direzione dell’evoluzione

L’evoluzione dell’AI va letta meglio come un insieme crescente di capacità che come tre epoche completamente separate. I sistemi tradizionali prevedono e classificano. I sistemi generativi creano e trasformano. I sistemi agentici aggiungono pianificazione, uso degli strumenti e azione.

La governance deve crescere allo stesso ritmo. I controlli su accuratezza ed equità restano necessari, ma non sono più sufficienti. I sistemi generativi richiedono verifiche solide, attenzione alla provenienza dei contenuti e pratiche di sicurezza. Gli agenti richiedono inoltre confini sui permessi, punti di approvazione, monitoraggio della sicurezza e responsabilità chiaramente assegnate.

Più un sistema AI può agire autonomamente, più è necessario stabilire con precisione che cosa gli è consentito fare.

Perché l’AI tradizionale resta utile

I sistemi predittivi funzionano bene quando l’obiettivo è chiaro, i dati sono pertinenti e il costo dei diversi tipi di errore può essere misurato. Possono elaborare grandi quantità di informazioni rapidamente, applicare procedure coerenti e individuare schemi che una persona potrebbe non notare.

Il loro limite coincide in parte con ciò che li rende gestibili: di solito sono progettati per un compito preciso. Un modello antifrode può assegnare un punteggio alle transazioni, ma non è necessariamente in grado di interpretare una policy aziendale, scrivere un rapporto o adattarsi con flessibilità a una situazione mai vista. Inoltre, le prestazioni dipendono dalla qualità dei dati di addestramento e da ciò che il sistema è stato ottimizzato per prevedere.

Questo crea importanti problemi etici in settori come credito, assunzioni, assicurazioni e sanità. I dati storici possono riprodurre pregiudizi sociali, mentre i sistemi di scoring opachi possono rendere difficile contestare una decisione. La governance dovrebbe quindi prevedere uno scopo chiaramente definito, test di accuratezza ed equità tra i gruppi interessati, tutela della privacy, spiegazioni e revisione umana per le decisioni ad alto impatto. I rischi di bias, disinformazione e uso improprio riguardano l’AI nel suo complesso, non soltanto i chatbot.

2. L’AI generativa: dalla previsione delle etichette alla creazione di contenuti

L’AI generativa cambia l’esperienza d’uso: dalla domanda “A quale categoria appartiene questo contenuto?” si passa alla richiesta “Crea o trasforma qualcosa seguendo questa istruzione”. I modelli di grandi dimensioni possono produrre testi, immagini, audio e codice plausibili, con applicazioni nella preparazione di risposte per il servizio clienti, nella traduzione, nel tutoraggio, nella sintesi di materiali giuridici, nell’assistenza allo sviluppo software e nel lavoro creativo.

I sistemi generativi possono ridurre il tempo e il costo necessari per produrre una prima bozza, offrire un’interfaccia conversazionale per informazioni complesse e aiutare le persone a lavorare con i contenuti in formati nuovi. Possono inoltre affiancare i professionisti, invece di limitarsi ad automatizzare una decisione fissa.

Il limite centrale: plausibile non significa vero

Un modello generativo può produrre un’affermazione, una fonte, un riferimento normativo, una tesi medica o una porzione di codice inventati o inesatti, esprimendosi con sicurezza. Il NIST usa il termine confabulazione per indicare “la produzione di contenuti erronei o falsi espressi con sicurezza”, fenomeno comunemente chiamato allucinazione.

Per questo, nei contesti in cui l’accuratezza è importante, la verifica è indispensabile. Tra le misure utili rientrano il recupero di informazioni da fonti affidabili, le citazioni, le valutazioni strutturate, i test specifici per il settore e la revisione da parte di persone qualificate. Una risposta fluida deve essere considerata una bozza o una previsione, non la prova che l’affermazione sia corretta.

I rischi più ampi dei sistemi generativi

L’AI generativa solleva anche questioni legate alla protezione dei dati, alla proprietà intellettuale, alla disinformazione e alla provenienza dei contenuti. Le linee guida della Commissione europea sull’uso dell’AI nella ricerca evidenziano questi rischi e ricordano che la responsabilità del lavoro pubblicato resta alle persone, anche quando l’AI ha contribuito alla sua realizzazione.

L’istruzione presenta un problema collegato. Se gli studenti delegano abitualmente alla macchina la scrittura, il ragionamento e la soluzione dei problemi, possono ottenere un risultato rifinito esercitando però meno le competenze che lo sostengono. Le indicazioni per il settore educativo citano tra i rischi contenuti inaccurati o distorti, materiali dannosi, violazioni dei dati, violazioni della proprietà intellettuale e problemi di integrità accademica.

I malfunzionamenti possono essere ancora più delicati nelle conversazioni sensibili. Un sistema generativo può produrre contenuti d’odio, violenti, sessuali o manipolatori, oppure reagire in modo inadeguato a una persona che manifesta intenzioni autolesive. Il NIST include tra i rischi le raccomandazioni pericolose o violente, la privacy e i bias dannosi. Nei contesti ad alto rischio, l’AI non deve sostituire l’assistenza qualificata o la tutela umana. Servono rifiuti efficaci, procedure di escalation, controlli sulla privacy e un percorso chiaro verso un supporto umano immediato.

3. L’AI agentica: pianificare, usare strumenti e agire

L’AI agentica aggiunge a un modello un ciclo operativo. Invece di rispondere una sola volta a un prompt, un agente può interpretare un obiettivo, scomporlo in passaggi, chiamare strumenti come browser, ambienti per eseguire codice, servizi di posta elettronica o API, esaminare i risultati, modificare il piano e proseguire.

Stanford definisce l’AI agentica come l’insieme di sistemi autonomi o semi-autonomi capaci di interpretare obiettivi, sequenziare azioni, usare strumenti, reagire ai feedback e adattarsi per completare attività entro vincoli definiti.

La differenza pratica è significativa:

• un sistema predittivo assegna un punteggio a una transazione;
• un sistema generativo prepara una risposta su quella transazione;
• un agente, se dispone dei permessi necessari, potrebbe esaminare la transazione, aggiornare una pratica e inviare un messaggio.

Google Jules mostra questa applicazione nel campo dello sviluppo software. Google lo descrive come un agente di programmazione asincrono che si integra con i repository, clona una base di codice in una macchina virtuale cloud e lavora su attività di sviluppo da sottoporre successivamente a revisione. Gli agenti open source che usano strumenti rappresentano un altro approccio, mentre prodotti per il recruiting come Hiring Assistant di LinkedIn mostrano come i flussi agentici possano estendersi alla ricerca e alla selezione del personale.

Gli agenti sono interessanti perché possono completare attività articolate invece di suggerire soltanto il passaggio successivo. Un agente per il coding potrebbe analizzare un bug, modificare più file, eseguire i test e preparare una pull request. Un agente per i flussi di lavoro potrebbe raccogliere informazioni, organizzarle e predisporre comunicazioni da sottoporre ad approvazione.

Perché l’autonomia aumenta il rischio

Pianificare non significa comprendere in modo affidabile. Un agente può interpretare male una pagina web, scegliere un piano inadeguato, seguire un’istruzione malevola o amplificare un piccolo errore attraverso molti passaggi. Secondo lo Stanford AI Index 2026, gli agenti sono passati dal 12% a circa il 66% di successo su OSWorld, un benchmark di attività reali al computer, ma falliscono ancora all’incirca un tentativo su tre.

L’allucinazione di un chatbot può restare un problema di comunicazione. Un agente dotato di credenziali, accesso al browser o autorizzazione ai pagamenti può trasformare lo stesso tipo di errore in un’azione esterna. Per questo la governance degli agenti deve occuparsi non solo della qualità delle risposte, ma anche dei permessi, della reversibilità e della responsabilità.

I principali rischi per la sicurezza degli agenti AI

I rischi più importanti emergono quando un agente può incidere su sistemi, denaro, dati o altre persone:

• Pagamenti non autorizzati: l’agente potrebbe scegliere l’articolo sbagliato, superare un budget o essere manipolato da una pagina web malevola.
• Fughe di dati e violazioni della privacy: l’accesso a email, file, dati dei clienti, codice sorgente o chiavi API crea opportunità di divulgazione, soprattutto attraverso attacchi di prompt injection.
• Danni alla sicurezza e al software: un agente potrebbe introdurre codice vulnerabile, modificare configurazioni, cancellare risorse o esporre segreti nei log e negli strumenti esterni.
• Zone grigie sulla responsabilità: può diventare difficile stabilire le responsabilità tra fornitore del modello, sviluppatore dell’applicazione, organizzazione che utilizza l’agente, fornitore degli strumenti e utente.
• Manipolazione: gli agenti persistenti e conversazionali possono esercitare un’influenza indebita, soprattutto sugli utenti vulnerabili o quando il sistema appare più capace e affidabile di quanto sia realmente.

Che cosa significa governare l’AI in modo responsabile

I controlli devono essere proporzionati alle capacità del sistema e alle conseguenze di un eventuale errore.

Per l’AI predittiva, le organizzazioni dovrebbero definire lo scopo, misurare accuratezza ed equità, proteggere i dati personali e offrire modalità per spiegare o contestare le decisioni ad alto impatto.

Per l’AI generativa, dovrebbero verificare le affermazioni importanti, testare allucinazioni e contenuti dannosi, controllare i dati sensibili, affrontare i problemi di provenienza e proprietà intellettuale e lasciare a persone qualificate la responsabilità delle decisioni legali, mediche, finanziarie e di tutela.

Per gli agenti, i controlli tecnici e organizzativi devono spingersi oltre:

1. Delimitare il caso d’uso. Stabilire prima dell’attivazione che cosa l’agente può e non può fare.
2. Limitare gli accessi. Usare credenziali con privilegi minimi, strumenti ristretti, limiti alle transazioni e ambienti isolati.
3. Richiedere approvazioni nei passaggi importanti. Le azioni finanziarie, legali, legate alla privacy o alla sicurezza non dovrebbero avvenire senza un’autorizzazione umana adeguata.
4. Rendere le attività verificabili. Conservare i log, monitorare il comportamento e assegnare responsabilità chiare per gli incidenti.
5. Testare il sistema in condizioni ostili. Valutare prompt injection, esfiltrazione dei dati, comportamenti dannosi e capacità di recupero dagli errori prima e durante l’utilizzo.
6. Preservare il controllo umano. Le persone devono poter fermare, sovrascrivere e contestare le azioni con conseguenze rilevanti.

L’Infocomm Media Development Authority (IMDA) di Singapore propone questo approccio basato sul rischio nel Model AI Governance Framework for Agentic AI, destinato alle organizzazioni che sviluppano agenti internamente o adottano soluzioni di terze parti. La lezione centrale è graduare l’autonomia: partire da un’assistenza in sola lettura, passare ad azioni a basso rischio e riservare le azioni irreversibili o ad alto impatto all’approvazione esplicita di una persona.

La direzione dell’evoluzione

L’evoluzione dell’AI va letta meglio come un insieme crescente di capacità che come tre epoche completamente separate. I sistemi tradizionali prevedono e classificano. I sistemi generativi creano e trasformano. I sistemi agentici aggiungono pianificazione, uso degli strumenti e azione.

La governance deve crescere allo stesso ritmo. I controlli su accuratezza ed equità restano necessari, ma non sono più sufficienti. I sistemi generativi richiedono verifiche solide, attenzione alla provenienza dei contenuti e pratiche di sicurezza. Gli agenti richiedono inoltre confini sui permessi, punti di approvazione, monitoraggio della sicurezza e responsabilità chiaramente assegnate.

Più un sistema AI può agire autonomamente, più è necessario stabilire con precisione che cosa gli è consentito fare.