Perché OpenAI ha allontanato i valutatori che usavano l’IA per giudicare ChatGPT

OpenAI avrebbe allontanato alcuni collaboratori esterni che usavano strumenti di intelligenza artificiale per valutare le risposte dei suoi modelli. La contraddizione è solo apparente: il lavoro richiedeva un giudizio umano indipendente, non una valutazione prodotta da un altro sistema di IA. Le notizie sui provvedimenti riguardano più in generale le attività di valutazione affidate da OpenAI a collaboratori esterni. Il Project Lily è uno dei programmi di revisione umana descritti dalle fonti, ma non è accertato che tutte le persone allontanate lavorassero a quel progetto.1613

Che cosa fanno i valutatori del Project Lily

Secondo le ricostruzioni, il Project Lily impiega centinaia di collaboratori esterni per esaminare richieste reali inviate a ChatGPT e, in alcuni casi, le conversazioni da cui provengono. I valutatori sarebbero reclutati tramite Crossing Hurdles e pagati attraverso Mercor. Un lavoratore ha dichiarato di guadagnare più di 50 dollari l’ora: non è una tariffa verificata per tutti.220

Il compito consiste nel riassumere che cosa l’utente cercava di ottenere, poi commentare e valutare le possibili risposte di ChatGPT. Le attività descritte prevedono fino a quattro risposte candidate, con un punteggio da 1 a 7 per ciascuna. Tra gli aspetti esaminati ci sono il tono, le formulazioni artificiose e la tendenza a dare eccessivamente ragione all’utente. Punteggi e osservazioni scritte servono a orientare il miglioramento del comportamento dei modelli.41131

Perché usare l’IA per dare i voti è un problema

Una persona può valutare autonomamente se una risposta soddisfa la richiesta e se il tono è appropriato. Se lascia che un altro sistema di IA scriva il commento o scelga il punteggio, quell’indipendenza viene meno: il riscontro rischia di riflettere le preferenze generate da un modello, anziché il giudizio del valutatore. È un rischio per l’utilità delle valutazioni, non la prova che un singolo voto dato con l’aiuto dell’IA abbia danneggiato il modello.416

Le istruzioni riportate dalle fonti vietano ai valutatori di usare l’IA per esaminare il lavoro o scrivere commenti, comprese funzioni di Grammarly e traduzione automatica basate sull’IA. Vietano inoltre a chi controlla il lavoro degli altri collaboratori di affidarsi a strumenti che dichiarano di riconoscere i testi generati dall’IA, giudicati inaffidabili dalle istruzioni stesse.139

Come si individuano i casi sospetti, e che cosa resta incerto

Secondo le ricostruzioni, i supervisori osservano segnali come formulazioni ripetitive, uno stile che sembra generato dall’IA o tempi di consegna insolitamente rapidi, invece di basarsi sui risultati dei rilevatori automatici. Sono motivi per approfondire un caso, non prove sufficienti da soli. Le fonti disponibili non permettono di sapere quanto spesso i supervisori individuino correttamente una violazione o non se ne accorgano.933

Resta poi un limite più ampio: anche senza usare l’IA, una persona può lavorare con scarsa attenzione o assegnare deliberatamente un punteggio sbagliato. Le fonti fornite non verificano la specifica presunta ammissione di un collaboratore di aver scelto intenzionalmente valutazioni scadenti; non è quindi possibile stabilirne le circostanze o la diffusione. Il punto verificabile è più circoscritto: l’etichetta «valutato da un essere umano» indica chi ha fornito il giudizio, non garantisce che quel giudizio sia affidabile. Servono controlli anche sulla qualità delle valutazioni.14

Per gli utenti c’è inoltre una questione distinta, quella della riservatezza. Nel Project Lily i revisori possono vedere il testo di conversazioni reali e, secondo le ricostruzioni, il filtro usato da OpenAI per rimuovere i dati personali potrebbe lasciar passare alcune informazioni sensibili. Contano dunque sia l’affidabilità della valutazione sia il modo in cui vengono gestite le conversazioni esaminate.812