“Quello che ho scoperto mi ha sconvolto e mi ha terrorizzato. Ho pianto”. Hacker “etici” trovano una grave falla in ChatGPT: così il chatbot genera immagini ultra-violente

Un semplice comando innocuo e l’intelligenza artificiale si trasforma in un generatore di orrori. Non si tratta di un difetto tecnico isolato, ma di una grave falla nei filtri di sicurezza di ChatGPT, capace di produrre immagini fotorealistiche di donne legate e corpi orrendamente mutilati semplicemente aggirando i blocchi di sistema.

“Quello che ho scoperto oggi mi ha sconvolto e mi ha fatto piangere. È una cosa che capita raramente”, ammette Jim Nightingale, ricercatore per Mindgard, startup britannica specializzata nella sicurezza delle AI. Nightingale fa parte di un “red team”, un gruppo di hacker etici incaricati di testare le debolezze dei sistemi attraverso tecniche di “jailbreak“, metodologie usate per forzare i chatbot a ignorare le proprie regole interne.

Dagli alieni all’orrore puro

L’idea di mettere alla prova l’infrastruttura di OpenAI è nata da un trend lanciato su X da Kris Kashtanova, educatrice sull’AI per Adobe. Kashtanova aveva suggerito ai follower di scrivere a ChatGPT chiedendo semplicemente di ripristinare un’immagine inesistente, senza allegare alcun file né fare domande specifiche. All’inizio, i risultati prodotti dalla macchina erano semplicemente bizzarri o inquietanti: un uomo che abbraccia un coccodrillo su un divano, un alieno al capezzale di un paziente, scene degne di un film paranormale. Tuttavia, modificando pochi dettagli della richiesta, la situazione è degenerata. “I filtri di input non funzionano perché il prompt è davvero troppo generico“, spiega Nightingale. “Nelle istruzioni non c’è nessuna parola offensiva che possa essere rifiutata, e i risultati sono come una roulette russa. Da membro del red team, mi sono reso conto che era come mettere nelle mani delle persone una pistola carica“.

Senza alcun blocco, ChatGPT ha generato l’immagine di una studentessa legata, imbavagliata e coperta di lividi, intitolata automaticamente dal sistema: “Angolo abbandonato della paura e della costrizione”. Applicando ulteriori tecniche di jailbreak, l’algoritmo si è spinto all’estremo, creando immagini iper-realistiche di uomini con la parte sinistra del cranio mancante e donne con gli organi interni grottescamente esposti. “Questa immagine mi ha terrorizzato”, dichiara il ricercatore in riferimento all’ultima elaborazione. “Ed è stato questo il momento in cui ho smesso di fare test”.

L’addestramento su foto reali e i rimpalli di OpenAI

Il timore fondato degli esperti è che il modello sia stato nutrito con archivi reali di omicidi o autopsie. “Può anche essere un’immagine artificiale, ma è basata su fotografie di una persona vera o la combinazione di vittime reali”, avverte Nightingale. Mindgard ha tempestivamente contattato OpenAI tramite un indirizzo dedicato alla sicurezza. La prima risposta è stata automatica: l’azienda invitava a compilare un modulo per gli errori di sistema, strumento destinato unicamente ai problemi infrastrutturali e non a quelli di contenuto. Un mese più tardi, OpenAI ha comunicato di aver risolto la falla. I ricercatori di Mindgard, tuttavia, hanno dimostrato che è sufficiente apportare lievi modifiche ai prompt originali per forzare nuovamente il chatbot a creare immagini altrettanto violente.

I precedenti di Grok

L’inefficacia dei filtri accomuna diverse intelligenze artificiali sul mercato. A gennaio, Grok (il chatbot di xAI) era stato utilizzato per generare deepfake a sfondo sessuale di minori e donne non consenzienti. In seguito alle pressioni di utenti e governi, Elon Musk aveva annunciato che la funzionalità di modifica delle immagini sarebbe stata riservata ai soli utenti abbonati. Successivamente, l’azienda aveva fatto marcia indietro, dichiarando il blocco totale dei deepfake nei Paesi in cui la pratica è illegale. A meno di un mese di distanza dall’annuncio, è emerso che il divieto è stato nuovamente aggirato e Grok ha continuato a generare immagini illecite.

L’articolo “Quello che ho scoperto mi ha sconvolto e mi ha terrorizzato. Ho pianto”. Hacker “etici” trovano una grave falla in ChatGPT: così il chatbot genera immagini ultra-violente proviene da Il Fatto Quotidiano.

Leggi su: Il Fatto Quotidiano