Open source e sicurezza. I rischi dell'AI richiedono compromessi per il futuro
Le tecnologie aperte hanno sempre contribuito in maniera netta alla diffusione dei benefici portati dalle stesse. Con l'AI, però, si corrono rischi che non possono essere derubricati
IN POCHE RIGHE
Chiunque si sia anche solo tangenzialmente interessato di tecnologia converrà senza troppe esitazioni sul fatto che, nella sua storia, l'open source sia stato una proverbiale manna dal cielo.
I motivi sono diversi, ma si possono ragionevolmente distillare in due, tra loro intrecciati. Il primo è filosofico: le tecnologie open source permettono di condividere ricette e risultati degli avanzamenti con la comunità allargata, rendendo aperto e squisitamente scientifico tutto il progresso.
L’altro è più strettamente pratico, ed è la conseguenza diretta: più strumenti, più miglioramenti, più possibilità di fissare standard universali sui quali edificare. Da Linux a Git, da Python a TensorFlow e PyTorch, dal protocollo Signal a Tor a WordPress — i veri e propri architravi della modernità virtuale su cui poggia tutto il resto non vivono dentro cassetti le cui chiavi hanno un padrone.
L’infrastruttura di Internet, la ricerca nella computer science, la privacy, la sicurezza, i diritti digitali, l’istruzione, la creatività — tutto riconducibile a codice aperto, ispezionabile, riutilizzabile. È un patrimonio immenso che, proprio perché non sempre facilmente attribuibile a un'unica entità, passa a volte ingiustamente sotto traccia.
Oggi, nella corsa alla maturità dell’AI, sono i modelli a essere sotto esame. E forse, per la prima volta, mettere dei paletti potrebbe non solo essere giusto, ma necessario. Accettando — come per tutte le questioni spinose che la civiltà ciclicamente affronta — il complicato rito del compromesso.
UNA STORIA
Siamo a cavallo tra il 2023 e il 2024, da qualche parte nell’est della Nigeria. Un complesso militare, come ci si aspetterebbe, è circondato da un fossato. Complicato, dunque, da assalire ed espugnare.
Serve una strategia. (traduzione mia)
“Abbiamo visto in un film come, in moto, si può saltare sopra ai ponti.
E abbiamo usato l’AI per imparare a fare la stessa cosa.
Abbiamo fornito le informazioni necessarie, come i tipi di motocicletta che usiamo e la distanza necessaria per fare il salto, etc.; e [l’AI] ci ha dato tutti i passaggi per fare ciò che dovevamo.
Abbiamo fatto molta pratica e posto molte domande; e scavato buchi nella terra noi stessi, poi riempiti di pezzi di vetro a cui abbiamo dato fuoco per prendere dimestichezza.
Diciotto di noi sono morti nel processo. Otto ce l’hanno fatta.
All’attacco successivo, sapevamo cosa fare.”
A parlare non è un personaggio pescato da qualche strana fantasia hollywoodiana, ma un muznir1 del gruppo terroristico islamico Boko Haram.
L’intervista, condotta dalla ricercatrice Antonia Juelich per l’Università di Cambridge durante i lavori di redazione di un paper rilasciato qualche giorno fa, è una delle più rivelatrici sul rapporto intimo che si sta sviluppando, sotto traccia, tra gli strumenti di intelligenza artificiale e le organizzazioni terroristiche.
Si legge sul lavoro che (pp. 53-54, traduzione ed enfasi mie):
L’AI è anche utilizzata come un tool di analisi post-missione, per l’apprendimento organizzativo.
Anziché limitarsi alle sole fasi di pianificazione ed esecuzione, Boko Haram consulta gli LLM anche dopo le operazioni militari, per comprendere quali strategie hanno fallito e come migliorarle.
“Li ho visti usare [strumenti di AI] quando siamo andati a combattere e abbiamo perso.
Quando sono tornati a casa, hanno scritto [all’AI] quali strategie avessero usato per imparare cosa avessero sbagliato”, racconta un ex-bodyguard del gruppo.
Un altro intervistato parla del footage che le unità media di Boko Haram, incaricate di filmare le operazioni, caricano [sui tool di AI] insieme ai filmati delle truppe stesse per “farle analizzare cosa sia andato storto ed escogitare nuove strategie”.
Il lavoro complessivo della Juelich è al contempo agghiacciante e affascinante, ma sicuramente prezioso. Documenta, infatti, l’esistenza effettiva di attori malintenzionati alle prese con l’AI e restituisce un quadro preciso dell’utilizzo: analisi pre- e post-operazioni, come abbiamo visto, ma anche troubleshooting su come aggiustare, potenziare e utilizzare al meglio armi da fuoco; progettazione di ordigni esplosivi (dalla composizione chimica al montaggio); e perfino metodi per trasformare droni da uso commerciale in strumenti per lo sgancio di bombe a distanza.
I dettagli, anche relativamente tecnici, si sprecano. E sono un’ottima dimostrazione di come l’AI, sebbene non ancora in grado di agire in modo del tutto autonomo e indipendente, possa essere un eccezionale moltiplicatore di conoscenza (nei domini più disparati) nelle mani “giuste”.
Ma cosa c’entra tutto questo con l’open source?
L’ACQUA IN CUI NUOTIAMO
Bisogna innanzitutto sgombrare il campo da potenziali false equivalenze: i mercenari di Boko Haram, come gli anni sul campo spesi dalla Dr.ssa Juelich testimoniano, hanno utilizzato quasi esclusivamente modelli chiusi per le operazioni: ChatGPT, Claude, Gemini, ma anche i prodotti di SpaceXAI e Meta. Solo DeepSeek risulta parte del bouquet.
Considerando che i fatti si riferiscono principalmente al 2024, è anche verosimile che si tratti per la maggior parte dei casi di modelli che al più si attestano sulla classe GPT-42, ormai del tutto obsoleta sia in termini generali di intelligenza sia in virtù dell’assenza di modalità di ragionamento.
La qual cosa ci ricorda che, insieme ad un livello di capability complessivamente molto più basso, i meccanismi di sicurezza dei vecchi modelli erano indubbiamente meno efficaci di quelli odierni. Circumnavigare le difese dei modelli, pur addestrati a non rispondere se promptati esplicitamente con richieste dubbie, era fin troppo semplice.
Anche un banale framing fittizio o accademico — nascondendo le richieste all’interno di un contesto narrativo o presentato come puramente inteso per fini di studio — poteva essere sufficiente a tirare fuori le conoscenze dei modelli in ambito biochimico e militare.
Oggi il problema sembrerebbe essere quello opposto, e cioè che i modelli di frontiera come Claude Fable 5 e GPT-5.6 Sol hanno delle maglie così strette da ingabbiare in falsi positivi fin troppe richieste del tutto benefiche. E dunque, benché questi strumenti immensamente più potenti potrebbero essere ben più dannosi nelle mani di terroristi, il loro livello di sicurezza ha raggiunto livelli tali da rendere questo un non-problema. Vero?
Beh, non esattamente.
Da un lato i cosiddetti jailbreak rimangono una componente intrinseca dei sistemi di AI correnti. L’intera bagarre che ha portato il governo statunitense a bloccare in modo improvviso e scomposto Claude Fable 5 dopo essere stato rilasciato è nata in parte proprio da questa incomprensione; nello specifico la segnalazione fatta da Amazon3 circa la capacità del modello di trovare vulnerabilità in ambito di cybersicurezza.
Nel corso delle discussioni riconciliatorie — che hanno poi effettivamente permesso a Fable (e anche a GPT-5.6, similmente fermato alla “dogana”) di tornare disponibile — gli ingegneri di Anthropic hanno pazientemente spiegato come, in principio, mai nessun modello di AI potrà essere realmente sicuro al 100%, poiché è la natura stessa di questi sistemi a rendere strutturalmente non possibile una protezione completa. Quello che si può fare è lavorare sugli scudi, come i classificatori che vagliano la bontà di una richiesta ed eventualmente la bloccano e la segnalano4.
La “fortuna” sta nel fatto che trovare i jailbreak5 non è affatto semplice, e che in assenza di conoscenze specifiche tutt’altro che banali non è possibile stregare i modelli e sottometterli ad utilizzi nefasti, soprattutto in modo continuativo e prolungato.
Il nodo dell’open source, però, sta tutto qui.
PERCHÉ CONTA
Più che di open source, a dire la verità, bisognerebbe parlare di open weight — i modelli liberamente scaricabili, come (principalmente) quelli cinesi, non contengono infatti il vero e proprio kit di istruzioni con gli ingredienti (i dati) e la ricetta (gli algoritmi e le tecniche di addestramento e fine-tuning) per ricostruire l’artefatto da zero; bensì l’artefatto stesso, i cui parametri più importanti — i cosiddetti “pesi”, appunto, ovvero quelli che ne determinano in maniera più fondamentale l’intelligenza e il comportamento — sono apertamente modificabili e manipolabili, rendendo le operazioni di “abliterazione”6 relativamente triviali.
I modelli open weight disponibili oggi, pur non essendo ancora giunti ad avere le capacità di un Mythos, non sono troppo distanti — le stime continuano ad aggirarsi tra i 5 e i 6 mesi nei casi più ottimisti a 8-9 per i più scettici.
È però facilmente intuibile che anche sistemi come GLM-5.2, DeepSeek V4-Pro, Qwen3.7-Max o Kimi K2.7 Code, appunto ai livelli dei modelli americani di fine 2025/inizio 2026 (Opus 4.6, GPT-5.2, etc.), se finissero preda di gruppi terroristici7 potrebbero rivelarsi significativamente più dannosi dei “giocattoli” di cui si è avvalsa fino ad ora Boko Haram.
Questo sia perché una volta resi pubblicamente scaricabili, i modelli open weight non possono in alcun modo essere “richiamati” o bloccati (com’è accaduto per Fable), alzando in modo permanente e irreversibile il livello di capacità offensiva base messo a disposizione di chiunque.
Ma soprattutto perché, come ricordiamo costantemente su queste pagine, la fotografia della situazione in un dato momento è sempre vittima di immediata obsolescenza, e che è imperativo osservare la traiettoria della curva.
La stima è che, per l’appunto, modelli Mythos-class verranno resi pubblici gratuitamente nel giro di pochi mesi; e per allora, probabilmente, dai lab di frontiera americani saranno usciti modelli che faranno sembrare un giocattolo i Fable 5 e GPT-5.6 Sol che oggi dominano in lungo e in largo tutti i benchmark.
È la natura esponenziale di cui parliamo sempre.
I difensori dell’open source suggeriscono che questo gap deve servire per fortificare le difese e fare in modo che, una volta che il punto di capability viene raggiunto dai modelli aperti, le loro qualità offensive risultino pressoché neutralizzate del tutto. I problemi sono due: il primo è che questi mesi sono un tempo fin troppo breve per pensare di mettere in sicurezza anche solo le infrastrutture critiche globali.
L’altro è che, quando si sconfina nel mondo reale, le difese assumono tutt’altro carattere: un Mythos-2 sarebbe difficilmente d’aiuto nel mettere al riparo un edificio preso di mira da terroristi abilitati da un sistema di classe Mythos-1 a mettere insieme una bomba. Sono, purtroppo, gli scenari verosimili su cui bisogna ragionare.
I benefici dei modelli open weight (e ancor più, quando ci sono, propriamente open source) rimangono indiscussi, permettendo all’enorme comunità di ricercatori, ingegneri, sviluppatori, computer scientist, technologist, etc. di creare, migliorare, progettare e disseminare conoscenza e strumenti a beneficio di tutti, com’è sempre stato.
Un esempio come quello di Boko Haram, pertanto, non può essere certo sufficiente da sé a giustificare un crackdown sull’open weight tout court. Ma seguire la curva, specialmente nell’ambito del policymaking, significa essere capaci di fare un (complicatissimo) esercizio di bilanciamento dei costi/benefici non solo adesso, ma anche nella previsione più realistica possibile dei prossimi anni.
Cosa che, con orizzonti temporali così ristretti e capacità che crescono a dismisura (anche in ambiti critici come la cybersicurezza e il bioterrorismo), non può limitarsi al derubricare i rischi a fronte di una bandiera, per quanto indubitabilmente giusta nei suoi ideali. Il misuse è più una certezza che un rischio.
La “graduation” dell’AI da “normal technology” a strumento sensibile per la sicurezza internazionale — e tutta l’annessa tortuosa trafila della gestione e regolamentazione del fenomeno — non può quindi che passare dall’unico strumento utile, anche quando consapevole dei suoi effetti avversi: il compromesso.
SCENARI
Le evoluzioni delle ultime settimane ci stanno infatti raccontando che, sia negli Stati Uniti sia in Cina, il livello di allerta inizia ad essere alto, sicché la proliferazione dei sistemi open weight non è necessariamente scontata.
Gli USA, per primi, stanno lavorando ad un primo protocollo di regolamentazione per inquadrare, vagliare e determinare la sicurezza dei propri modelli chiusi, in modo tale da stabilire un iter di distribuzione chiaro e trasparente per conciliare le necessità economiche e di sviluppo con i dovuti criteri di sicurezza — senza trovarsi con i bruschi risvegli del giugno scorso.
Regole che si applicherebbero di fatto a soli provider di modelli chiusi — OpenAI, Anthropic, SpaceXAI, e adesso anche Meta, che dopo i fallimenti di Llama e la riconfigurazione dei propri sforzi AI sotto il Superintelligence Labs guidato da Alexandr Wang sta vedendo ottimi risultati con i modelli Muse.
Fa parziale eccezione Google, la cui famiglia Gemma è distribuita come open weight (benché sempre un gradino o più sotto la frontiera di Gemini, pubblicata prima e sempre chiusa); e Nvidia, che offre alla comunità i suoi modelli Nemotron, pur non cercando di competere direttamente con gli altri lab8.
In ogni caso, stando al Washington Post, la Casa Bianca starebbe pensando di porre dei paletti proprio relativamente ai modelli cinesi: open weight o no, qualunque modello americano dovesse essere qualitativamente superiore alla frontiera cinese dovrebbe passare dal percorso di approvazione — senza escludere la sempre più alta possibilità che sia il Congresso stesso a bannare i modelli cinesi, rendendo tossiche anche forme di utilizzo legalmente grigie9.
Poi c’è Pechino stessa.
Se fino ad oggi distribuire i modelli gratuitamente in formato open weight o sussidiarne l’erogazione via API con costi risibili (spesso molto al di sotto degli equivalenti USA) è stata una strategia furba per proliferare e tenere la Cina sulla mappa AI globale10, è notizia di questi giorni che anche il governo cinese — storicamente molto sensibile agli aspetti di sicurezza — sembrerebbe voler superare le resistenze interne e seguire la scia americana sugli export control, trattando i propri modelli di frontiera come asset rilevanti alla sicurezza nazionale stessa e di fatto bloccando alla fonte la diffusione dei propri modelli open weight più avanzati.
La curva delle capability non mente. E se dovesse continuare a rendere le AI più capaci (e quindi, contestualmente, più pericolose), ci sono pochi dubbi sul fatto che gli interventi dei governi, da una parte all’altra del Pacifico, prevaricheranno ogni pur legittima richiesta di non concentrare tutto il potere — e il futuro stesso dell’AI, a grandi linee — all’interno di un manipolo di lab.
Ma non è nemmeno impensabile che si vada oltre, spingendosi verso una progressiva e controllata nazionalizzazione — se OpenAI ha offerto da sé di dare al governo americano una quota del 5% del lab un motivo c’è. Con tempistiche così fulminee, le scelte di policy si troveranno comunque a dover usare l’accetta.
Accetta che, come al solito, lascerà ancora una volta nel mezzo l’Europa, potenzialmente privata anche di quella pre-frontiera aperta che poteva trasformarsi in una sorta di indipendenza. Anche il tempo per assicurarsi un accesso11, che qui invochiamo a gran voce da un po’, continua a ridursi.
Ce la faremo?
Titolo militare, grossomodo equivalente ad un capitano
Claude 2, forse 3; Gemini 1.0 e/o 1.5, le prime iterazioni di Grok, Llama 3, etc.
di più: dal CEO Andy Jassy in persona
anche a costo di qualche falso positivo di troppo, per l’appunto
che, trattandosi di prompt, somigliano quasi a veri e propri incantesimi
La rimozione delle safeguard
e sarebbe piuttosto naive pensare che non sia già così
nessuno considera Nvidia un lab di frontiera
“Bannare” un modello open weight sembrerebbe un controsenso. In pratica, questo si tradurrebbe in un blocco dei modelli serviti tramite API o chatbot, e un divieto di download e modifica dei pesi. Che, pur rimanendo facile da aggirare e mascherare, entrerebbe in un livello di rischio sufficientemente scomodo da disincentivare i più all’avventura, soprattutto nei contesti enterprise.
Anche, se non soprattutto, negli stessi USA, che fanno enorme uso dei modelli cinesi proprio in virtù dei loro eccezionali rapporti qualità/prezzo
Sì, inevitabilmente subalterno e controllato: è il compromesso, bellezza!
⇑