“Mi avevi detto che su quella nave cinese c’erano materiali per il nucleare iraniano!” “Scusa, hai ragione, sono stato impreciso”
Gli Stati Uniti sono finiti a un passo dalla guerra con la Cina per colpa di allucinazioni di una IA. Tra le altre notizie: Donald Trump molla l’osso sulla Groenlandia, gli Houthi hanno colpito un Eurofighter italiano, e ora looksmaxxing è sul dizionario
Questa primavera gli Stati Uniti hanno rischiato di prendere d’assalto una nave cinese, sulla base di un rapporto d’intelligence “completamente falso,” prodotto con l’aiuto dell’IA. Lo rivela un retroscena di CNN: un analista del Comando per le operazioni speciali aveva interrogato un chatbot sul manifesto di carico di un’imbarcazione cinese, ma il sistema aveva combinato fonti pubbliche con dati dell’intelligence, arrivando erroneamente alla conclusione che la nave stesse trasportando componenti destinati al programma nucleare iraniano. L’analista ha poi utilizzato di nuovo l’IA per trasformare il risultato in un rapporto nel formato standard dell’intelligence militare, conferendogli l’autorevolezza dei documenti su cui i comandanti prendono decisioni operative. I militari si stavano già preparando all’abbordaggio, e gli aerei di supporto erano già in volo, quando i funzionari hanno, come dire, fatto il loro lavoro, e controllato meglio — scoprendo che l’analisi era errata. Una delle fonti del canale statunitense dice seccamente che l’errore “ha quasi scatenato una guerra” con la Cina. (CNN)
Non è chiaro quale chatbot sia stato utilizzato, né quale fosse il carico reale della nave che per poco non è stata presa d’assalto. È chiaro invece che non esiste un unico standard con cui l’apparato militare americano verifica le informazioni prodotte dai diversi sistemi IA — una cosa gravissima considerato come l’amministrazione Trump II ne auspica un uso sempre più esteso. A gennaio il segretario alla Difesa Pete Hegseth ha annunciato una strategia di accelerazione per mettere “i migliori modelli americani” nelle mani dei dipendenti civili e militari, a ogni livello di segretezza. Un’altra fonte di CNN riassume così il problema, scettica sull’utilità di usare l’IA in contesto militare: “L’intelligenza artificiale permette di farsi venire cattive idee più in fretta.” Nel contesto del discorso sulla sicurezza delle IA di queste settimane, insomma, il rischio immediato non è quindi che le macchine prendano autonomamente il controllo delle armi, ma che gli esseri umani si fidino ciecamente delle risposte di uno strumento che ha bisogno di essere sempre verificato con precisione. (Ars Technica)
A Minab una combinazione tra dati difettosi, automazione e fretta non è stata fermata in tempo. Una nuova inchiesta di Bloomberg, basata sulle testimonianze di funzionari coinvolti nell’indagine interna del Pentagono, ricostruisce la “kill chain” che il 28 febbraio ha portato all’attacco contro la scuola elementare Shajarah Tayyebeh, dove sono state uccise più di 150 persone, tra cui almeno 123 bambini. In realtà, gli Stati Uniti erano a conoscenza che nella struttura ci fosse una scuola: già nel 2019 un analista aveva segnalato che l’edificio non era più usato dai Guardiani della rivoluzione, ma aveva inserito l’annotazione in un sistema non collegato al principale database usato per scegliere gli obiettivi. Le informazioni errate sono così entrate in Maven Smart System, la piattaforma di Palantir che fonde oltre 150 flussi di dati e che, durante l’apertura della guerra all’Iran, ha ridotto a pochi minuti operazioni di selezione che in precedenza richiedevano ore. Alcuni operatori, scrive Bloomberg, si aspettavano che Maven segnalasse automaticamente informazioni scadute o incoerenti — senza che vi fosse alcuna ragione contrattuale o tecnica per aspettarselo. È difficile chiamarlo un errore umano: l’attacco è stato confermato da 36 persone (!) che hanno tutti confermato che l’obiettivo era legittimo. L’uso di sistemi di automazione passa anche da una riduzione di personale, in particolare in posizioni considerate vestigiali — quando evidentemente non lo sono: il Pentagono ha ridotto di circa il 90% le unità che si occupano di prevenire le vittime civili: al Centcom l’attacco è stato verificato da una (1) persona, quando in precedenza se ne sarebbero occupati in 10. Insomma, l’automazione non ha rimosso la responsabilità umana: l’ha distribuita lungo una catena abbastanza complessa perché ognuno potesse fidarsi del passaggio precedente. (Bloomberg)
