L’intelligenza artificiale nella PA sotto attacco: i rischi della “coerenza narrativa”

Il CERT-AgID ha pubblicato uno studio che analizza le vulnerabilità dei sistemi di intelligenza artificiale quando integrati nei processi della pubblica amministrazione. La ricerca mette in luce come utenti malintenzionati possano sfruttare la memoria conversazionale degli LLM per ottenere accesso a informazioni riservate senza autorizzazione.

Il meccanismo principale individuato è il Context Compliance Attack (CCA), basato sulla tecnica chiamata “Assistant Prefilling”. In pratica, inviando al modello messaggi pre-compilati che simulano approvazioni già concesse, l’IA può completare operazioni proibite senza verificare i permessi. Questo accade non per un’intrusione diretta, ma perché il modello tende a mantenere coerenza narrativa, seguendo la “memoria” di decisioni precedenti.

Lo studio sottolinea che la sicurezza non può essere affidata solo al ragionamento del modello: è necessario un controllo esterno, indipendente dalla memoria conversazionale, che verifichi le azioni e garantisca che i vincoli di autorizzazione siano rispettati. In altre parole, l’integrazione dell’IA nei sistemi pubblici deve prevedere un orchestratore esterno che impedisca agli LLM di sovrascrivere regole di sicurezza con la loro coerenza narrativa.

 nuovo studio del CERT-AgID

Maggiori informazioni nella nota AgID