Rischi di sicurezza degli agenti AI: prompt injection e strumenti

Che cos'è

I modelli linguistici di grandi dimensioni non distinguono in modo affidabile tra le istruzioni del loro operatore e le istruzioni incorporate nei dati che elaborano. La prompt injection diretta si verifica quando un utente digita istruzioni progettate per scavalcare le regole del sistema. La prompt injection indiretta si verifica quando il modello legge contenuti esterni, come una pagina web, un'email, un documento o un ticket di supporto, che contengono istruzioni nascoste, ad esempio per rivelare dati o chiamare uno strumento. Altri rischi aggravano la situazione. Informazioni sensibili possono trapelare quando il modello ha accesso a dati che l'utente non dovrebbe vedere. Un'agency eccessiva si manifesta quando un agente dispone di ampi permessi sugli strumenti, come la possibilità di inviare email o eliminare record, senza conferma. Una gestione impropria dell'output si verifica quando l'output del modello viene passato direttamente a codice, query o pagine web senza validazione. I rischi di supply chain derivano da modelli, plugin e connettori di terze parti. L'OWASP Top 10 for LLM Applications (edizione 2025) cataloga queste e altre categorie correlate, come la fuga del system prompt e il consumo illimitato di risorse, e l'OWASP GenAI Security Project pubblica anche indicazioni specifiche per le applicazioni agentiche. Poiché nessuna tecnica attuale previene completamente la prompt injection, la progettazione dovrebbe presupporre che alcune istruzioni iniettate andranno a buon fine e limitare ciò che possono fare.

Per Chi È

Questa guida è rilevante per:

• Team che sviluppano agenti che utilizzano strumenti, API o dati aziendali
• Aziende che mettono a disposizione di clienti o personale assistenti AI
• Responsabili della sicurezza e del rischio chiamati ad approvare una funzionalità AI
• Product owner che integrano piattaforme o connettori AI di terze parti

Cosa Aiuta A Chiarire

Esaminare questi rischi aiuta a chiarire:

• Quali dati l'agente può leggere e se ogni utente ha diritto di accedervi
• Quali azioni l'agente può compiere e quali richiedono una conferma umana
• Come i contenuti non attendibili raggiungono il modello e cosa potrebbero influenzare
• Dove confluisce successivamente l'output del modello e se viene validato

Cosa è incluso

• Inventariare ogni strumento, connettore e fonte di dati a cui l'agente può accedere
• Applicare il principio del privilegio minimo: assegnare a ciascuno strumento il permesso più ristretto e limitarlo all'utente corrente
• Richiedere una conferma umana per le azioni che inviano, eliminano, pagano, pubblicano o modificano permessi
• Trattare i contenuti recuperati, le email, i file e le pagine web come input non attendibili
• Separare le istruzioni di sistema dai contenuti dell'utente e da quelli recuperati nel modo più netto consentito dalla piattaforma
• Validare e codificare l'output del modello prima che raggiunga codice, query o pagine web
• Applicare il controllo degli accessi a livello dei dati, non nel prompt
• Fissare limiti alla frequenza, ai costi e al numero di azioni per sessione
• Registrare prompt, chiamate agli strumenti ed esiti con adeguate tutele della privacy, ed esaminarli
• Testare con input avversariali, inclusa l'injection indiretta tramite documenti e link
• Definire un modo per disattivare rapidamente uno strumento o l'agente se viene rilevato un uso improprio

Cosa non è incluso

• L'affermazione che la prompt injection possa essere completamente prevenuta
• Certificazione o approvazione regolamentare di un sistema AI
• Consulenza legale sulla regolamentazione dell'AI
• Monitoraggio continuo degli agenti in produzione, salvo accordo separato

Quando sceglierlo

Affronti questi rischi prima che un agente venga collegato a strumenti o dati reali, e di nuovo ogni volta che si aggiungono nuovi strumenti, fonti di dati o gruppi di utenti. Un agente sicuro come prototipo interno in sola lettura potrebbe non esserlo più una volta in grado di inviare email ai clienti. Se la piattaforma dell'agente è fornita da un vendor, chieda come gestisce i permessi sugli strumenti, i passaggi di conferma, il logging e l'isolamento dei dati.

Il nostro approccio

Progetti per il contenimento anziché per una prevenzione perfetta. Si chieda quale sarebbe il peggior esito realistico se un'istruzione iniettata andasse a buon fine, quindi riduca i permessi e aggiunga passaggi di conferma finché tale esito non risulti accettabile. Mantenga le decisioni di autorizzazione in codice deterministico, al di fuori del modello. Il nostro servizio LLM & AI Agent Security Review esamina sistemi AI concordati per quanto riguarda prompt injection, esposizione dei dati, output non sicuri, rischi di retrieval, permessi sugli strumenti e confini di passaggio all'intervento umano, e fornisce risultati scritti con raccomandazioni in ordine di priorità. Se l'agente è ancora in fase di progettazione, Secure AI Agent Integration può svilupparlo fin dall'inizio con dati approvati, strumenti circoscritti e punti di revisione, e AI Governance, Policy & Data Safety può definire le regole di utilizzo che lo circondano. Ripeta la revisione quando cambiano modelli, strumenti o fonti di dati, perché il comportamento può variare a ogni cambiamento.

servizio LLM & AI Agent Security Review

Domande frequenti

Articoli correlati