AI Red Teaming e valutazione della sicurezza degli LLM
Scopra come si comporta l'applicazione AI sotto test avversariali, con rilievi documentati su prompt injection, fuga di dati e uso improprio e un elenco di correzioni in ordine di priorità.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondra, Regno Unito
- PT BILGEQOR INTELLIGENT SYSTEMSGiacarta, Indonesia
AI Red Teaming è adatto alla Sua organizzazione?
Ideale per
- ✓Team che stanno per lanciare o ampliare un chatbot, un copilot, una ricerca con retrieval-augmented generation o un agente AI con accesso a dati o strumenti aziendali
- ✓Responsabili di prodotto e di sicurezza che devono rispondere con evidenze alle domande di clienti o consiglio di amministrazione sul rischio AI
- ✓Organizzazioni che si preparano agli obblighi dell'EU AI Act e vogliono sapere a che punto sono i propri sistemi
- ✓Team di ingegneria i cui modelli richiamano strumenti, navigano sul web o agiscono su documenti forniti da terze parti
Un altro servizio è più adatto se
- –Desidera testare l'applicazione web e le API: se ne occupano Penetration Testing e API Security Testing
- –Desidera una revisione della progettazione dell'integrazione di un agente AI: se ne occupa LLM & AI Agent Security Review
- –Desidera simulare un avversario umano contro l'organizzazione: se ne occupa Red Team Exercise
Cosa valutiamo
- Capire se istruzioni nascoste possono dirottare l'AI: test di prompt injection diretta e indiretta, comprese le istruzioni nascoste in documenti, pagine web, e-mail e output degli strumenti
- Mantenere i dati sensibili al sicuro: test di fuga di dati su prompt di sistema, documenti recuperati, dati di training o fine-tuning e dati di altri utenti
- Verificare la tenuta della policy: test di uso improprio rispetto alla policy definita, con jailbreak, aggiramento dei filtri sui contenuti dannosi e abuso delle funzioni consentite
- Limitare ciò che un agente può fare: revisione di agenti e uso degli strumenti per individuare permessi eccessivi, azioni non sicure, plugin insicuri e passaggi di approvazione umana mancanti
- Mettere in sicurezza i dati alla base del modello: revisione di retrieval, vector store e pipeline di dati, inclusi controllo degli accessi e percorsi di poisoning
- Verificare i controlli attorno al modello: revisione di autenticazione, rate limiting, gestione dell'output e logging nell'applicazione circostante
- Prepararsi al confronto sull'EU AI Act: mappatura di prontezza su classificazione del sistema, documentazione e lacune di supervisione, presentata come quadro di prontezza per i suoi consulenti
Deliverable
- Tempistiche tipiche
- In genere 2–4 settimane dalla firma dell'ambito, a seconda del numero di sistemi AI e strumenti inclusi, come confermato nella proposta scritta.
- Prezzi
- Proposta a prezzo fisso dopo una call di definizione dell'ambito gratuita.
Prima di iniziare
- +Approvazione di un dirigente responsabile del sistema AI, relativa ai metodi di test e agli account di test
- +Un ambiente di test o di staging, oppure limiti per i test in produzione
- +Account di test, accesso alle API e documentazione di modello, strumenti, fonti di dati e prompt di sistema
- +Regole scritte di uso accettabile per i test sui contenuti dannosi, la gestione dei dati e le condizioni di arresto
- +Notifiche al fornitore del modello o della piattaforma, quando i loro termini le richiedono
- +Referenti indicati per nome, disponibili durante la finestra di test
Non incluso (disponibile separatamente)
- Consulenza legale o determinazione formale di conformità all'EU AI Act, valutazione di conformità o certificazione; forniamo le evidenze di prontezza di cui i suoi consulenti hanno bisogno
- Addestramento o riaddestramento dei modelli, o realizzazione di nuovi sistemi di guardrail, salvo preventivo separato
- Test dell'infrastruttura propria dei fornitori terzi di modelli e test di denial-of-service che potrebbero incidere sulla capacità condivisa o di produzione
- Test generali di web e API dell'applicazione ospitante: disponibili come Penetration Testing e API Security Testing
Come funziona
Definizione dell'ambito e approvazione
I test iniziano solo con l'autorizzazione scritta del titolare e un ambito firmato con condizioni di arresto concordate, così il sistema AI in produzione e i suoi utenti restano protetti. Prima di qualsiasi test confermiamo il sistema AI, l'ambiente di test, gli scenari di abuso e le azioni vietate.
Threat modelling
Mappiamo fonti di dati, strumenti, utenti e confini di fiducia per stabilire quali percorsi di attacco contano di più per il sistema.
Test avversariali
Eseguiamo attacchi manuali e automatizzati contro il sistema incluso nell'ambito, registrando prompt, risposte ed evidenze per ogni rilievo.
Reportistica
Consegniamo rilievi, descrizione dei percorsi di attacco, raccomandazioni sui controlli e mappa di prontezza in una forma su cui i team possono agire.
Debrief e retest
Illustriamo i risultati agli stakeholder e, se lo desidera, ripetiamo il test sulle correzioni applicate.
Prima richieda la definizione dell'ambito. Rispondiamo entro 24 ore e confermiamo in una proposta scritta il sistema di AI, le integrazioni, l'autorizzazione e la finestra di test. Il lavoro inizia dopo la conferma scritta dell'ambito.
Ambito e preventivo
L'ambito definitivo e il preventivo dipendono dal sistema di AI, dalle integrazioni e dalla finestra di test.
Perché BilgeQor
- Ogni rilievo è accompagnato da prompt di riproduzione ed evidenze, e una descrizione dei percorsi di attacco mostra come i problemi si combinano nell'applicazione.
- La mappa di prontezza all'EU AI Act offre ai consulenti un quadro strutturato di classificazione, documentazione e lacune di supervisione.
- Sistema AI, ambiente di test e condizioni di arresto sono definiti prima in un ambito scritto; i tester lavorano da remoto, coordinati da Istanbul, Giacarta e Londra.
Domande frequenti
Servizi correlati
Valutazione della sicurezza OT, ICS e IoT
Valutazione di sicurezza di sistemi di controllo industriale, reti di operational technology e dispositivi connessi, con la safety al primo posto e pianificata insieme agli ingegneri.
Verifichi le falle di accesso nelle sue API
Test autorizzati di API REST, GraphQL e backend mobile per autorizzazione errata, injection e difetti di business logic, con un elenco chiaro di correzioni.
Metta alla prova la sua applicazione AI
Descriva il sistema AI e i suoi strumenti; riceverà per iscritto una proposta a prezzo fisso.
Cosa succede dopo l'invio
- Esaminiamo la Sua richiesta
- Colloquio sull'ambito
- Proposta scritta
Rispondiamo entro 24 ore.
