Passa al contenuto principale
BilgeQor

AI Red Teaming e valutazione della sicurezza degli LLM

Scopra come si comporta l'applicazione AI sotto test avversariali, con rilievi documentati su prompt injection, fuga di dati e uso improprio e un elenco di correzioni in ordine di priorità.

Impegno definito dall'ambito
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLondra, Regno Unito
  • PT BILGEQOR INTELLIGENT SYSTEMSGiacarta, Indonesia
Rispondiamo entro 24 ore.

AI Red Teaming è adatto alla Sua organizzazione?

Ideale per

  • ✓Team che stanno per lanciare o ampliare un chatbot, un copilot, una ricerca con retrieval-augmented generation o un agente AI con accesso a dati o strumenti aziendali
  • ✓Responsabili di prodotto e di sicurezza che devono rispondere con evidenze alle domande di clienti o consiglio di amministrazione sul rischio AI
  • ✓Organizzazioni che si preparano agli obblighi dell'EU AI Act e vogliono sapere a che punto sono i propri sistemi
  • ✓Team di ingegneria i cui modelli richiamano strumenti, navigano sul web o agiscono su documenti forniti da terze parti

Un altro servizio è più adatto se

  • –Desidera testare l'applicazione web e le API: se ne occupano Penetration Testing e API Security Testing
  • –Desidera una revisione della progettazione dell'integrazione di un agente AI: se ne occupa LLM & AI Agent Security Review
  • –Desidera simulare un avversario umano contro l'organizzazione: se ne occupa Red Team Exercise

Cosa valutiamo

  • Capire se istruzioni nascoste possono dirottare l'AI: test di prompt injection diretta e indiretta, comprese le istruzioni nascoste in documenti, pagine web, e-mail e output degli strumenti
  • Mantenere i dati sensibili al sicuro: test di fuga di dati su prompt di sistema, documenti recuperati, dati di training o fine-tuning e dati di altri utenti
  • Verificare la tenuta della policy: test di uso improprio rispetto alla policy definita, con jailbreak, aggiramento dei filtri sui contenuti dannosi e abuso delle funzioni consentite
  • Limitare ciò che un agente può fare: revisione di agenti e uso degli strumenti per individuare permessi eccessivi, azioni non sicure, plugin insicuri e passaggi di approvazione umana mancanti
  • Mettere in sicurezza i dati alla base del modello: revisione di retrieval, vector store e pipeline di dati, inclusi controllo degli accessi e percorsi di poisoning
  • Verificare i controlli attorno al modello: revisione di autenticazione, rate limiting, gestione dell'output e logging nell'applicazione circostante
  • Prepararsi al confronto sull'EU AI Act: mappatura di prontezza su classificazione del sistema, documentazione e lacune di supervisione, presentata come quadro di prontezza per i suoi consulenti

Deliverable

Tempistiche tipiche
In genere 2–4 settimane dalla firma dell'ambito, a seconda del numero di sistemi AI e strumenti inclusi, come confermato nella proposta scritta.
Prezzi
Proposta a prezzo fisso dopo una call di definizione dell'ambito gratuita.
Un piano di test e una sintesi delle regole di ingaggio, perché sia chiaro a tutti cosa verrà testato e dove il test si ferma
Un registro dei rilievi con gravità, prompt di riproduzione, evidenze e indicazioni per la correzione, in modo che il team possa riprodurre e risolvere ogni problema
Una descrizione dei percorsi di attacco che mostra come i problemi si combinano nell'applicazione, per rendere visibile il rischio reale per il business
Raccomandazioni su guardrail e controlli per i livelli di modello, applicazione e dati
Una mappa di prontezza all'EU AI Act con le lacune individuate in documentazione e supervisione, pronta da consegnare ai consulenti
Un debrief con gli stakeholder di prodotto, sicurezza e ingegneria; è disponibile il retest delle correzioni che sceglierà di applicare

Prima di iniziare

  • +Approvazione di un dirigente responsabile del sistema AI, relativa ai metodi di test e agli account di test
  • +Un ambiente di test o di staging, oppure limiti per i test in produzione
  • +Account di test, accesso alle API e documentazione di modello, strumenti, fonti di dati e prompt di sistema
  • +Regole scritte di uso accettabile per i test sui contenuti dannosi, la gestione dei dati e le condizioni di arresto
  • +Notifiche al fornitore del modello o della piattaforma, quando i loro termini le richiedono
  • +Referenti indicati per nome, disponibili durante la finestra di test

Non incluso (disponibile separatamente)

  • Consulenza legale o determinazione formale di conformità all'EU AI Act, valutazione di conformità o certificazione; forniamo le evidenze di prontezza di cui i suoi consulenti hanno bisogno
  • Addestramento o riaddestramento dei modelli, o realizzazione di nuovi sistemi di guardrail, salvo preventivo separato
  • Test dell'infrastruttura propria dei fornitori terzi di modelli e test di denial-of-service che potrebbero incidere sulla capacità condivisa o di produzione
  • Test generali di web e API dell'applicazione ospitante: disponibili come Penetration Testing e API Security Testing

Come funziona

1

Definizione dell'ambito e approvazione

I test iniziano solo con l'autorizzazione scritta del titolare e un ambito firmato con condizioni di arresto concordate, così il sistema AI in produzione e i suoi utenti restano protetti. Prima di qualsiasi test confermiamo il sistema AI, l'ambiente di test, gli scenari di abuso e le azioni vietate.

2

Threat modelling

Mappiamo fonti di dati, strumenti, utenti e confini di fiducia per stabilire quali percorsi di attacco contano di più per il sistema.

3

Test avversariali

Eseguiamo attacchi manuali e automatizzati contro il sistema incluso nell'ambito, registrando prompt, risposte ed evidenze per ogni rilievo.

4

Reportistica

Consegniamo rilievi, descrizione dei percorsi di attacco, raccomandazioni sui controlli e mappa di prontezza in una forma su cui i team possono agire.

5

Debrief e retest

Illustriamo i risultati agli stakeholder e, se lo desidera, ripetiamo il test sulle correzioni applicate.

Prima richieda la definizione dell'ambito. Rispondiamo entro 24 ore e confermiamo in una proposta scritta il sistema di AI, le integrazioni, l'autorizzazione e la finestra di test. Il lavoro inizia dopo la conferma scritta dell'ambito.

Ambito e preventivo

L'ambito definitivo e il preventivo dipendono dal sistema di AI, dalle integrazioni e dalla finestra di test.

Perché BilgeQor

  • Ogni rilievo è accompagnato da prompt di riproduzione ed evidenze, e una descrizione dei percorsi di attacco mostra come i problemi si combinano nell'applicazione.
  • La mappa di prontezza all'EU AI Act offre ai consulenti un quadro strutturato di classificazione, documentazione e lacune di supervisione.
  • Sistema AI, ambiente di test e condizioni di arresto sono definiti prima in un ambito scritto; i tester lavorano da remoto, coordinati da Istanbul, Giacarta e Londra.

Domande frequenti

Servizi correlati

Valutazione della sicurezza OT, ICS e IoT

Valutazione di sicurezza di sistemi di controllo industriale, reti di operational technology e dispositivi connessi, con la safety al primo posto e pianificata insieme agli ingegneri.

Verifichi le falle di accesso nelle sue API

Test autorizzati di API REST, GraphQL e backend mobile per autorizzazione errata, injection e difetti di business logic, con un elenco chiaro di correzioni.

Metta alla prova la sua applicazione AI

Descriva il sistema AI e i suoi strumenti; riceverà per iscritto una proposta a prezzo fisso.

Cosa succede dopo l'invio

  1. Esaminiamo la Sua richiesta
  2. Colloquio sull'ambito
  3. Proposta scritta

Rispondiamo entro 24 ore.