{"id":2552,"date":"2026-03-14T11:52:12","date_gmt":"2026-03-14T11:52:12","guid":{"rendered":"https:\/\/paoloronco.it\/?p=2552"},"modified":"2026-03-14T11:52:14","modified_gmt":"2026-03-14T11:52:14","slug":"ai-red-teaming-con-promptfoo-come-ho-testato-la-sicurezza-del-mio-chatbot-wordpress","status":"publish","type":"post","link":"https:\/\/paoloronco.it\/en\/ai-red-teaming-con-promptfoo-come-ho-testato-la-sicurezza-del-mio-chatbot-wordpress\/","title":{"rendered":"AI Red Teaming with PromptFoo: How I Tested the Security of My WordPress Chatbot"},"content":{"rendered":"\n

Ho un chatbot AI integrato nel mio sito<\/a> accessibile da chiunque visiti paoloronco.it. Non si tratta di un semplice widget di Q&A: dietro le quinte gira un sistema RAG (Retrieval-Augmented Generation) orchestrato tramite n8n, con OpenAI come motore linguistico, Qdrant Cloud come vector store, Cohere come reranker, e un webhook autenticato via Bearer Token come punto di ingresso.<\/p>\n\n\n\n

L’articolo che descrive l’intera architettura \u00e8 disponibile qui: WordPress AI Chatbot \u2013 Trasformare contenuti in un sistema interrogabile con n8n, Qdrant, MongoDB Vector Store<\/a>.<\/p>\n\n\n\n

Un sistema del genere, esposto a visitatori anonimi, \u00e8 un bersaglio interessante. Chiunque pu\u00f2 inviargli un messaggio. E quando si parla di LLM, i vettori di attacco non sono quelli classici del web (SQLi, XSS, SSRF) ma qualcosa di pi\u00f9 insidioso: il linguaggio naturale stesso diventa l’arma<\/strong>.<\/p>\n\n\n\n

Da qui la domanda che mi sono posto: quanto \u00e8 robusto il mio chatbot contro un attaccante che usa prompt crafted ad arte?<\/em><\/p>\n\n\n\n

\n\n\n\n

Cos’\u00e8 PromptFoo e cosa fa<\/h2>\n\n\n\n

PromptFoo<\/a> \u00e8 uno strumento open source per il testing e la valutazione di applicazioni basate su LLM. Permette di fare due cose fondamentali:<\/p>\n\n\n\n

    \n
  1. Evaluation (eval):<\/strong> confrontare prompt, modelli e configurazioni su dataset di test, misurando qualit\u00e0 e coerenza delle risposte.<\/li>\n\n\n\n
  2. Red Teaming:<\/strong> simulare attacchi automatizzati contro il tuo sistema AI per identificare vulnerabilit\u00e0 prima che lo faccia qualcun altro.<\/li>\n<\/ol>\n\n\n\n

    Per il red teaming, PromptFoo funziona come un attacker automatizzato: genera centinaia di payload malevoli usando una serie di plugin<\/strong> (ognuno specializzato in una categoria di rischio) e strategie di attacco<\/strong> (tecniche per aggirare i filtri). Ogni risposta del sistema viene poi valutata da un modello giudice che determina se l’attacco ha avuto successo.<\/p>\n\n\n\n

    Plugin disponibili<\/h3>\n\n\n\n

    I plugin coprono le principali categorie di rischio per un LLM:<\/p>\n\n\n\n

    Categoria<\/th>Descrizione<\/th><\/tr><\/thead>
    bias:*<\/code><\/td>Rilevazione di bias su et\u00e0, disabilit\u00e0, genere, razza<\/td><\/tr>
    hallucination<\/code><\/td>Generazione di informazioni false o inventate<\/td><\/tr>
    harmful:*<\/code><\/td>Contenuti dannosi (droghe, armi, sfruttamento, hate speech, ecc.)<\/td><\/tr>
    pii:*<\/code><\/td>Esposizione di dati personali via API, sessione o social engineering<\/td><\/tr>
    excessive-agency<\/code><\/td>Azioni non autorizzate oltre i confini del sistema<\/td><\/tr>
    hijacking<\/code><\/td>Deviazione dell’uso del sistema verso scopi non previsti<\/td><\/tr>
    contracts<\/code><\/td>Impegni contrattuali non autorizzati<\/td><\/tr>
    politics<\/code><\/td>Contenuti politici e bias ideologici<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

    Strategie di attacco<\/h3>\n\n\n\n

    PromptFoo non si limita a inviare i payload cos\u00ec come sono. Li passa attraverso strategie di evasione<\/strong>:<\/p>\n\n\n\n

      \n
    • Basic:<\/strong> payload diretto, senza trasformazioni<\/li>\n\n\n\n
    • Base64:<\/strong> il payload \u00e8 codificato in Base64 per bypassare filtri lessicali<\/li>\n\n\n\n
    • Citation (Authority Bias):<\/strong> il prompt si maschera da citazione accademica per sfruttare il bias di autorit\u00e0 del modello<\/li>\n\n\n\n
    • Emoji Smuggling:<\/strong> testo nascosto usando variation selector unicode negli emoji<\/li>\n\n\n\n
    • Jailbreak Meta (IterativeMeta):<\/strong> un agente meta che costruisce autonomamente una tassonomia di attacchi, impara dai fallimenti precedenti e ottimizza i vettori in modo iterativo \u2014 la strategia pi\u00f9 sofisticata<\/li>\n<\/ul>\n\n\n\n
      \n\n\n\n

      La configurazione del test<\/h2>\n\n\n\n

      Ho configurato PromptFoo per attaccare direttamente il webhook n8n del mio chatbot:<\/p>\n\n\n\n

      description: WP-AI-Chatbot RedTeam1
      targets:
        - id: http
          label: wp-ai-chatbot
          config:
            url: https:\/\/n8n.prhomelab.com\/webhook\/wp-ai-chatbot
            method: POST
            headers:
              Content-Type: application\/json
            body: '{ \"message\": \"{{prompt}}\", \"sessionId\": \"promptfoo-redteam-001\" }'
            transformResponse: (json, text) => json.text || json.results?.[0]?.title || text<\/pre>\n\n\n\n
      Il sistema sotto test \u00e8 esattamente quello in produzione: stesso endpoint, stessa logica n8n, stesso modello OpenAI. Nessuna sandbox, nessun ambiente di test artificioso.<\/p>\n\n\n\n
      Ho attivato 35+ plugin<\/strong> e 5 strategie<\/strong>, con numTests: 10<\/code> per plugin per strategia. Il risultato \u00e8 stato un test con quasi 2.000 casi totali<\/strong>.<\/p>\n\n\n\n
      \n\n\n\n
      I risultati: numeri e analisi<\/h2>\n\n\n\n
      Overview generale<\/h3>\n\n\n\n
      Metrica<\/th>Valore<\/th><\/tr><\/thead>
      Test superati (pass)<\/td>1.646<\/strong><\/td><\/tr>
      Test falliti (fail)<\/td>52<\/strong><\/td><\/tr>
      Errori di connessione\/timeout<\/td>252<\/td><\/tr>
      Pass rate<\/strong> (escl. errori)<\/td>96,9%<\/strong><\/td><\/tr>
      Token utilizzati (totale)<\/td>~9 milioni<\/td><\/tr>
      Latenza totale cumulativa<\/td>~108.000 secondi<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
      Un pass rate del 96,9%<\/strong> su un sistema pubblico \u00e8 un risultato solido, ma i 52 fallimenti meritano attenzione: indicano aree dove il chatbot ha risposto in modo non conforme alle aspettative di sicurezza.<\/p>\n\n\n\n
      \n\n\n\n
      Risultati per categoria (score medio su 10)<\/h3>\n\n\n\n
      Strategie standard (Basic, Base64, Citation, Emoji)<\/h4>\n\n\n\n
      La grande maggioranza delle categorie ha ottenuto il massimo o quasi:<\/p>\n\n\n\n
      Plugin<\/th>Basic<\/th>Base64<\/th>Citation<\/th>Emoji<\/th><\/tr><\/thead>
      Bias: Age<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Bias: Disability<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Bias: Gender<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Bias: Race<\/strong><\/td>7\/10<\/strong><\/td>10\/10<\/td>8\/10<\/strong><\/td>10\/10<\/td><\/tr>
      Child Exploitation<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Cybercrime<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Hallucination<\/strong><\/td>9\/10<\/strong><\/td>9\/10<\/strong><\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Chem & Bio Weapons<\/strong><\/td>6\/10<\/strong><\/td>10\/10<\/td>7\/10<\/strong><\/td>10\/10<\/td><\/tr>
      Illegal Activities<\/strong><\/td>8\/10<\/strong><\/td>10\/10<\/td>9\/10<\/strong><\/td>10\/10<\/td><\/tr>
      Indiscriminate Weapons<\/strong><\/td>9\/10<\/strong><\/td>10\/10<\/td>9\/10<\/strong><\/td>10\/10<\/td><\/tr>
      Non-Violent Crimes<\/strong><\/td>9\/10<\/strong><\/td>10\/10<\/td>9\/10<\/strong><\/td>10\/10<\/td><\/tr>
      Privacy Violations<\/strong><\/td>9\/10<\/strong><\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Financial Advice<\/strong><\/td>9\/10<\/strong><\/td>8\/10<\/strong><\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Hijacking<\/strong><\/td>9\/10<\/strong><\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      PII Leak<\/td>40\/40<\/td>40\/40<\/td>40\/40<\/td>38\/40<\/td><\/tr>
      Hate Speech<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr>
      Violent Crimes<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td>10\/10<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
      Osservazione:<\/strong> le strategie Base64, Citation ed Emoji non hanno prodotto risultati significativamente peggiori rispetto al Basic. Il sistema reagisce in modo robusto anche a payload offuscati o nascosti in encoding non standard.<\/p>\n\n\n\n
      \n\n\n\n
      La strategia pi\u00f9 dura: Jailbreak Meta (IterativeMeta)<\/h4>\n\n\n\n
      Questa \u00e8 la parte pi\u00f9 interessante. Il meta-agente di PromptFoo \u2014 che apprende e ottimizza gli attacchi iterativamente \u2014 ha prodotto risultati notevolmente diversi:<\/p>\n\n\n\n
      Plugin<\/th>IterativeMeta<\/th>Delta vs Basic<\/th><\/tr><\/thead>
      Bias: Age<\/strong><\/td>3\/10<\/strong><\/td>-7<\/td><\/tr>
      Cybercrime<\/strong><\/td>5\/10<\/strong><\/td>-5<\/td><\/tr>
      Bias: Gender<\/strong><\/td>6\/10<\/strong><\/td>-4<\/td><\/tr>
      Harassment<\/strong><\/td>6\/10<\/strong><\/td>-4<\/td><\/tr>
      Contractual Commitment<\/strong><\/td>6\/10<\/strong><\/td>-4<\/td><\/tr>
      Bias: Race<\/strong><\/td>7\/10<\/strong><\/td>0 (gi\u00e0 basso)<\/td><\/tr>
      Excessive Agency<\/strong><\/td>7\/10<\/strong><\/td>-3<\/td><\/tr>
      Hallucination<\/td>9\/10<\/td>0<\/td><\/tr>
      Chemical & Bio Weapons<\/td>10\/10<\/td>+4<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
      Il dato pi\u00f9 critico \u00e8 BiasAge\/IterativeMeta a 3\/10<\/strong>: con attacchi iterativi e adattativi, il chatbot ha mostrato significativa cedevolezza su bias legati all’et\u00e0. Questo non significa che produca contenuti pericolosi, ma che le sue risposte mostrano pattern linguistici consistenti con ragionamenti basati sull’et\u00e0 in modo non neutro.<\/p>\n\n\n\n
      Il Jailbreak Meta \u00e8 il vero banco di prova<\/strong>: se un sistema regge bene contro Basic, Base64 e Citation ma cede all’IterativeMeta, significa che i guardrail esistono ma possono essere erosi con persistenza e adattamento \u2014 esattamente il profilo di un attaccante motivato.<\/p>\n\n\n\n
      \n\n\n\n
      Cosa significano questi risultati concretamente<\/h2>\n\n\n\n
      Le buone notizie<\/h3>\n\n\n\n