{"id":2548,"date":"2026-03-13T15:48:23","date_gmt":"2026-03-13T15:48:23","guid":{"rendered":"https:\/\/paoloronco.it\/?p=2548"},"modified":"2026-03-13T15:48:24","modified_gmt":"2026-03-13T15:48:24","slug":"ai-locale-pesi-modificati-modificare-un-modello-dallinterno","status":"publish","type":"post","link":"https:\/\/paoloronco.it\/en\/ai-locale-pesi-modificati-modificare-un-modello-dallinterno\/","title":{"rendered":"AI locale, pesi modificati: modificare un modello dall’interno"},"content":{"rendered":"
\n

Un esperimento personale per capire cosa succede davvero dentro un modello linguistico.<\/p>\n<\/blockquote>\n\n\n\n

\n\n\n\n

Di cosa si tratta<\/h2>\n\n\n\n

Ho sempre usato l’AI come strumento. Questo progetto nasce dalla curiosit\u00e0 di capire come funziona dall’interno \u2014 non da un’applicazione, non da un’API, ma il modello grezzo, i suoi pesi, la sua geometria interna.<\/p>\n\n\n\n

Heretic<\/strong> \u00e8 uno strumento open source che permette di modificare il comportamento di un modello linguistico (LLM) attraverso una tecnica chiamata abliterazione<\/strong>: invece di riaddestrare il modello da zero, si interviene sulle sue attivazioni interne per spostare il modo in cui risponde a certi tipi di input.<\/p>\n\n\n\n

Il risultato \u00e8 un modello modificato, salvato e pubblicato su Hugging Face.<\/p>\n\n\n\n

\n\n\n\n

Cosa ho fatto, passo per passo<\/h2>\n\n\n\n

1. Ambiente locale su Windows con GPU<\/h3>\n\n\n\n

Ho configurato un ambiente Python con virtual environment, installato PyTorch con supporto CUDA per sfruttare la GPU NVIDIA. Niente cloud, niente servizi a pagamento: tutto gira sulla mia macchina.<\/p>\n\n\n\n

Python 3.13 \u00b7 PyTorch 2.10 + CUDA 12.8 \u00b7 Windows 11<\/code><\/pre>\n\n\n\n
2. Capire cosa fa Heretic sotto il cofano<\/h3>\n\n\n\n
Prima di lanciare qualsiasi comando, ho studiato il processo. Heretic:<\/p>\n\n\n\n
    \n
  1. carica il modello e i suoi pesi (in formato Transformers \/ HuggingFace)<\/li>\n\n\n\n
  2. usa due dataset di prompt: uno “innocuo” (mlabonne\/harmless_alpaca<\/code>) e uno “problematico” (mlabonne\/harmful_behaviors<\/code>)<\/li>\n\n\n\n
  3. analizza le attivazioni interne<\/strong> del transformer su entrambi i set<\/li>\n\n\n\n
  4. calcola una direzione nello spazio latente<\/strong> che separa i due comportamenti<\/li>\n\n\n\n
  5. ottimizza i parametri attraverso 200 trial<\/strong> con Optuna (ottimizzazione bayesiana)<\/li>\n\n\n\n
  6. applica la correzione tramite LoRA<\/strong> \u2014 un’aggiunta leggera ai pesi del modello<\/li>\n<\/ol>\n\n\n\n
    In pratica: il modello non viene riscritto, viene orientato.<\/p>\n\n\n\n
    3. Il modello scelto: TinyLlama 1.1B<\/h3>\n\n\n\n
    Ho scelto TinyLlama\/TinyLlama-1.1B-Chat-v1.0<\/code> come punto di partenza \u2014 piccolo abbastanza da girare comodamente in locale (~5-15 minuti su GPU), ma abbastanza capace da essere interessante da osservare.<\/p>\n\n\n\n
    Ho anche avviato sessioni su modelli pi\u00f9 grandi (Mistral 7B, Phi-3) per confronto.<\/p>\n\n\n\n
    4. Pubblicazione su Hugging Face<\/h3>\n\n\n\n
    Il modello risultante \u00e8 stato salvato in formato Transformers e caricato pubblicamente su Hugging Face:<\/p>\n\n\n\n
    paoloronco\/TinyLlama-1.1B-Chat-v1.0-heretic<\/a><\/strong><\/p>\n\n\n\n
    Incluso un Colab notebook per chi vuole testarlo senza installare nulla.<\/p>\n\n\n\n
    \n\n\n\n
    Cosa ho imparato<\/h2>\n\n\n\n
    Sul funzionamento dei modelli linguistici<\/h3>\n\n\n\n
    Questo progetto mi ha dato un’intuizione concreta su concetti che prima restevano astratti:<\/p>\n\n\n\n