Un agente AI affidabile non impara dai propri errori. Lavora dentro vincoli che glieli impediscono
Ecco perché un agente AI non “impara” dall’errore che ha commesso in produzione nel senso in cui lo farebbe una persona.

Sugli agenti AI circola un'idea molto diffusa: che siano sistemi capaci di sbagliare, imparare e migliorare da soli, giro dopo giro. Una specie di junior developer che a ogni code review diventa un po' più bravo.
È un'immagine rassicurante, e purtroppo è sbagliata.
Un agente AI non “impara” dall’errore che ha commesso in produzione nel senso in cui lo farebbe una persona. Il modello non aggiorna automaticamente le proprie competenze dopo un errore. Un agente può però conservare feedback e correzioni nella memoria esterna e utilizzarli nei task successivi.
Si può fare qualcosa di più efficace che aspettare che l’agente migliori da solo: progettare vincoli e validation gate. Un validation gate è un controllo esterno al modello che, se implementato correttamente, può bloccare gli output non validi senza lasciare all’agente la possibilità di disattivarlo. Test automatici, controlli strutturali, limiti di azione: non un agente che si auto-migliora, ma un sistema che riduce molto la possibilità che un errore arrivi dove non dovrebbe.
Il problema di partenza: agente che impara o esecuzione con i binari?
La storia dell'agente che si auto-corregge ha un fascino evidente. Fa respirare l'imprenditore: "non devo controllare tutto, tanto l'AI migliora da sola".
In produzione, però, è un'idea pericolosa, per due motivi precisi:
- Un modello non può imporsi regole in modo affidabile. Lo dice bene il team di Managed Code, nel descrivere il proprio metodo MCAF: contare sul fatto che il modello sia prudente significa dipendere da una proprietà che il modello non ha in modo affidabile.
- Il modello non cambia tra un task e l'altro. Quando un agente "corregge" il proprio codice dopo un test fallito, non sta imparando. Sta ricevendo un feedback strutturato, cioè il messaggio di errore, che gli permette di generare un output diverso. A correggerlo è il vincolo, non un miglioramento interno.
La distinzione è fondamentale. Non stiamo costruendo un sistema più intelligente: stiamo costruendo un sistema con binari abbastanza precisi da rendere gli errori visibili, contenuti e recuperabili. È questo che intendiamo quando parliamo di AI agent reliability.
Cos'è un validation gate per agenti AI (e perché il prompt non basta)
Un validation gate è un controllo programmatico che si inserisce tra l'output dell'agente e il suo effetto sul mondo reale. Non è un'istruzione nel prompt del tipo "controlla il tuo lavoro prima di rispondere". È un pezzo di codice esterno all’agente che, se è progettato bene, l’agente non può ignorare né aggirare.
La differenza è strutturale:
- L'istruzione nel prompt è un vincolo soft. Il modello può ignorarla per distrazione, per un conflitto con altre istruzioni o perché il contesto è troppo lungo.
- Il validation gate è un vincolo hard. Gira fuori dal modello e, se è implementato correttamente, blocca l’output quando il test fallisce. L'agente riceve il risultato come feedback e può riprovare, ma non può decidere di farne a meno.
Pensa ai test automatici nello sviluppo software tradizionale. Un developer può dire "ho controllato, funziona". La CI/CD non si fida: esegue i test e il merge avviene solo se passano tutti. Un buon quality gate AI ragiona allo stesso modo.
Quattro tipi di vincoli che rendono un agente affidabile
1. Validazione dello schema
Ogni chiamata a uno strumento ha una struttura attesa: tipi, formati, intervalli di valori. Se l'agente manda un parametro sbagliato, il gate lo blocca prima dell'esecuzione. Niente crash silenziosi, niente risultati ambigui.
2. Controlli di business logic
Regole specifiche del dominio. Un agente che gestisce i rimborsi non può emettere importi negativi. Uno che modifica un database non può toccare le tabelle protette. Uno che scrive codice non può committare segreti. Queste regole non vivono nel prompt: vivono nel gate. In pratica sono i guardrail degli agenti AI più concreti che ci siano.
3. Gate di verifica (il build-verify loop)
È il pattern più potente per gli agenti che scrivono codice. L'agente produce l'output, il sistema esegue la test suite, e se i test falliscono il risultato torna all'agente con il messaggio di errore. L'agente corregge e il ciclo riparte, fino a un massimo di tentativi stabilito.
Senza validation gate, una parte delle pull request generate dagli agenti può non superare la CI al primo tentativo e finire comunque davanti a chi fa la review. Con il build-verify loop, quelle PR non arrivano al reviewer umano finché i test non passano.
4. Gate di permesso
Non tutto deve essere automatico. Per le azioni ad alto rischio (deploy in produzione, invio di email, modifiche a dati finanziari) il gate richiede l'approvazione di una persona. L'agente prepara il lavoro, il gate lo ferma nel punto critico, l'umano approva o blocca.
Come funziona in pratica: costruisci, verifica, correggi
Il pattern che si sta affermando nella produzione di codice con gli agenti si chiama build-verify loop. I passaggi sono questi:
- Piano. L'agente analizza il task e definisce l'approccio.
- Esecuzione. L'agente scrive il codice o produce l'output.
- Verifica. Il sistema, non l'agente, esegue i test automatici sull'output.
- Feedback. Se i test falliscono, il messaggio di errore torna all'agente.
- Correzione. L'agente modifica l'output e si riparte dal passo 3.
- Uscita. Se i test passano, il lavoro prosegue. Se si raggiunge il massimo di tentativi, il task passa a una persona insieme a un report di ciò che è stato provato.
Il principio chiave: la verifica è un gate nel flusso di controllo, non un paragrafo nel prompt. L'agente non decide se il suo lavoro è finito. Lo decidono i test.
Un dettaglio spesso sottovalutato: dare all'agente un modo onesto per dire "non ci riesco" riduce la probabilità che si inventi un successo. Senza questa via d'uscita, il modello tende ad abbassare l'asticella del test piuttosto che ammettere il fallimento.
La maggior parte del codice di un agente non è AI
Solitamente la maggior parte del codice non ha niente a che fare con il modello. Una quota molto alta (le stime indicano circa il 98%) è deterministica: logica di controllo, routing degli strumenti, gestione del contesto, validazione di input e output. Solo una piccola parte, intorno al 2%, è quella che parla con il modello.
Questo suggerisce che la qualità di un agente AI non dipenda solo dal modello, ma molto anche dall’infrastruttura che lo circonda: vincoli, gate, test, sistema di permessi.
Detto in modo più brutale: cambiare modello sopra un’infrastruttura debole può darti solo un agente più veloce nello sbagliare.
Agenti che non hanno bisogno di fortuna: come la vediamo noi
Quando un'azienda ci chiede un agente AI che "funzioni davvero", noi di Devpunks sappiamo che la risposta non è mai il modello. È sempre l'architettura intorno: quali vincoli ha, come verifica il proprio output, cosa succede quando sbaglia, chi approva le azioni critiche.
Nella nostra community ci sono sviluppatori senior e AI engineer che costruiscono proprio questo tipo di sistemi: gate calibrati sul processo, test automatici sul dominio dell'azienda e un'architettura che sa quando lasciare l'agente libero di lavorare e quando fermarlo per chiedere. Per un progetto di AI per l'azienda è questa la parte che decide se si arriva in produzione o ci si ferma alla demo, e per questo mettiamo in contatto le imprese con freelance selezionati che sanno costruirla.
Vuoi capire come rendere i tuoi agenti AI affidabili in produzione? Parliamone.
Domande frequenti
Un agente AI può imparare dai propri errori?
No, non nel senso comune del termine. Il modello non si aggiorna tra un task e l'altro. Può però ricevere il risultato di un test fallito e usarlo come contesto per generare un output corretto nello stesso ciclo di lavoro. A correggerlo è il vincolo, non un apprendimento interno.
Cos'è un validation gate per agenti AI?
È un controllo programmatico, esterno al modello, che verifica l'output dell'agente prima che produca effetti reali. Può essere un test automatico sul codice prodotto, una validazione dello schema dei dati, un controllo su una regola di business o un gate che richiede l'approvazione di una persona per le azioni critiche.
Perché le istruzioni nel prompt non bastano?
Perché sono vincoli soft: il modello può ignorarle per errore, per un conflitto con altre istruzioni o per i limiti del contesto. Un validation gate, se implementato correttamente, è un controllo che gira fuori dal modello e può bloccare gli output non validi senza che l’agente possa decidere di saltarlo. Se il test fallisce, l’output viene bloccato.
Cos'è il build-verify loop?
È un pattern in cui l'agente produce un output, il sistema esegue dei test automatici e, se falliscono, restituisce il risultato all'agente con il messaggio di errore per una correzione. Il ciclo si ripete fino a quando i test passano o si raggiunge il limite di tentativi, dopo il quale il task passa a una persona.
Quanto incidono i vincoli sull'affidabilità rispetto al modello?
Spesso incidono molto. Secondo alcune stime, circa il 98% del codice di un agente non riguarda il modello: è infrastruttura deterministica (controllo, routing degli strumenti, gestione del contesto, validazione), mentre solo una piccola parte, intorno al 2%, dialoga con il modello. È una stima e non una misura universale, ma indica dove si concentra gran parte del lavoro. A parità di modello, la qualità di vincoli e gate può fare una grande differenza sull’affidabilità.