RAG aziendale: il chatbot va collaudato sui documenti sbagliati

Carichi alcuni documenti, fai una domanda e l’assistente risponde con sicurezza. La dimostrazione dura cinque minuti. Poi un collega chiede il prezzo di una versione precedente del prodotto e ottiene un dato superato, accompagnato da un link che sembra autorevole.

Un assistente AI sui documenti aziendali va valutato anche in queste condizioni. La qualità del modello conta, ma contano il recupero delle fonti, la loro versione e i permessi di chi sta facendo la domanda.

RAG: recuperare prima di generare

Con retrieval-augmented generation, o RAG, l’applicazione cerca contenuti pertinenti e li fornisce al modello come contesto per la risposta. Il sistema può associare riferimenti ai passaggi recuperati. Non significa che il modello abbia imparato in modo permanente tutti i documenti caricati, né che ogni risposta sia corretta.

Microsoft descrive tra i problemi di questo approccio la comprensione delle domande, i limiti del contesto e il controllo degli accessi. La ricerca ibrida combina corrispondenze testuali e vettoriali; i filtri possono limitare i documenti accessibili all’utente.

Un codice prodotto può mettere in difficoltà la ricerca

Una domanda sul significato di una clausola richiede di riconoscere concetti. Una domanda su “AX-240-B” può richiedere una corrispondenza esatta. Un sistema progettato solo attorno alla somiglianza semantica può recuperare la famiglia di prodotto giusta e la variante sbagliata.

Costruisci quindi prove con codici, sigle interne, sinonimi usati dai clienti e refusi plausibili. Separa il problema del recupero da quello della scrittura: prima verifica se il sistema ha trovato il passaggio corretto; poi controlla che la risposta ne rispetti condizioni e numeri.

La chicca: ogni frammento deve conservare il contesto che lo rende valido

Quando dividi un documento in porzioni più piccole, conserva almeno identificatore, sezione, versione e informazioni di accesso necessarie. Un prezzo estratto senza valuta o periodo di validità è un dato pericoloso anche se il modello lo trascrive alla perfezione.

Le tabelle meritano un controllo dedicato. Una cella senza intestazione può cambiare significato; una nota a piè di pagina può contenere l’eccezione che decide la risposta. Non scegliere la dimensione dei frammenti soltanto perché un tutorial propone un numero di token.

I permessi devono intervenire prima della risposta

Se un commerciale non può aprire un documento nel sistema sorgente, chiediti perché dovrebbe recuperarne i passaggi attraverso la chat. Applica controlli coerenti al recupero e verifica gli aggiornamenti quando cambia un gruppo o viene revocato un accesso.

Nascondere un link nell’interfaccia non elimina un contenuto già passato al modello. Prepara una prova con due utenti e lo stesso quesito: il materiale disponibile deve rispettare i rispettivi permessi. Anche la cache richiede attenzione, per evitare di riutilizzare tra utenti una risposta costruita con fonti riservate.

Il collaudo deve includere domande senza risposta

Prepara un insieme di quesiti con risposta attesa e fonte verificabile. Aggiungi documenti contraddittori, dati scaduti e domande alle quali il materiale non risponde. Valuta il riconoscimento dell’incertezza oltre alla correttezza delle risposte positive.

Per ogni errore registra se mancava la fonte, se il recupero ha scelto male o se il modello ha interpretato male un passaggio corretto. Questa classificazione ti permette di correggere il componente giusto. Cambiare il prompt non risolve una tabella che l’estrattore ha perso.

Il confine tra assistente e processo operativo

All’inizio limita il progetto a un compito chiaro, per esempio trovare e spiegare procedure approvate. Se poi l’assistente deve aggiornare il CRM o inviare una proposta, entra nel terreno delle azioni: autorizzazioni, approvazioni e gestione dei duplicati richiedono un progetto distinto.

Trovi quel passaggio nella guida a workflow, agenti AI e automazioni affidabili. Per scegliere un primo perimetro e valutarne il beneficio, usa il metodo del pilota AI con criteri di accettazione.

Fonte tecnica: Microsoft Learn, RAG e Azure AI Search. Consultata il 23 ottobre 2026.