Come verificare le risposte di ChatGPT e delle AI

Indice

• IL PRIMO CONTROLLO: L’AI HA DAVVERO RISPOSTO ALLA DOMANDA?
• DISTINGUERE I FATTI DALLE INTERPRETAZIONI
• NON TUTTO MERITA LO STESSO LIVELLO DI VERIFICA
• UNA FONTE CITATA NON È AUTOMATICAMENTE UNA FONTE ESISTENTE
• LA REGOLA DELLA FONTE PRIMARIA
• “CITAMI LE FONTI” AIUTA, MA NON RISOLVE IL PROBLEMA
• IL GROUNDING CAMBIA MOLTO IL LAVORO
• CHIEDERE ALL’AI DI VERIFICARSI DA SOLA
• UTILIZZARE UN SECONDO MODELLO: UTILE, CON QUALCHE CAUTELA
• I NUMERI SONO UN PUNTO DEBOLE DA TRATTARE CON ATTENZIONE
• LE DATE SONO PIÙ INSIDIOSE DI QUANTO SEMBRINO
• ATTENZIONE ALLE INFORMAZIONI VECCHIE
• NON CONFONDERE SICUREZZA DEL TONO E SICUREZZA DEL CONTENUTO
• COME VERIFICARE UNA RISPOSTA QUANDO ABBIAMO POCO TEMPO
• UN ESEMPIO: PREPARARE UN ARTICOLO CON L’AI
• UN ALTRO ESEMPIO: ANALIZZARE UN DOCUMENTO AZIENDALE
• COSTRUIRE OUTPUT VERIFICABILI
• QUANDO L’AI DOVREBBE DIRE “NON LO SO”
• LA VERIFICA È UNA COMPETENZA, NON UN PASSAGGIO FINALE
• IL VERO CAMBIO DI COMPETENZA
• FAQ

Una delle cose più pericolose dell’intelligenza artificiale generativa è anche una delle ragioni per cui ci piace così tanto: risponde bene.
Non intendo necessariamente “bene” nel senso di corretto.
Intendo bene nel senso di fluido, ordinato, plausibile, spesso persino elegante.
Una risposta può essere sbagliata e avere comunque l’aria di sapere perfettamente ciò che sta dicendo.
È una caratteristica che cambia parecchio il nostro modo di lavorare, perché davanti a un errore evidente ci fermiamo, mentre davanti a una spiegazione ben scritta siamo molto più portati ad abbassare la guardia.
Con ChatGPT, Gemini, Claude e gli altri modelli generativi il problema non consiste quindi soltanto nell’imparare a scrivere prompt migliori.
Dobbiamo imparare anche a controllare le risposte.
Che, a pensarci bene, è una competenza molto meno spettacolare del prompting ma probabilmente molto più importante.

IL PRIMO CONTROLLO: L’AI HA DAVVERO RISPOSTO ALLA DOMANDA?

Sembra banale, eppure è il primo controllo che spesso saltiamo.
Un modello può produrre una risposta molto convincente e allo stesso tempo spostare leggermente il problema.
Gli chiediamo di confrontare due proposte commerciali e finisce per descriverle.
Gli chiediamo di individuare i rischi di un progetto e produce soprattutto vantaggi e opportunità.
Gli chiediamo di sintetizzare un documento mantenendo tutti i dati quantitativi e restituisce un riassunto molto leggibile nel quale alcuni numeri sono scomparsi.
Prima di verificare se una risposta è vera conviene quindi controllare se è pertinente.
La domanda da porsi è semplice: il modello ha svolto esattamente il compito che gli avevamo assegnato?
Se abbiamo specificato obiettivo, vincoli e formato di output, questo controllo diventa molto più facile.
Il prompting e la verifica, da questo punto di vista, sono due parti dello stesso lavoro.
Una richiesta vaga produce anche criteri di verifica vaghi.
Una richiesta precisa ci permette invece di confrontare ciò che avevamo chiesto con ciò che abbiamo ricevuto.

DISTINGUERE I FATTI DALLE INTERPRETAZIONI

Non tutte le parti di una risposta richiedono lo stesso tipo di controllo.
Se chiediamo all’AI di proporre cinque titoli per una newsletter, non esiste una fonte esterna capace di dirci quale sia “vero”.
Possiamo giudicare efficacia, tono, chiarezza e coerenza con il pubblico.
Se invece chiediamo quale fosse il fatturato di un’azienda nel 2025, quando è entrata in vigore una norma oppure chi abbia pronunciato una certa frase, siamo davanti a informazioni verificabili.
Questa distinzione è fondamentale.
Dentro una stessa risposta possono convivere fatti, inferenze, consigli, ipotesi e valutazioni.
Un metodo molto semplice consiste nel chiedersi, frase per frase: questa affermazione descrive qualcosa che esiste nel mondo e che potrei controllare altrove?
Se la risposta è sì, abbiamo davanti un fatto verificabile.
Quando il fatto è importante per la decisione che dobbiamo prendere, la verifica dovrebbe diventare parte del lavoro.

NON TUTTO MERITA LO STESSO LIVELLO DI VERIFICA

Controllare tutto con la stessa intensità sarebbe poco realistico.
Se chiediamo all’AI di suggerire dieci varianti di un titolo interno per una riunione, difficilmente servirà un protocollo di validazione.
Se stiamo preparando un contratto, una comunicazione sanitaria, un documento fiscale, una presentazione agli investitori o una decisione che riguarda persone, denaro o obblighi legali, la situazione cambia parecchio.
Il livello di verifica dovrebbe aumentare insieme alle conseguenze di un possibile errore.
Possiamo immaginare tre livelli.
Basso rischio: brainstorming, idee, bozze, riformulazioni, strutture.
Rischio medio: documenti operativi, analisi di mercato, contenuti pubblici, comparazioni, sintesi utilizzate per prendere decisioni.
Rischio alto: aspetti legali, fiscali, finanziari, sanitari, sicurezza, dati personali, decisioni che possono produrre effetti significativi sulle persone o sull’azienda.
Il modello può essere lo stesso.
Ciò che cambia è quanto possiamo permetterci di fidarci senza controllare.

UNA FONTE CITATA NON È AUTOMATICAMENTE UNA FONTE ESISTENTE

Uno degli errori più famosi dei modelli generativi riguarda le fonti.
Chiediamo una bibliografia e otteniamo titoli, autori, riviste e date perfettamente plausibili.
Peccato che qualche volta quella pubblicazione non sia mai esistita.
Ricordate quei celebri casi in cui qualche incauto avvocato citò sentenze inesistenti in tribunale, solo perché aveva utilizzato, senza verifiche, un modello LLM?
Questo tipo di problema può avere a che fare con sentenze, norme, studi scientifici, statistiche, URL o dichiarazioni attribuite a persone reali.
Una citazione molto dettagliata tende ad aumentare la nostra fiducia proprio perché sembra precisa.
Ma precisione formale e correttezza sono due cose diverse.
Quando una fonte è importante, il primo controllo consiste semplicemente nell’aprirla.
Esiste?
Dice davvero ciò che il modello sostiene?
È la fonte originale oppure una pagina che cita un’altra pagina?
È aggiornata?
Il dato riguarda davvero il periodo, il paese o il campione di cui stiamo parlando?
Questa verifica richiede spesso meno di un minuto e può evitare errori notevoli.

LA REGOLA DELLA FONTE PRIMARIA

Quando dobbiamo verificare qualcosa, la qualità della fonte conta quasi quanto la verifica stessa.
Se vogliamo sapere cosa prevede una norma europea, la fonte migliore è il testo ufficiale o il sito dell’istituzione competente.
Se vogliamo conoscere una funzione di ChatGPT, è preferibile partire dalla documentazione di OpenAI.
Se stiamo verificando i risultati economici di una società quotata, possiamo cercare il bilancio o la comunicazione ufficiale.
Se ci interessa una ricerca scientifica, conviene risalire allo studio originale.
La tentazione opposta è molto comune: chiediamo qualcosa all’AI, poi cerchiamo su Google e utilizziamo il primo articolo che sembra confermare la risposta.
A quel punto abbiamo semplicemente sostituito una risposta potenzialmente sbagliata con una verifica potenzialmente debole.
Il principio può essere riassunto così: più una informazione è importante, più dovremmo avvicinarci alla fonte che l’ha prodotta.

“CITAMI LE FONTI” AIUTA, MA NON RISOLVE IL PROBLEMA

Una delle richieste più comuni è: cita le fonti.
È utile.
Costringe il modello, quando lo strumento lo permette, a rendere più trasparente il percorso della risposta e ci dà qualcosa da controllare.
Ma chiedere una fonte non significa aver verificato la risposta.
Possiamo migliorare parecchio il prompt chiedendo, per esempio:
indica una fonte per ogni dato quantitativo;
distingui chiaramente ciò che deriva dalle fonti da ciò che stai inferendo;
se non trovi una fonte affidabile dichiaralo;
privilegia fonti ufficiali e documenti originali;
riporta la data della fonte;
non attribuire citazioni se non puoi verificarne l’origine.
Sono istruzioni utili perché rendono l’output più controllabile.
La fase decisiva arriva comunque dopo: dobbiamo guardare le fonti.

IL GROUNDING CAMBIA MOLTO IL LAVORO

Un modo particolarmente efficace per ridurre il terreno nel quale il modello deve improvvisare consiste nel fornirgli noi le fonti.
Carichiamo un contratto e chiediamo di lavorare esclusivamente sul contratto.
Forniamo cinque report e chiediamo di confrontare soltanto ciò che emerge da quei documenti.
Utilizziamo strumenti progettati per lavorare su raccolte definite di materiali.
Questo approccio viene spesso descritto con il termine grounding (o, in italiano, aggrapparsi alle fonti, che non suona proprio uguale).
In pratica stiamo dicendo al modello: invece di rispondere utilizzando genericamente ciò che sai o ciò che riesci a recuperare, lavora dentro questo perimetro informativo.
Il vantaggio è evidente.
Possiamo tornare al documento originale e controllare.
Ma anche qui esiste un errore da evitare: pensare che il grounding renda automaticamente corretta qualunque risposta.
Il modello può interpretare male una clausola, saltare una parte del documento, collegare male due dati oppure produrre una sintesi incompleta.
La fonte delimitata rende la verifica più semplice.
Non la rende inutile.

CHIEDERE ALL’AI DI VERIFICARSI DA SOLA

“Controlla se hai commesso errori nella risposta precedente.”
È una richiesta sensata.
Può funzionare.
Qualche volta il modello individua davvero incoerenze, omissioni o passaggi fragili.
Il problema è di conflitto di interessi: il controllore rimane lo stesso sistema che ha prodotto la risposta iniziale.
Se manca un’informazione, se una fonte era sbagliata oppure se il modello ha costruito un ragionamento su una premessa falsa, una seconda lettura può semplicemente confermare l’errore con maggiore convinzione.
L’autoverifica dell’AI è quindi utile come primo filtro, soprattutto per individuare contraddizioni interne.
Non dovrebbe essere confusa con una verifica indipendente.
Possiamo sfruttarla meglio cambiando leggermente la richiesta.
“Invece di confermare la risposta, cerca tre motivi per cui potrebbe essere sbagliata.”
Questa io la chiamo l’avvocato del diavolo…
Oppure:
“Individua le affermazioni della tua risposta che richiederebbero una fonte esterna.”
Oppure ancora:
“Quali parti della risposta consideri più incerte e perché?”
In questo modo chiediamo al modello di assumere temporaneamente un ruolo critico nei confronti di ciò che ha appena prodotto.

UTILIZZARE UN SECONDO MODELLO: UTILE, CON QUALCHE CAUTELA

Un’altra tecnica consiste nel sottoporre la stessa domanda a due modelli diversi.
Se ChatGPT, Gemini e Claude arrivano alla stessa conclusione, possiamo sentirci più tranquilli.
Con qualche cautela.
Tre modelli che concordano non trasformano automaticamente un’informazione in un fatto.
Potrebbero basarsi su fonti simili.
Potrebbero riprodurre lo stesso errore diffuso online.
Potrebbero interpretare nello stesso modo una domanda ambigua.
Il confronto tra modelli è molto utile per scoprire divergenze.
Se due sistemi producono numeri differenti, interpretazioni incompatibili o fonti diverse, sappiamo immediatamente dove concentrare la verifica.
Quando invece concordano, abbiamo un indizio in più.
La fonte originale rimane comunque il controllo più forte.

I NUMERI SONO UN PUNTO DEBOLE DA TRATTARE CON ATTENZIONE

Percentuali, somme, medie, variazioni, conversioni, date e confronti quantitativi meritano un controllo specifico.
Non perché i modelli siano incapaci di lavorare con i numeri.
Perché un testo molto fluido può nascondere facilmente un errore aritmetico o un dato interpretato male.
Immaginiamo di chiedere di confrontare le vendite di quattro prodotti e di calcolare la crescita percentuale.
La risposta può essere scritta magnificamente e contenere comunque una percentuale sbagliata.
Quando il numero conta, conviene separare almeno due domande.
Il dato di partenza è corretto?
Il calcolo eseguito su quel dato è corretto?
Sono due verifiche differenti.
Se stiamo lavorando con un foglio di calcolo, possiamo controllare le formule.
Se utilizziamo Python, Excel o un altro strumento deterministico per il calcolo, possiamo confrontare il risultato.
Delegare completamente anche la verifica numerica allo stesso modello che ha generato il numero ci riporta al problema dell’autocontrollo.

LE DATE SONO PIÙ INSIDIOSE DI QUANTO SEMBRINO

Una data sembra un’informazione semplice.
In realtà può nascondere parecchi problemi.
Data di pubblicazione.
Data di entrata in vigore.
Data di applicazione.
Periodo di riferimento di una statistica.
Ultimo aggiornamento di una funzione.
Data in cui un prodotto è stato annunciato, che potrebbe essere diversa da quella in cui è diventato disponibile.
Molti errori apparentemente fattuali nascono proprio dalla confusione tra eventi simili collocati in momenti diversi.
Quando la cronologia conta, una verifica efficace consiste nel chiedere al modello di distinguere esplicitamente gli eventi.
“Indicami separatamente data di approvazione, entrata in vigore e applicazione.”
Poi controlliamo quelle date nelle fonti.
È un piccolo accorgimento che evita parecchie semplificazioni.

ATTENZIONE ALLE INFORMAZIONI VECCHIE

L’intelligenza artificiale si muove in un ambiente che cambia molto velocemente.
Un tutorial corretto sei mesi fa può descrivere un’interfaccia che nel frattempo non esiste più.
Un confronto tra modelli può essere superato da un aggiornamento.
Una funzione potrebbe essere disponibile soltanto per alcuni account, paesi o piani.
Una normativa può avere scadenze progressive.
Una statistica può essere stata sostituita da una rilevazione più recente.
Per questo la verifica dovrebbe includere anche una domanda temporale: questa informazione è ancora aggiornata?
Una fonte autorevole del 2023 può essere perfettamente corretta e allo stesso tempo poco utile per descrivere una funzione software nel 2026.
La data della fonte è quindi parte dell’informazione.

NON CONFONDERE SICUREZZA DEL TONO E SICUREZZA DEL CONTENUTO

Questo è probabilmente il punto psicologico più interessante.
Noi umani tendiamo a interpretare il modo in cui qualcosa viene detto come un indizio della sua affidabilità.
Una persona esitante ci sembra meno sicura.
Una persona che parla con precisione e senza incertezze tende a sembrarci competente.
I modelli generativi rompono questa associazione.
Possono produrre una frase molto sicura senza possedere alcuna “sicurezza” nel senso umano del termine.
Una risposta può contenere espressioni come “certamente”, “è importante sottolineare”, “la normativa stabilisce” oppure “secondo lo studio” e rimanere comunque sbagliata.
Il tono non è una misura della probabilità che l’informazione sia corretta.
Questa è probabilmente una delle abitudini più difficili da acquisire: leggere una risposta perfettamente scritta mantenendo comunque un piccolo spazio mentale per il dubbio.

COME VERIFICARE UNA RISPOSTA QUANDO ABBIAMO POCO TEMPO

La verifica non deve necessariamente trasformarsi in una ricerca di mezz’ora.
Nella maggior parte dei compiti professionali possiamo applicare una procedura molto rapida.
Primo: evidenziare le affermazioni fattuali importanti.
Secondo: individuare quelle che, se sbagliate, cambierebbero la decisione o il documento.
Terzo: verificare queste ultime attraverso fonti affidabili.
Quarto: controllare numeri, date e nomi.
Quinto: distinguere ciò che sappiamo da ciò che il modello sta suggerendo o inferendo.
È una specie di verifica a imbuto.
Non controlliamo ogni aggettivo.
Controlliamo ciò che può produrre conseguenze.

UN ESEMPIO: PREPARARE UN ARTICOLO CON L’AI

Supponiamo di utilizzare ChatGPT per preparare un articolo sull’adozione dell’intelligenza artificiale nelle PMI italiane.
Il modello potrebbe proporre una struttura, suggerire argomenti e scrivere una prima bozza.
Fin qui il rischio è relativamente basso.
Poi compaiono tre numeri:
la percentuale di imprese che utilizza AI;
la crescita rispetto all’anno precedente;
il confronto con la media europea.
Questi tre elementi cambiano il livello di verifica.
Dovremmo individuare le fonti originali, controllare l’anno di riferimento, verificare che il campione corrisponda davvero alle imprese di cui stiamo parlando e assicurarci che il confronto utilizzi grandezze omogenee.
L’AI continua a essere utilissima.
Ha costruito la struttura, accelerato la ricerca, suggerito collegamenti e prodotto una bozza.
La parte che richiede responsabilità editoriale rimane nostra.

UN ALTRO ESEMPIO: ANALIZZARE UN DOCUMENTO AZIENDALE

Carichiamo un report di cinquanta pagine e chiediamo all’AI di individuare i cinque principali rischi.
Otteniamo un elenco molto chiaro.
Come lo controlliamo?
Possiamo chiedere per ogni rischio la pagina o la sezione del documento dalla quale deriva.
Possiamo aprire quei passaggi.
Possiamo verificare se il modello ha trascurato informazioni che ridimensionano il rischio.
Possiamo chiedere quali rischi alternativi abbia escluso e perché.
Possiamo infine confrontare la sintesi con la nostra conoscenza del contesto aziendale.
Il modello in questo caso svolge un lavoro prezioso di lettura e organizzazione.
La verifica trasforma la sintesi da semplice output generato a strumento utilizzabile.

COSTRUIRE OUTPUT VERIFICABILI

Possiamo fare qualcosa di ancora più utile: progettare i prompt pensando già alla verifica.
Invece di chiedere:
“Analizza questo documento.”
possiamo chiedere:
“Individua i cinque problemi principali. Per ciascuno indica il passaggio del documento che sostiene la conclusione, il livello di gravità che proponi e le informazioni che mancano per valutarlo meglio.”
L’output diventa immediatamente più facile da controllare.
Oppure:
“Confronta questi tre fornitori utilizzando esclusivamente i documenti allegati. Per ogni valutazione indica da quale documento deriva l’informazione. Se un dato non è disponibile scrivi ‘non disponibile’ invece di stimarlo.”
Questo tipo di prompting non serve soltanto a ottenere una risposta migliore.
Serve a ottenere una risposta verificabile.
Ed è una differenza enorme.

QUANDO L’AI DOVREBBE DIRE “NON LO SO”

Una buona risposta non è sempre una risposta completa.
In molti contesti professionali preferiremmo che il modello dicesse “non ho abbastanza informazioni” invece di riempire i vuoti.
Possiamo incoraggiare questo comportamento attraverso istruzioni esplicite.
“Se il documento non contiene l’informazione, non dedurla.”
“Se non riesci a verificare un dato, dichiaralo.”
“Distingui i fatti presenti nelle fonti dalle tue ipotesi.”
“Indica quali informazioni mancano per rispondere con maggiore sicurezza.”
Sono richieste semplici, ma cambiano la qualità del rapporto con l’AI.
Stiamo dicendo al sistema che l’incertezza è un risultato accettabile.
Nel lavoro reale lo è molto spesso.
Sapere che manca un dato è decisamente meglio che riceverne uno inventato.

LA VERIFICA È UNA COMPETENZA, NON UN PASSAGGIO FINALE

Potremmo pensare alla verifica come all’ultima fase: prima chiediamo, poi produciamo, infine controlliamo.
Nel lavoro con l’AI funziona meglio considerarla parte dell’intero processo.
Scegliamo fonti migliori.
Costruiamo richieste verificabili.
Chiediamo al modello di esplicitare i passaggi incerti.
Separiamo fatti e interpretazioni.
Controlliamo i punti ad alto rischio.
Correggiamo.
Poi utilizziamo il risultato.
In questo modo la verifica smette di essere il momento antipatico in cui dobbiamo controllare se l’AI ha combinato qualche disastro.
Diventa semplicemente il metodo con cui lavoriamo.

IL VERO CAMBIO DI COMPETENZA

Per molto tempo abbiamo raccontato l’intelligenza artificiale generativa come una tecnologia capace di produrre.
Scrive.
Riassume.
Analizza.
Traduce.
Genera immagini.
Costruisce presentazioni.
Con il tempo diventa sempre più evidente che la competenza decisiva per chi la utilizza professionalmente si trova dall’altra parte: la vostra.
Saper giudicare ciò che produce.
Capire quando una risposta è sufficiente.
Riconoscere quando serve una fonte.
Individuare un dato che merita controllo.
Accorgersi che una conclusione non deriva dalle informazioni disponibili.
Sapere quando il livello di rischio richiede l’intervento di una persona competente.
Il prompt migliore del mondo può aiutarci a ottenere un output eccellente.
La responsabilità di decidere se quell’output sia abbastanza affidabile per essere utilizzato rimane nostra.
Per questo, dopo aver imparato a fare una buona domanda, la domanda successiva dovrebbe diventare automatica:
come faccio a sapere che questa risposta è corretta?