Nell’articolo precedente AI: ingegneria dei prompt per ridurre le allucinazioni [parte 1] abbiamo introdotto cosa sono le allucinazioni dei modelli linguistici di grandi dimensioni (LLM) come ChatpGTP e alcune tecniche per limitare la loro comparsa. Abbiamo analizzato nel particolare i sistemi RAG e i prompt ReAct e CoVe( Chain-of-Verification). Esistono anche altre tecniche di prompting che ci possono aiutare, tra cui le catene di note e quelle di conoscenza. Analizzeremo, per ciascuna di esse, il loro funzionamento, alcuni esempi per illustrare la struttura del prompt e forniremo i loro vantaggi e svantaggi. Iniziamo!
Prompt a catena di note (CoN)
I prompt a catena di note (CoN) mirano a migliorare la comprensione del modello registrando esplicitamente il contesto, i pensieri e le lacune riscontrate lungo il percorso di formulazione della risposta.
La struttura è la seguente:
{Domanda iniziale}
Nota 1: <Comprensione e pensieri iniziali del modello>.
Nota 2: <Superare eventuali lacune di conoscenza>.
Nota 3: <Fornire un ulteriore contesto rilevante>.
… eventuale catena di note …
Risposta finale: <Risposta che incorpora il ragionamento completo tracciato nelle note>.
Per esempio:
Quando è iniziata la Rivoluzione francese?
Nota 1: La Rivoluzione francese si riferisce al periodo di grandi sconvolgimenti sociali e politici in Francia alla fine del XVIII secolo. Inizialmente ho capito che è culminata con l’abolizione della monarchia francese.
Nota 2: Non ho a disposizione la data esatta di inizio. Potrei aver bisogno di cercare fonti esterne per trovare informazioni precise sulla data di inizio degli eventi che portarono alla rivoluzione.
Nota 3: dopo un’ulteriore analisi, la maggior parte dei documenti storici cita il 1789 come anno di inizio della Rivoluzione francese, segnata dalla presa della Bastiglia il 14 luglio.
Risposta finale: La data comunemente accettata per l’inizio della Rivoluzione francese è il 14 luglio 1789, quando i manifestanti presero d’assalto la fortezza della Bastiglia a Parigi, dando il via allo slancio rivoluzionario per rovesciare il re Luigi XVI e instaurare una repubblica basata sui principi illuministici di libertà, uguaglianza e fraternità. I principali eventi iniziali si verificarono nel periodo 1789-1799.
Le note tracciano il contesto e le lacune, riducendo la falsa precisione allucinata. Il concatenamento delle note ha anche una funzione educativa per migliorare le capacità di valutazione del modello per le domande successive.
Vantaggi
L’utilizzo delle note permette di tenere una traccia diagnostica dell’evoluzione del ragionamento del modello, facendo emergere i punti ciechi per chiarire le conoscenze aperte rispetto a quelle chiuse. Inoltre, offre l’opportunità di incorporare un contesto aggiuntivo per migliorare le risposte.
Svantaggi
L’approccio CoN scambia essenzialmente la velocità con la trasparenza. Infatti, si nota un aumento significativo della lunghezza del prompt e, di conseguenza il tempo impiegato per formulare ogni interrogazione. Sebbene la verbosità possa diventare ingombrante, l’esplicitazione del contesto e delle incognite offre utili indicazioni sulla comprensione del modello momento per momento. È necessaria un’ulteriore messa a punto per garantire che le note concatenate migliorino in modo significativo l’integrità della conoscenza sottostante. Infatti, non è escluso anche un potenziale overfitting dovuto a descrizioni incerte ed articolate.
Prompt a catena di conoscenze (CoK)
I prompt a catena di conoscenze (CoK) richiedono esplicitamente al modello di ricavare le sue risposte da catene di conoscenze per ridurre i salti logici o le false inferenze. La struttura è la seguente:
{Topic} secondo gli esperti di <campo 1>, <campo 2>, <campo 3> ecc. è: {spiegazione del modello derivata dalle catene di esperti citati}.
Ecco alcuni esempi:
- L’impatto del riscaldamento globale sugli ecosistemi artici secondo gli scienziati del clima, i biologi marini e i biologi della conservazione è: {risposta del modello che cita le prospettive dei domini di esperti}
- Le migliori pratiche per password sicure secondo gli esperti di crittografia, i progettisti di esperienze utente e gli strateghi delle politiche sono: {risposta modello che si basa su catene di competenze}
La concatenazione delle fonti di competenza del dominio agisce come una sorta di revisione tra pari, costringendo il modello a collocare le proprie risposte all’interno della conoscenza consolidata. È più probabile che opinioni non supportate o inferenze errate emergano quando si esamina l’allineamento con autorità specializzate che coprono più aree.
Vantaggi
La tecnica CoK costringe il modello a rivolgersi a esperti verificati piuttosto che a opinioni inaffidabili fornendo un fact-checking basato sulla “saggezza delle folle”.
L’allineamento della comprensione con le conoscenze specialistiche riduce gli errori speculativi.
Svantaggi
Richiedendo l’assemblaggio di spiegazioni da prospettive di esperti, i prompt CoK obbligano ad aderire ad un discorso fondato. Tuttavia, occorre prestare attenzione a incorporare la diversità dei punti di vista degli studiosi piuttosto che limitarsi alle prove di conferma. Inoltre, l’identificazione dei campi e degli esperti rilevanti può richiedere di per sé una familiarità con il dominio non sempre disponibile. La scelta degli esperti risulta un fattore critico. Infatti, in alcuni contesti, i punti di vista degli esperti possono, addirittura, divergere in base alle interpretazioni o avere punti ciechi.
Altre tecniche avanzate di prompting
Oltre agli approcci descritti in questo articolo e in XXX, varie altre tecniche di ingegneria del prompt sono state proposte per ridurre ulteriormente le allucinazioni. Di seguito forniremo una breve panoramica di alcuni metodi promettenti.
Prompt di classificazione della veridicità
Questi prompt richiedono esplicitamente al modello di classificare la probabile veridicità o attendibilità delle sue risposte su una scala definita, come ad esempio:
{Domanda} … La mia risposta è {Risposta}. Su una scala da 1 (inaffidabile) a 5 (certamente vera), valuto l’accuratezza di questa risposta come {punteggio di veridicità} a causa di {giustificazioni}.
La richiesta di un’autovalutazione dell’integrità della risposta basata su criteri chiari scoraggia la cieca allucinazione fiduciosa. Altrettanto importante è il fatto che il modello deve fare introspezione e rivelare le lacune nella sua conoscenza che giustificano l’incertezza.
Storia dei fatti e suggerimenti per il futuro
Una tecnica interessante collega i fatti passati con quelli futuri logicamente deducibili per far emergere l’incoerenza. Ad esempio, la struttura di un prompt può essere la seguente.
Sulla base della storia dei fatti {inserire il contesto}, prevedere il futuro più ragionevole a 10 anni da oggi. Poi tornate indietro di 5 anni e verificate se il futuro previsto ha un senso razionale.
Il salto mentale incoraggia a mettere in discussione le proiezioni fondate rispetto ai futuri non fondati. L’identificazione delle contraddizioni tra storie ragionevoli e futuri basati su principi di buon senso espone i rischi di allucinazione.
Sollecitazione di prospettive alternative
La ricerca di visioni alternative del mondo apre punti ciechi nella posizione dominante del modello. La struttura del prompt può basarsi sul seguente modello.
Interrogare la risposta dalla prospettiva di {demografica X} e criticare eventuali incongruenze fattuali rispetto ad altre prospettive basate sull’evidenza.
Gli stimoli a una visione contraria individuano le lacune nelle assunzioni che aumentano le possibilità di falsificazione. La riconciliazione delle incongruenze fattuali, se riscontrate, rafforza l’integrità.
Esistono molte altre direzioni promettenti per i prompt, come l’intreccio di fatti sconosciuti, l’analisi dell’eccesso di fiducia e la co-modellazione con altri agenti. Il tema unificante è la richiesta non solo di una risposta finale, ma anche del ragionamento sottostante, della calibrazione dell’incertezza, dei controlli di coerenza esterna e dell’allineamento delle prove, che favoriscono risposte veritiere.
Conclusioni
Mentre i modelli linguistici diventano sempre più sofisticati, una sfida fondamentale che rimane è l’allucinazione. Tuttavia, mancano di una base più ampia per determinare la credibilità del senso comune. Fortunatamente, i rapidi progressi ingegneristici offrono una soluzione, codificando esplicitamente il supporto probatorio, logico e contestuale necessario per ottenere affermazioni affidabili. I sistemi RAG, i prompt ReAct, la verifica concatenata e l’approvvigionamento da parte di esperti sono tecniche che possono contribuire a ridurre la probabilità di informazioni false rendendo esplicito l’onere della prova.
Tuttavia, dobbiamo concentrarci sullo sviluppo di un’intelligenza più affidabile, introspettiva e fondata per garantire il massimo livello di accuratezza. Il prompt può essere un utile strumento diagnostico per identificare le lacune nelle capacità del modello che richiedono un intervento, ma non è una soluzione completa alla sicurezza dell’IA. Gli approcci ibridi che affrontano i limiti del modello e al contempo ne ampliano le capacità sono promettenti. È importante essere onesti sulle frontiere delle competenze del modello per gestire le aspettative dei sistemi futuristici, indipendentemente dall’approccio tecnico. Riconoscere la necessità di una certa diligenza nella strutturazione della trasparenza dell’IA oggi ci aiuterà a costruire l’interpretabilità e la responsabilità, che sono essenziali per progettare una cooperazione vantaggiosa tra esseri umani e macchine domani.
