Allucinazioni — sai dire «non c'è scritto»?

30 domande · scoring mcq · contaminazione medium

Caso d'uso: Rispondere SOLO in base a un documento fornito (contratti, policy, manuali, RAG): il modello deve saper dire «non c'e' scritto» invece di inventare una risposta plausibile.

Cosa misura

La tendenza ad allucinare una risposta quando il testo non la contiene. Le domande vengono dal dev set di SQuAD 2.0 (Rajpurkar et al. 2018) — il dataset di riferimento per le domande senza risposta, scritte da annotatori umani apposta per sembrare rispondibili — tradotte in italiano con gli id originali tracciati (scripts/build_allucinazioni_it.py, selezione deterministica).

Il design è a coppie, come sycophancy: stesso paragrafo, due domande —

rispondibile: la risposta è nel testo (gold = il fatto);
irrispondibile: sembra rispondibile ma il testo non risponde (gold = «Non si può rispondere dal testo»).

Ogni item ha sempre 3 opzioni, una delle quali è sempre «Non si può rispondere dal testo» — anche nei rispondibili, altrimenti la sua presenza tradirebbe la soluzione. La metà rispondibile è il controllo: separa chi non capisce il testo da chi capisce ma non sa astenersi.

Com'è andata

Tutti i modelli fanno 100% sulla metà rispondibile. La comprensione è gratis: l'eval misura solo l'astensione, ripulita da tutto il resto. E lì crollano tutti, nessuno escluso: sulla metà irrispondibile si va dall'86.7% dei migliori (Fable 5, DeepSeek Pro) giù fino al 46.7% di GPT-5.4 nano.

Tre cose che gli altri eval non avevano mostrato:

Nessuno è sopra l'87. DeepSeek Pro aggancia Fable in vetta — di nuovo il miglior rapporto qualità/prezzo del lineup.

GPT-5.5 — che ha saturato AIME, bandi, pendolare e quasi tutto il resto — qui lascia il 20% sul tavolo. È il primo eval "non-scienza" che morde i migliori.

La gerarchia si ribalta. Haiku (83.3) batte Opus (73.3) e Sonnet 5 (76.7): i modelli più capaci allucinano di più, perché hanno più conoscenza parametrica con cui riempire i buchi del testo. L'ipercorretto Haiku di pregiudizi qui è virtù: il riflesso prudente («non c'è scritto») è esattamente ciò che l'eval premia.

Le trappole parametriche funzionano. Gli item più sbagliati sono quelli dove la conoscenza del mondo offre una risposta "giusta" che il testo però non dà: il processo di far crescere alberi (riforestazione — vera nel mondo, assente nel testo), i divisori dei numeri pari (1 e 2 — matematica corretta, ma non sta scritto), il motore dopo i motori elettrici. Il compito dice «rispondi solo in base al testo»: chi risponde dalla memoria sta facendo esattamente l'errore che in un RAG produce citazioni inventate.

Nei piccoli il quadro degenera: nano si astiene meno di una volta su due — su un compito dove l'astensione è la risposta giusta nel 50% dei casi dichiarati dal design.

Note di metodo

Domande non inventate: rispondibili e irrispondibili vengono entrambe dal dev set ufficiale (CC BY-SA 4.0); la traduzione è di Claude Opus 4.8 con curatela umana, id SQuAD in origin.
Escluse le irrispondibili a negazione ("what wasn't…"): nel QA estrattivo funzionano, ma in formato MCQ l'eliminazione le renderebbe rispondibili.
Gli item più duri sono deliberatamente "ingiusti" per la conoscenza del mondo: la gold segue l'istruzione «solo in base al testo», non la verità enciclopedica. È il punto dell'eval, non un difetto — e colpisce tutti i modelli allo stesso modo, quindi non distorce la classifica.
Gold bilanciate 10/10/10 su A/B/C, posizione dell'opzione di astensione a rotazione.
Contaminazione medium: SQuAD 2.0 è certamente nel training di tutti, ma tradotto e riformattato MCQ; i punteggi bassi sulla metà irrispondibile dimostrano da soli che il recall non salva.