Esame della patente B: i quiz ministeriali veri
30 domande · scoring mcq · contaminazione public
Cosa misura
I quiz veri dell'esame di teoria per la patente B: 30 affermazioni vero/falso dal listato ministeriale (trascrizione Edizioni Neca del 27/02/2025), le stesse domande somministrate agli esami. Dati di produzione dello Stato, italiano nativo, pieni di trabocchetti linguistici. Selezione curata a mano: 14 Vero / 16 Falso, 30 blocchi tematici tutti diversi, comprese le trappole «al contrario» (il «sempre» che stavolta è vero), escluse le domande legate a figure (segnali stradali).
Com'è andata
L'esame di teoria vero: 30 quiz ministeriali, promosso chi fa al massimo 3 errori. Primo giro con dieci modelli cloud «fino a Sonnet» più Gemma-12B locale sul Jetson (thinking budget 768); poi il ripescaggio dei due frontier grossi, Opus 4.8 e Fable 5.
Promossi: 6 su 13. A pieni voti GPT-5.4 e Fable 5 (0 errori, due volte su due ciascuno); Opus 4.8 passa con 1 errore — sempre lo stesso, in entrambe le ripetizioni: il limite dei 70 km/h per le autovetture con rimorchio (q017), su cui insiste a rispondere «falso». Poi — seconda assoluta — Gemma-12B dal Jetson, promossa con 2 errori (93.3%); quindi GLM-5.2 (2–3 errori) e Sonnet 4.6 (3 errori esatti, due volte su due — promosso per il rotto della cuffia con una costanza quasi comica). Tutti gli altri sarebbero bocciati, e non di poco: Haiku, Qwen3-235B, gpt-5.4-mini e nano stanno tra i 7 e i 9 errori.
La bocciatura di Sonnet 5 è il dato interessante: 5 errori, identici in entrambe le ripetizioni — lo stesso modello che regge il 90% su AIME 2026 (matematica da olimpiadi mai vista) non supera i quiz dell'autoscuola, mentre un 12B quantizzato in locale li passa. I quiz ministeriali non misurano l'intelligenza: misurano la lettura pignola di formulazioni-trappola («solo», «sempre», «in ogni caso», valori numerici al millimetro) su un corpus normativo molto specifico. È un'abilità diversa, e questi risultati lo dimostrano meglio di qualsiasi argomentazione. Per Gemma è il quarto eval linguistico di fila (faq-it, ifeval-hard-it) a livello da frontier — il prezzo, come sempre, è la latenza (~57 s/domanda).
I due errori di Gemma raccontano due debolezze diverse:
- q023 («la sosta e la fermata sono sempre vietate sugli attraversamenti pedonali», Vero): il «sempre» le suona da trabocchetto... proprio quando non lo è. L'eccesso di sospetto è un modo di sbagliare i quiz ministeriali che anche i candidati umani conoscono bene.
- q026 (la patente B «non ha scadenza fino ai 50 anni», Falso: vale 10 anni): qui manca la nozione secca, non la lingua.
La soglia dei pieni voti separa i frontier attuali dal resto: GPT-5.4 e Fable 5 a quota 30/30, Opus inchiodato al suo unico errore ripetuto — un promemoria che anche i migliori hanno convinzioni sbagliate stabili, non solo sviste. Controprova con le strategie di ragionamento: Opus riprovato a effort low e medium sbaglia sempre e solo q017, identico al default — più o meno ragionamento non sposta una convinzione errata.
Note di metodo
- Scoring mcq: A=Vero, B=Falso come nella scheda d'esame.
- Soglia dell'esame reale: promosso con ≥ 90% (max 3 errori su 30) — una lettura assoluta, oltre alla classifica.
- Chance al 50%: con due opzioni, il caso fa 15/30. Un modello al 70% è molto più vicino al tirare a indovinare di quanto sembri.
- Rifiuto o risposta senza lettera = errore (
unparsed_as_wrong), come una casella sbagliata sulla scheda. - Contaminazione:
public. Il listato circola in tutte le app di quiz da anni; ma il compito è giudizio normativo puntuale, non recall del listato — e infatti nemmeno il recall salva i piccoli, perché la trappola è nella singola parola. - Kimi K2.5: 83.3% e 80.0% nelle due ripetizioni — bocciato (5-6 errori), coerente con Sonnet 5.
- Ripescaggio Opus/Fable eseguito dopo il primo giro, stessa config e stesse 2 ripetizioni degli altri.