evals/stream Benchmark LLMs in italiano
← tutti gli eval

Il cittadino e il bando: capire i concorsi pubblici veri

30 domande · scoring mcq · contaminazione low

Caso d'uso: Uno sportello per il cittadino: leggere un bando di concorso pubblico vero e rispondere giusto su requisiti, scadenze e titoli, dove un'informazione sbagliata fa perdere la domanda.

Cosa misura

Il primo eval di comprensione di documenti lunghi della suite: cinque bandi di concorso veri e recenti (giugno-luglio 2026, posteriori al cutoff dei modelli), col testo ufficiale asciugato agli articoli sostanziali (~3-4.500 parole) fornito nel prompt. Trenta domande «da cittadino»: posso partecipare con questo titolo? entro quando? quanti posti dopo la modifica? come si paga la tassa?

I cinque bandi: INPS 1.695 funzionari PECS, INPS 499 assistenti informatici (la coppia col contrasto laurea/diploma), ASL Roma 3 aggregato 131 posti, Difesa VFT 2026 (bando + decreto di rimodulazione: le domande sui numeri richiedono di leggere entrambi), ANAC 19 funzionari (il più cattivo: regole di cumulo dell'esperienza). Ogni domanda vede un solo bando; gold verificate a mano sul testo.

Com'è andata

Saturazione totale, e non era scontato: dieci modelli cloud, due ripetizioni ciascuno, tutti al 100% — seicento risposte senza un errore. Dal frontier da un dollaro a run al nano da mezzo centesimo, col testo del bando davanti nessuno sbaglia: requisiti compositi (laurea più tre anni di esperienza), decreti che rimodulano i posti in appendice, scadenze alle 18:00 e non a mezzanotte, cumuli di periodi contemporanei.

La lettura interessante arriva accostando patente-it: sono in parte gli stessi modelli piccoli che sui quiz della patente — giudizio normativo a memoria, senza testo — crollano al 70-75%. Qui, con il documento nel prompt, gpt-5.4-nano passa dal 71.7% al 100%. È l'argomento del RAG ridotto ai minimi termini: il problema dei modelli piccoli sull'italiano burocratico non è capirlo, è ricordarlo. Dagli il testo e il divario sparisce.

E l'incognita dei locali è sciolta: satura anche il 12B sul Jetson. Gemma-12B quantizzata Q4, 4-6.700 token di bando nel contesto (CTX=12288, vedi il manifest dedicato e docs/jetson.md): 100%, tutti e cinque i bandi 6/6, 68 secondi a domanda a costo zero. Con faq 96%, ifeval-hard 95.5% e il crollo al 20-30% su pendolare, il ritratto del locale è completo: capire l'italiano scritto — anche 4.000 parole di burocrazia — è un problema risolto perfino a 12B quantizzati; agire in modo strutturato non lo è. Per il caso d'uso "posso partecipare a questo concorso?", un modello locale gratuito basta già.

Con la classifica piatta al 100%, l'eval oggi misura una soglia di sufficienza, non una gerarchia — e la soglia la passano tutti. La v2 che discriminerebbe è già progettata: domande multi-hop («somma i posti riservati su tutte le sedi», «se il bando esce il 25 giugno, qual è l'ultimo giorno utile?») e casi di eligibilità con la squalifica nascosta tre articoli più in là.

Note di metodo