evals/stream Benchmark LLMs in italiano
← tutti gli eval

IFEval HARD: istruzioni multiple e vincolanti (in italiano)

22 domande · scoring ifeval · contaminazione public

Caso d'uso: Documenti e output regolamentati: molti vincoli simultanei e tutti obbligatori (moduli, comunicazioni formali, redazione vincolata), il banco di prova dell'affidabilita' esecutiva.

Cosa misura

La capacità di rispettare più istruzioni verificabili contemporaneamente. Adattamento fedele di IFEval (Zhou et al. 2023): prompt reali del dataset google/IFEval tradotti in italiano, con le stesse combinazioni di istruzioni e gli stessi parametri. I checker riproducono la semantica ufficiale di instructions.py (relazioni «almeno»/«meno di», paragrafi separati da *, sezioni «SEZIONE X», due risposte separate da ****, ecc.).

Com'è andata

Impilando 2-3 istruzioni dell'IFEval reale per prompt, il soffitto sparisce: se in ifeval-it due modelli facevano 100%, qui nessuno è perfetto. In testa un quartetto a 21/22 (95.5%) — gpt-5.4, Opus 4.8, Fable 5 e Gemma-12B locale — poi un gruppo a 90.9% e, in coda, gpt-5.4-nano e Sonnet 5 appaiati all'81.8%.

Il locale in vetta (secondo giro). Gemma-12B Q4 sul Jetson (thinking budget 768 enforced) aggancia i tre frontier: 95.5%, sopra Sonnet 4.6, Haiku e gpt-5.4-mini. Dopo faq-it è il secondo eval di fila in cui il 12B locale gioca alla pari coi migliori — sui task linguistici, dove disciplina e precisione contano più dei parametri. Il prezzo resta la latenza (145 s/item). Il suo unico errore è un piccolo caso di studio: sulla critica TUTTA IN MAIUSCOLO scrive i 2 paragrafi giusti, poi — col thinking tagliato dal budget — l'auto-verifica ossessiva straripa nel canale di risposta («One more look at D'ALTRONDO…», lettera per lettera, in inglese minuscolo) fino a esaurire i token: il check all_capital vede le minuscole e boccia. Il ragionamento represso trova un'altra strada, e lì viene contato.

La sorpresa è proprio lì in fondo: Sonnet 5, un ottimo ragionatore, finisce alla pari con il modello più piccolo di OpenAI. Non per un bug sistematico ma per quattro scivoloni diversi — non ripete la richiesta alla lettera, sfora il budget di parole-maiuscole, sbaglia i conteggi esatti di parole chiave. È la prova che seguire istruzioni non è la stessa cosa che essere intelligenti: due capacità distinte, e i modelli migliori nell'una non lo sono automaticamente nell'altra.

Cosa fa cadere anche i grandi. Due domande spaccano il campo a metà (4/8):

  • un curriculum che usi parole tutte-maiuscole meno di 10 volte e sia racchiuso tra virgolette: gpt-5.4 ne mette 13 e sfora — bisogna contare mentre si genera;
  • un template con la lettera «o» meno di 6 volte, meno di 6 frasi e 2 sezioni evidenziate: filtrare una lettera comune dell'italiano mentre si rispettano lunghezza e formato è durissimo.

Gli altri inciampi sono istruttivi: il divisore di paragrafi * esatto (i piccoli lo ignorano), i conteggi «guerra ×8, pace ×10» (Opus e Sonnet 5 mancano il bersaglio), e un rifiuto** di Fable 5 sulla mail di dimissioni da ripetere — la stessa impronta di allineamento vista in GPQA biologia, che scatta anche su un compito del tutto innocuo.

La lettura. L'instruction-following in italiano è una capacità matura ma non risolta: impilare vincoli verificabili non azzera i frontier (restano sopra il 90%), ma toglie la perfezione e riordina la classifica in modo diverso da conoscenza e ragionamento. Chi vince qui — gpt-5.4 e Opus — non è chi vince su AIME o GPQA.

Note di metodo