AIME 2026 in italiano: matematica post-cutoff

30 domande · scoring numeric · contaminazione low

Caso d'uso: Come aime-it ma su problemi usciti DOPO il training dei modelli: ragionamento matematico puro, senza possibilita' di averli gia' visti.

Cosa misura

Gli stessi 30 problemi ufficiali AIME 2026 (esami I e II, 5 e 12 febbraio 2026, MAA): matematica da competizione, risposta un intero 0–999, ground truth eseguibile (confronto esatto), nessun giudice LLM. Traduzione italiana autoriale con la matematica lasciata verbatim, come per il 2024.

Com'è andata

Otto modelli cloud, stessa identica configurazione dei run AIME 2024 (stesso prompt, stesso budget di 24k token, stesso scorer, perfino lo stesso hash di config): l'unica cosa che cambia sono i problemi — quelli del febbraio 2026, successivi al cutoff di addestramento dichiarato di tutti i modelli in classifica. La differenza 2024→2026, a parità di tutto, stima quindi quanta parte del punteggio 2024 era ricordo.

In testa GPT-5.5: 30/30 — dopo il 30/30 sul 2024, è il primo modello che satura la matematica post-cutoff: delta di contaminazione zero, quel punteggio è ragionamento, non memoria. Dietro di lui Fable 5: 96.7% (sul 2024 faceva 100: sbaglia solo il problema I-15, il conteggio degli «anelli di celle», il più duro dell'esame), poi Opus 4.8 e Sonnet 5 al 90%. Le variazioni raccontano tre storie diverse:

Chi regge (Δ ≈ 0–4 punti): Fable 5 (−3.3), Sonnet 5 (0), GPT-5.4 (−3.4), GPT-5.4-mini (−3.3). Per questi il punteggio AIME è ragionamento vero, non memoria.
Chi crolla: Sonnet 4.6 perde 20 punti (80→60). Un quarto del suo risultato 2024 era, con ogni probabilità, materiale visto in addestramento. È il motivo per cui questo eval esiste.
I piccoli calano di ~7 punti (nano 43→37, Haiku 40→33): un po' di memoria c'era anche lì, ma partivano bassi.

Sapersi arrendere, di nuovo. Sonnet 5 su due problemi (II-13 e II-14) ha bruciato tutti i 24.000 token di ragionamento senza mai emettere la risposta: contano come errori (unparsed_as_wrong, la convenzione di tutta la suite — un modello non «sfugge» non rispondendo). Senza quei due sarebbe a 96.4% sul valutato.

Perché «contaminazione: low» e non «none»

I problemi sono posteriori ai cutoff dichiarati, ma i modelli aggiornati dopo febbraio 2026 potrebbero comunque averli incontrati. «Low» è onesto; «none» sarebbe una promessa che non possiamo verificare. Il segnale forte resta il confronto differenziale col 2024, dichiarato public.

Note di metodo

Il tetto dei 24.000 token morde i più prolissi: 5 dei 7 errori di DeepSeek Pro (e 4 dei 5 del Flash) sono reasoning troncati al budget senza risposta emessa, non soluzioni sbagliate. La config è identica per tutti: il punteggio misura la capacità entro quel budget («esame a tempo»).

Parità di configurazione totale col 2024: config hash identico (e7eab3926a72), quindi ogni delta è attribuibile ai problemi, non al setup. Un primo giro con configurazione sbagliata (troncamento a 1024 token che azzerava i Claude) è stato interamente scartato e rifatto.
Ground truth verificata su più fonti: risposte da HF MathArena/aime_2026, confermate da altre 3 fonti indipendenti; una quarta divergeva su 2 risposte ed è stata scartata (3-contro-1). Due refusi di trascrizione corretti e documentati in source.json (apici mancanti nel problema 10, indice di sommatoria nel 13).
Risposte non emesse = errori (unparsed_as_wrong), convenzione uniforme della suite, applicata retroattivamente anche al 2024 dove è un no-op.
Mancano (per ora) DeepSeek Flash, GLM-5.2 e Qwen3-235B (rimandati per budget: i thinking model sul 2026 costano ~10× la stima storica) — si aggiungono rieseguendo il manifest, le celle mancanti ripartono da sole.