Agenda appuntamenti: trovare l'orario libero (italiano)
8 domande · scoring agentic · contaminazione none
Cosa misura
La segreteria come eval: fissare, spostare e disdire appuntamenti in un'agenda di cui nessuno strumento dice gli orari liberi — gli spazi liberi vanno dedotti leggendo gli appuntamenti esistenti, dentro l'orario di apertura (09-13 / 14-18) e con le durate giuste dei servizi (15/30/60/90 min). Una settimana fissa (6-10 luglio 2026) con 21 appuntamenti iniziali, 8 task, fino a 12 turni. Gli strumenti rispondono ok/ko con errori esplicativi (orario occupato da chi, fasce valide, id esistenti): sbagliare un tentativo non è fatale, ignorare l'errore sì.
Il voto è binario e sullo stato finale dell'agenda: l'appuntamento nuovo al posto giusto, gli spostamenti richiesti e tutto il resto intatto. Ground truth eseguibile ricalcolata dalle costanti dell'ambiente, nessun giudice LLM — vedi /scoring/agentic/.
Gli 8 task:
- primo-slot (G1) — il primo spazio della giornata che ospita 30 min.
- filtro-fascia (G2) — pomeriggio: le prime due finestre sono troppo corte per 60 min, vince la terza.
- ultimo-slot (G3) — l'ultimo inizio possibile perché un 90 min finisca entro le 18:00.
- sposta (G4) — trovare l'id dall'agenda di lunedì, poi il primo spazio utile di giovedì (quelli del mattino durano solo 15 min).
- annulla-e-sostituisci (G5) — disdetta + nuova prenotazione nello stesso slot, senza toccare il resto.
- scansione-giorni (G6) — il primo giorno della settimana con 90 min liberi al mattino: serve guardare più giorni.
- infeasibile (G7) — giovedì mattina non c'è posto: la mossa giusta è non prenotare (nemmeno altrove).
- trappola-pausa (G8) — il cliente chiede le 13:30 (chiuso): il primo orario valido dopo è le 15:00, perché le 14:00 sono occupate.
Com'è andata
Tredici modelli cloud, due ripetizioni su Haiku/mini/nano: al 100% quasi tutti — Opus, Fable 5, GPT-5.5, GPT-5.4, Sonnet 5, Sonnet 4.6, Haiku, qwen3-235b, DeepSeek Flash, GLM 5.2, Kimi (e mini via brute-force) — e la cosa notevole è come: nelle loro traiettorie non c'è nemmeno un ko, deducono gli orari liberi dall'agenda e prenotano giusto al primo colpo, comprese la trappola-pausa (dritti alle 15:00 senza tentare le 13:30) e l'infeasibile. Per chi pianifica così l'agenda è satura in partenza, gemello muto compreso: chi non sbatte contro i ko non sente la differenza — e gli open-weight da $0.006 a run (qwen, Flash) stanno nel club dei pianificatori insieme ai frontier.
L'eccezione istruttiva è DeepSeek Pro (87.5): butta G6 col vizio del narratore — annuncia a parole la mossa ("recupero l'agenda di lunedì...") e chiude il turno senza chiamare lo strumento. Non è un errore di pianificazione né di feedback: è affidabilità del loop, e colpisce anche nel muto (G5) e nel magazzino (M1).
I GPT piccoli la chiudono quasi tutta, ma in un altro modo: per tentativi guidati dagli errori. gpt-5.4-mini fa 8/8 in entrambe le rep provando orari finché l'ambiente non dice sì (fino a tre prenota di fila); gpt-5.4-nano 7/8 stabile, con punte di otto sposta consecutivi su G4 e nove prenota su G6 prima di trovare lo spazio giusto. Il feedback esplicativo fa da stampella letterale — ed è esattamente ciò che il gemello muto toglie: mini senza feedback scende a 50-75%.
Note di metodo
- Contaminazione: none — agenda inventata, ambiente autoriale e deterministico, riproducibile e ri-gradabile dai raw.
- Niente strumento "slot liberi" di proposito: è la differenza tra un form e un agente. La versione con lo strumento sarebbe satura in partenza.
- Il check pretende l'agenda intatta: prenotare nel posto giusto ma spostare/toccare altro conta come errore (come per una segretaria vera).
- Il gemello muto: agenda-muto-it è identico in tutto ma i ko arrivano senza spiegazione — il delta tra le due colonne isola il valore del feedback correttivo.