evals/stream Benchmark LLMs in italiano
← tutti gli eval

Agenda, errori muti: niente feedback sui tool (italiano)

8 domande · scoring agentic · contaminazione none

Caso d'uso: La stessa segreteria di agenda-it, ma il gestionale rifiuta le prenotazioni senza dire perche': l'agente deve dedurre da solo se ha sbagliato orario, fascia o sovrapposizione, e riprovare.

Cosa misura

Il gemello muto di agenda-it: stessa settimana, stessi 21 appuntamenti iniziali, stessi 8 task e stessi check binari. L'unica differenza: quando una prenotazione non è valida, la base risponde ok: false con la spiegazione ("si sovrappone ad A4, 14:00-15:00, Galli", "lo studio è aperto 09-13/14-18"); qui arriva {"ok": false} e basta.

È la metà "muta" dell'A/B sul feedback correttivo (vedi magazzino-muto-it per l'altro dominio). In agenda il feedback pesa in modo particolare: chi prova un orario a caso e legge l'errore può correggersi al volo; chi non riceve nulla deve aver dedotto gli orari liberi dall'agenda — cioè aver fatto il lavoro giusto fin dall'inizio.

Il task più sensibile dovrebbe essere la trappola-pausa (G8): il tentativo delle 13:30 viene respinto in entrambe le varianti, ma solo la base ti dice che lo studio è chiuso; il muto deve capire da solo che c'è una pausa pranzo e che le 14:00 sono occupate.

Com'è andata

Tredici modelli cloud (due ripetizioni su Haiku/mini/nano): al 100% Opus, Fable 5, GPT-5.5, GPT-5.4, Sonnet 5, Sonnet 4.6, Haiku, qwen3-235b, DeepSeek Flash e GLM 5.2 come in base — zero ko nelle traiettorie, deducono gli orari liberi prima di agire, quindi togliergli le spiegazioni non gli toglie nulla. La coppia agenda/agenda-muto è satura per chi pianifica, frontier o open-weight che sia. DeepSeek Pro e Kimi 87.5: perdono G5 e G3 non per la mutezza ma per il vizio del narratore (annunciano la mossa a parole e chiudono senza chiamare lo strumento — vedi agenda-it); Kimi in base faceva 100.

Coi GPT piccoli il delta c'è ed è grosso, soprattutto su mini: dal 100% stabile della base a 62.5 di media (50–75) — il taglio del feedback vale ~37 punti. E le due rep insieme disegnano una tassonomia dei fallimenti senza feedback:

  • si arrende — su prenotazioni possibili dichiara che non c'è posto ("gli spazi durano solo 30 min" — falso): mini G2 in entrambe le rep, G6/G8 in rep 1.
  • agisce comunque — la novità della rep 2: su G7 (infeasibile al mattino) mini prenota di pomeriggio, violando il vincolo esplicito "nemmeno in un'altra fascia".
  • distrugge — nano rep 1, G4: respinto due volte in silenzio, annulla l'appuntamento di Ferri invece di spostarlo. Nella base lo stesso task lo risolveva a forza di tentativi guidati dal ko.
  • ripiega sul non-primo — mini G4 rep 1: slot valido ma alle 16:00 invece di 14:15.

nano oscilla (75–87.5, contro 87.5 stabile in base): il suo delta è dentro il rumore di 2 rep. La sintesi regge: con feedback i piccoli brute-forzano; senza, si arrendono, agiscono a caso o distruggono. I frontier non sentono la differenza.

Note di metodo